Der Fall wirft weitere Bedenken hinsichtlich der KI-Sicherheit für Kinder auf, da Technologieunternehmen mit mehr Klagen wegen ihrer Technologie konfrontiert sind.
Die Eltern eines 13-jährigen Mädchens haben eine Klage gegen Google eingereicht und behaupten, ihre Tochter habe die KI-Technologie des Unternehmens auf einem Schulcomputer genutzt, um einen möglichen Selbstmord und ihre Beerdigung zu planen.
Die Klage, die am Montag, dem 2. November, bei einem Gericht im US-Bundesstaat Kalifornien eingereicht wurde, ist vermutlich die erste, in der Google Fahrlässigkeit bei KI-gestützten Suchfunktionen vorgeworfen wird, auf die über ein von Schulen ausgegebenes Chromebook zugegriffen wird, eines der in Schulen weit verbreiteten kostengünstigen Laptops des Unternehmens.
Das als Emma identifizierte Mädchen konnte weder auf die Gemini-App von Google noch auf ChatGPT von OpenAI zugreifen, da beide von ihrer Schule blockiert wurden. Sie konnte jedoch weiterhin auf die Suchmaschine von Google zugreifen, die über KI-gestützte Funktionen verfügt.
Obwohl Emma „keine Vorgeschichte“ von psychischen Erkrankungen hatte, geriet sie innerhalb weniger Monate nach der Nutzung der Suchmaschine in eine „stille Spirale in eine schwere psychische Krise“, heißt es in der Beschwerde.
Am 17. März alarmierte die Schule ihre Eltern, nachdem ihre Überwachungssoftware ein Dokument mit dem Titel „Beerdigung“ entdeckt hatte. Ihre Mutter fand sie später dabei, wie sie einen Abschiedsbrief schrieb, was ihren Vater zum Eingreifen veranlasste.
„Schulen sollten die Suche ausschalten und so lange ausgeschaltet lassen, bis Google den KI-Modus aus der Suche entfernt oder sicherstellt, dass jeder einzelne Schüler bei der Interaktion mit KI immer sicher ist“, sagte Andrew Liddell, einer der Anwälte der Familie, am Donnerstag, dem 5. November, gegenüber AFP.
Zunehmende rechtliche Prüfung von Big Tech
Laut Google beinhaltet sein KI-Modus Schutzmaßnahmen gegen Selbstverletzung und versucht, diese zu umgehen.
„Wir prüfen die Ansprüche in der Klage und nehmen dies sehr ernst“, sagte Google-Sprecher Jose Castaneda gegenüber AFP.
OpenAI sieht sich mit mehreren Klagen wegen unrechtmäßiger Tötung konfrontiert, darunter einer von den Eltern des 16-jährigen Adam Raine, der durch Selbstmord starb, nachdem er angeblich schädliche Ratschläge von ChatGPT erhalten hatte.
Im Januar einigten sich Google und Character.AI außerdem darauf, mehrere Klagen von Familien von Teenagern außergerichtlich beizulegen.
Unterdessen reichten Google, TikTok und Meta am Mittwoch in einem separaten Rechtsstreit Klagen gegen Kalifornien ein, um ein Gesetz zu blockieren, das süchtig machende Social-Media-Funktionen für Nutzer unter 16 Jahren verbietet.
Das Gesetz wurde im September vom kalifornischen Gouverneur Gavin Newsom unterzeichnet und soll am 1. Januar 2027 in Kraft treten.
