Das Unternehmen sieht sich einer Reihe von Klagen gegenüber, unter anderem von einer Mutter, die behauptet, eine KI-Figur habe ihren Sohn dazu überredet, sich das Leben zu nehmen.
Character.AI verbietet Minderjährigen die Nutzung seiner Chatbots, da die Besorgnis über die Auswirkungen von Gesprächen mit künstlicher Intelligenz (KI) auf Kinder wächst.
Das Unternehmen sieht sich mehreren Klagen wegen der Sicherheit von Kindern gegenüber, unter anderem von der Mutter eines Teenagers, die sagt, die Chatbots des Unternehmens hätten ihren jugendlichen Sohn dazu gedrängt, sich umzubringen.
Character Technologies gab an, dass Benutzer unter 18 Jahren keine offenen Gespräche mit seinen Chatbot-Charakteren führen können und dass der Bot bis zum 25. November eine Nutzungsbeschränkung von zwei Stunden einführen wird.
Das Unternehmen ermöglicht es Benutzern, anpassbare Charaktere zu erstellen oder mit ihnen zu interagieren, die sich „lebendig und menschlich anfühlen“, für eine Reihe von Aktivitäten wie Spielen oder Scheinvorstellungsgespräche.
Character.AI kündigte an, Altersüberprüfungsfunktionen einzuführen, um festzustellen, welche Benutzer unter 18 Jahre alt sind. Immer mehr Technologieplattformen greifen auf Altersüberprüfungen zurück, um zu verhindern, dass Kinder auf Tools zugreifen, die für sie nicht sicher sind.
Aber diese sind unvollkommen und viele Kinder finden Wege, sie zu umgehen. Mithilfe von Gesichtsscans kann beispielsweise nicht immer festgestellt werden, ob jemand 17 oder 18 Jahre alt ist. Und es gibt Bedenken hinsichtlich der Privatsphäre, wenn man Personen dazu auffordert, amtliche Ausweise hochzuladen.
Character.AI fügte hinzu, dass es an neuen Funktionen für Kinder arbeite, beispielsweise an der Erstellung von Videos, Geschichten und Streams mit KI-Charakteren sowie an einem KI-Sicherheitslabor. Das Unternehmen richtet außerdem ein KI-Sicherheitslabor ein
Meetali Jain, geschäftsführender Direktor des Tech Justice Law Project, sagte, dass der Schritt von Character.AI „immer noch viele Details offen lässt“.
„Sie haben sich nicht damit befasst, wie sie die Altersüberprüfung umsetzen werden, wie sie sicherstellen werden, dass ihre Methoden die Privatsphäre schützen, noch haben sie sich mit den möglichen psychologischen Auswirkungen einer plötzlichen Sperrung des Zugangs für junge Benutzer angesichts der entstandenen emotionalen Abhängigkeiten befasst“, sagte Jain.
„Darüber hinaus gehen diese Änderungen nicht auf die zugrunde liegenden Designmerkmale ein, die diese emotionalen Abhängigkeiten begünstigen – nicht nur für Kinder, sondern auch für Menschen über 18 Jahren.“
Laut einer aktuellen Studie von Common Sense Media, einer Gruppe, die den sinnvollen Umgang mit Bildschirmen und digitalen Medien untersucht und sich dafür einsetzt, haben mehr als 70 Prozent der Teenager KI-Begleiter genutzt, und die Hälfte nutzt sie regelmäßig.
