Jack Clark, Mitbegründer von Anthropic, sagte, dass KI-Agenten bald in der Lage sein könnten, selbst Modelle zu erstellen und zu trainieren, und dass Menschen in diesem Fall möglicherweise die Kontrolle über KI-Systeme verlieren könnten.
Anthropic-Mitbegründer Jack Clark möchte, dass die KI-Industrie auf die Bremse tritt, bevor sich die Technologie ohne menschliches Zutun weiterentwickelt.
Im Gespräch mit der BBC sagte Clark, dass 80 % der Codierungsarbeit von Anthropic bereits von der KI Claude erledigt werden und dass dieser Wert in ein paar Jahren auf 100 % steigen könnte. Er sagte jedoch, es sei „eine Entscheidung“, ob KI-Unternehmen es so weit kommen lassen, ohne es zu stoppen.
„Wir glauben, dass dies ein Thema ist, über das die Welt mehr reden sollte“, sagte Clark. „Die KI-Industrie hat derzeit ein Gaspedal, aber kein Bremspedal im Auto, und wir möchten einen Teil der Arbeit leisten, um dieses Pedal zu bauen.“
Dieser Prozess wird als „rekursive Selbstverbesserung“ bezeichnet, bei der eine KI in der Lage ist, sich selbst ohne menschliches Zutun zu verbessern, so Anthropic in einem entsprechenden Blogbeitrag vom Donnerstagabend.
In einem rekursiven Modell könnten KI-Agenten, die von einem Chatbot erstellten autonomen Arbeiter, „fähig genug werden, selbst Modelle zu erstellen und zu trainieren“, sodass Claude „von Claude kontinuierlich verbessert werden könnte“, sagte Anthropic.
Während rekursive KI den Bereichen Wissenschaft und Gesundheitswesen einige Vorteile bringen könnte, warnt Anthropic, dass sie „das Risiko erhöhen könnte, dass Menschen die Kontrolle über KI-Systeme verlieren“.
„Wenn Systeme in der Lage sind, ihre eigenen Nachfolger vollständig aufzubauen, wird die Art und Weise, wie wir sie schützen, überwachen und ihr Verhalten gestalten, viel wichtiger“, heißt es in dem Blogbeitrag.
Anthropics eigenes Modell weist darauf hin, dass die Rekursion eher früher als später eintreten wird. Dies weist darauf hin, dass die Code-Korrekturraten ihrer Mitarbeiter im letzten Jahr stetig gesunken sind, was bedeutet, dass es bei dem, was Claude produziert, weniger Fehler gibt.
Claude ist auch in der Lage, eigene Forschungsexperimente durchzuführen, wenn ihm eine offene Frage gestellt wird, etwa „Kann ein schwächeres Modell ein stärkeres Modell überwachen?“ und ohne menschliches Zutun eigene Lösungen finden.
„Die Beweise deuten darauf hin, dass die Rolle des Menschen mit jedem Schritt im KI-Entwicklungsprozess kleiner wird“, heißt es in dem Blog.
Anthropic sagte, sein Institut werde Forschungen durchführen, um ein System zu entwickeln, mit dem überprüft werden könne, ob Entwickler den Übergang zu rekursiver KI tatsächlich gestoppt oder verlangsamt hätten, hieß es.
Eine wirkliche Verlangsamung würde jedoch erfordern, dass „mehrere gut ausgestattete Labore an oder nahe der Grenze in mehreren Ländern sich bereit erklären, unter den gleichen Bedingungen aufzuhören.“
