OpenAI und Anthropic fordern eine KI Notbremse
Mehr als 1.100 Angestellte von Tech-Riesen wie OpenAI und Anthropic fordern internationale Mechanismen zur gezielten Drosselung der KI-Entwicklung. Die Unterzeichner warnen vor einem Kontrollverlust, sobald KI-Modelle anfangen, die Forschung selbstständig und in rasantem Tempo zu automatisieren. Da die Sicherheitsteams schon jetzt massiv überlastet sind, soll die US-Regierung eingreifen, um ein fatales globales Wettrüsten zu verhindern.
Pacing the Frontier - Offizielles Statement Joe Carlsmith - Essay on restraining AI development OpenAI - Statement auf X Anthropic - Statement auf X In einem offenen Brief unter dem Titel »Pacing the Frontier« warnen über 1.100 Forscher und Führungskräfte vor einem nahenden Kontrollverlust, wenn KI-Modelle bald anfangen, selbstständig weiterzuforschen. Zu den Unterzeichnern zählen dabei auch Vertreter der größten Branchen-Akteure wie OpenAI, Anthropic, Google und Meta. Warnung vor der Automatisierung der KI-Forschung Die Initiatoren betonen in ihrem Statement, dass künstliche Intelligenz zwar eine deutlich bessere Zukunft schaffen könne, dieses Ergebnis jedoch nicht garantiert sei.
Die Industrie stehe kurz davor, die KI-Forschung weitreichend zu automatisieren. Dies berge das reale Risiko, dass sich die Fähigkeiten der Modelle schneller entwickeln, als Menschen sie noch verstehen oder kontrollieren können. Um aufkommende Risiken zu bewältigen und Sicherheitsmaßnahmen zu entwickeln, brauche die Gesellschaft die Option, Zeit zu gewinnen.
Da jedoch kein Unternehmen und kein Staat dem enormen Wettbewerbsdruck allein standhalten und die Entwicklung einseitig verlangsamen könne, fehle es aktuell an Steuerungswerkzeugen. Die Unterzeichner fordern die US-Regierung auf, eine internationale Initiative zur Entwicklung genau dieser Instrumente zu unterstützen. + Quelle: pacingthefrontier.com Sicherheitsabteilungen am Limit Die hohe Geschwindigkeit bereitet den Entwicklern im Alltag zunehmend Probleme. Ethan Perez, Leiter des Alignment-Teams bei Anthropic, beschreibt den Alltag seiner Abteilung drastisch: »Mit dem aktuellen Fortschrittstempo müssen Sicherheitsteams alle paar Monate sprinten, um neue Risiken für die Gesellschaft abzuwenden.« Irgendwann werde man auf Probleme stoßen, für deren Lösung man mehr Zeit brauche.
Dawn Song, Vizepräsidentin für KI-Forschung bei Meta, warnt vor konkreten Bedrohungen aus dem Bereich der Cybersicherheit. Interne Auswertungen mit speziellen Testumgebungen zeigten deutliche Gefahren. »CyberGym und ExploitGym zeigen, dass aktuelle KI-Agenten nun in der Lage sind, reale Software-Schwachstellen zu entdecken und auszunutzen«, so Song. Ohne entsprechende Schutzmaßnahmen könne dies automatisierte Cyberangriffe im großen Maßstab ermöglichen.
Anzeige Gefangen im tödlichen Wettrüsten Shantanu Jain von OpenAI verweist auf das rasante Tempo der vergangenen Jahre. Binnen vier Jahren habe sich die Technologie vom einfachen Sprachverständnis zu Systemen entwickelt, die »übermenschliche Leistungen in der Softwareentwicklung erbringen und mathematische Durchbrüche erzielen«. Ein Ende dieser Entwicklung sei nicht in Sicht.
Leo Gao von OpenAI wählt dafür drastische Worte: »Die Welt ist in einem tödlichen Wettlauf auf eine Intelligenzexplosion gefangen, vergleichbar mit einer außer Kontrolle geratenen nuklearen Kettenreaktion.« Um das Überleben zu sichern, müsse man sich global koordinieren, um das Tempo zu drosseln. Jeff Klingner von Google hofft, dass das Statement den Weg für diese nötige Koordination ebnet. Sobald Entwickler in China, den USA und den verschiedenen Laboren erkennen würden, dass alle Beteiligten eine Verlangsamung für nötig halten, »wird eine Koordination möglich«.
Rückendeckung aus den Chefetagen Bemerkenswert an der Initiative ist die hochkarätige Besetzung. Neben zahlreichen Top-Forschern wie John Schulman von Thinking Machines oder Jakub Pachocki von OpenAI hat auch Anthropic-CEO Dario Amodei unterzeichnet. Die Konzerne selbst stellen sich offiziell hinter das Statement.
Anthropic verweist auf eigene Forschungsergebnisse des vergangenen Monats, die den Bedarf an Steuerungsinstrumenten stützen. Auch OpenAI erklärte über die Plattform X, man gehe davon aus, dass die Beschleunigung bei der Modellentwicklung künftig so hoch sein könnte, dass die Welt das Tempo drosseln müsse. Das Unternehmen kündigte an, gemeinsam mit der US-Regierung und der Open-Source-Community an Mechanismen für diese Drosselung zu arbeiten.