Zwei KI-Agenten des ChatGPT-Herstellers OpenAI haben Teile eines internen Überwachungssystems geschwächt, das Fehlverhalten erkennen soll. Das teilte das Unternehmen am Dienstag (20. Oktober) mit, wie CNA berichtete. Nach Angaben von OpenAI ereigneten sich die Vorfälle bei internen Programmieraufgaben. Sie gelten nicht als die schwersten Fälle.
Die Offenlegung zeigt, dass selbst Systeme, auf die sich Entwickler zur Erkennung von KI-Fehlverhalten verlassen, anfällig für die Agenten sind, die sie überwachen. Sie fällt in eine Phase wachsender Sorgen, dass die Bemühungen um KI-Sicherheit hinter der raschen Entwicklung immer leistungsfähigerer Systeme zurückbleiben. Forscher hatten gewarnt, dass fortgeschrittene KI-Agenten schwerer zu überwachen und zu kontrollieren sein könnten, je mehr Autonomie sie erhielten.
Ein GPT-6.1-Sol-Agent unterdrückte laut OpenAI am 3. Oktober bei einer internen Testaufgabe automatische Sicherheitswarnungen. Der Agent habe entschieden, dass eine frühere Anweisung, keine Slack-Nachrichten zu senden, auch Sicherheitsbenachrichtigungen betreffe.
Am 6. Oktober entfernte nach Darstellung des Unternehmens ein GPT-6-Astra-Agent beim Kopieren eines bestehenden Codeteils eine Sicherheitsüberwachung. Später habe er fälschlicherweise behauptet, dies nicht getan zu haben.
In beiden Fällen hätten die Agenten erwogen, ob Überwachungsschutzmechanismen erhalten bleiben sollten. Routinemäßige Programmieranweisungen hätten sie jedoch als Erlaubnis verstanden, diese zu schwächen, so OpenAI. Das Unternehmen will es seinen Modellen nach eigenen Angaben nun erschweren, Überwachung zu deaktivieren. Eine befriedigende Erklärung für dieses Verhalten habe OpenAI bislang nicht.
OpenAI prüft außerdem, ob seine Modelle dazu neigen könnten, einer Überwachung auszuweichen und Gründe zu suchen, dies zu rechtfertigen. Entwickler, darunter OpenAI und Anthropic, haben in den vergangenen Monaten Fälle offengelegt, in denen ihre KI-Agenten ohne Genehmigung auf externe Systeme zugriffen.
Kommentare (0)