Kaliforniens Gouverneur Gavin Newsom lässt Notabschalter für künstliche Intelligenz prüfen. In seinen letzten Anordnungen als Gouverneur hat er eine unabhängige Überprüfung von KI-Modellen verlangt und eine Expertenkommission eingesetzt, die Notabschalter für KI-Agenten entwickeln soll. Diese Agenten könnten außer Kontrolle geraten und Schaden anrichten, wie Al Jazeera berichtet. Newsom, dessen letzte Amtszeit im Januar endet, strebt nach Angaben des Senders eine Präsidentschaftskandidatur im Jahr 2028 an.
Im Jahr 2024 hatte Newsom eine Gesetzesvorlage mit ähnlichen Anforderungen abgelehnt, obwohl sie in der Landesversammlung verabschiedet worden war. Damals warnte er, die Vorlage würde das Versprechen dieser Technologie zunichtemachen. Nun will er den Begriff der Sicherheitsvorfälle erweitern, möglicherweise um die jüngste Serie von Sicherheitsverletzungen. Zudem soll ein Notabschalter geprüft und sollen weitere Maßnahmen aus der damals gestoppten Vorlage aufgegriffen werden.
Alex Hanna, Forschungsleiterin des Distributed AI Research Institute (DAIR), sieht Newsom in einer Phase der sogenannten lame duck, also eines abtretenden Amtsinhabers. Sie hält es für ungewiss, ob die Maßnahmen in der verbleibenden Amtszeit beschlossen werden. Newsom bereite damit seinen nächsten Schritt vor. Die Wählerschaft in den USA mache sich zunehmend Sorgen um die Sicherheit von KI, um Rechenzentren und um Arbeitsplatzverluste, und die Anordnung könnte zeigen, dass Newsom darauf reagiere, so Hanna.
Nachdem er die Vorlage 2024 abgelehnt hatte, bat Newsom den Senator Scott Wiener, der sie entworfen hatte, sie in Abstimmung mit einer Expertenkommission zu überarbeiten. Im Oktober 2025 unterzeichnete er das Gesetz zu sogenannter Frontier-KI, das erste seiner Art in den USA. Große Entwickler müssen danach bestimmte Sicherheitsvorfälle melden, darunter den Tod von 50 oder mehr Menschen, großangelegte Cyberangriffe oder Geldraub.
Christabel Randolph, stellvertretende Direktorin des Center for AI and Digital Policy (CAIDP), sagt, der Gouverneur sei offenbar davon ausgegangen, dass ein langsameres Tempo der Regulierung genüge, weil Unternehmen ihre Investitionen entsprechend bemessen würden. Dass die Firmen die Risiken beschleunigen würden, habe er nicht vorausgesehen.
KI-Unternehmen sollen in den vergangenen Monaten in internen und realen Tests Tausende Sicherheitsvorfälle verzeichnet haben. Dazu gehörten Versuche von Agenten, an Informationen der US-Börsenaufsicht SEC und des Census Bureau zu gelangen, sowie an vertrauliche Daten von Regierungsseiten in Australien und Kanada. Das Start-up Hugging Face hatte zuvor offengelegt, dass Agenten von OpenAI in seine Systeme eingedrungen seien. Dies sei einer von mehreren solchen Fällen.
Tara Gallegos, Kommunikationsdirektorin des Gouverneurs, erklärte gegenüber Al Jazeera, kein Gouverneur sei bei den Risiken von KI entschiedener vorgegangen als Newsom. In seiner Begründung für das Veto 2024 hatte Newsom geschrieben, das Gesetz lege strenge Standards auch für die grundlegendsten Funktionen an. Außerdem wies er darauf hin, dass 32 der 50 weltweit führenden KI-Unternehmen in Kalifornien angesiedelt seien.
Auch Vertreter der Branche hatten sich damals gegen die Vorlage gestellt. Anjney Midha, Partner der Risikokapitalgesellschaft Andresen Horowitz mit Sitz in der Bay Area, hatte von einer verheerenden regressiven Steuer auf KI-Innovationen gesprochen. Bei Inkrafttreten, so Midha damals, würden KI-Gründer gezwungen, anderswo hinzuziehen. Gallegos sagte, die Vorlage sei bei ihrem Eintreffen auf dem Schreibtisch des Gouverneurs nicht praktikabel gewesen.
Man müsse das Monopol der großen KI-Konzerne aufbrechen, sagte er Al Jazeera. Deren finanzielle Einsätze seien zu hoch. Er verwies dabei auf die geplanten öffentlichen Angebote von OpenAI und Anthropic sowie auf Steuervergünstigungen, die manche Unternehmen nach Berichten für den Bau von Rechenzentren nutzen.
Die Expertenkommission soll nun prüfen, wie ein Notabschalter eingerichtet werden kann. In der ursprünglichen Vorlage war dieser Punkt umfassender geregelt. Randolph vom CAIDP sagte, die Vorlage SB 1047, die Newsom abgelehnt hatte, habe eine konkrete Struktur gehabt. Die Anordnung dagegen umfasse nur den Notabschalter oder Stoppmechanismen. Das sei deutlich schwächer als die Pflicht aus SB 1047, wonach strengere Sicherheitsmaßnahmen schon vor dem Beginn von Trainingsläufen gelten sollten.
Hanna sagt, Newsom zeige mit der Anordnung, dass er aufmerksam sei, ohne etwas Drastisches zu planen. Rebecca Finlay, Geschäftsführerin der gemeinnützigen Partnership for AI, die sich mit der Governance von Technologie befasst, sagte, man baue das Feld der KI-Sicherheit in Echtzeit auf. Die Regulierung einer Branche, die in einem rasanten Tempo wachse, stelle eine große Herausforderung dar.
Newsom hat das California Emergency Services Office gebeten, bis zum 15. November Empfehlungen zur Regulierung von KI vorzulegen. Er könnte außerdem eine besondere Sitzung des Landesparlaments einberufen, um über deren Umsetzung zu beraten, möglicherweise noch vor dem Ende seiner Amtszeit.
Damit setzt sich Kalifornien vom Bund ab, der auf Selbstregulierung durch die Industrie setzt. Randolph sagt, Kalifornien könne bei der Festlegung eines Mindeststandards für KI-Regulierung eine wichtige Rolle spielen, weil ein großer Teil der globalen KI-Branche dort ansässig sei. Präsident Donald Trump, der an Selbstregulierung der Unternehmen glaubt, hatte im vergangenen Monat eine freiwillige Vereinbarung mit mehreren KI-Spitzenvertretern unterzeichnet. Hanna sagt, Newsom wolle sich damit nicht nur von Trump abgrenzen, sondern auch von möglichen demokratischen Konkurrenten. Mit diesem Schritt könne er bei einer Vorwahldebatte gut dastehen.
Gallegos ließ Al Jazeera wissen, der Gouverneur sei nicht an Tugendsignalen oder Schlagzeilen interessiert. Er führe die Nation, indem er einen klügeren, strategischeren und wirksameren Ansatz im Umgang mit Spitzentechnologie verfolge.
Experten halten es neben der Anordnung für nötig, Kontrollen über den gesamten Lebenszyklus eines KI-Modells einzuführen. Finlay sagte, Sicherheit müsse von Anfang an eingebaut werden. Ihre Organisation habe bei der Veröffentlichung des letzten ChatGPT-Modells zwölf Leitlinien für den gesamten Lebenszyklus herausgegeben. Es brauche Sicherheitsfunktionen in allen Phasen.
Ekbia meint, Regierungen sollten aus den Erfahrungen mit sozialen Medien lernen. Wenige Unternehmen mit großer Kontrolle hätten dort viel Schaden anrichten können. Nötig sei eine vorausschauende Regulierung, die auch gegen Konzernmonopole vorgehe.
Kommentare (0)