Wie kann die KI-Entwicklung sicherer werden – und gerechter?

Zwei Texte, zwei Tage, zwei Welten. An einem Donnerstag im September legte der Generalsekretär der Vereinten Nationen, António Guterres, der Generalversammlung einen Bericht über die Lücken vor, die Entwicklungsländer beim Aufbau von KI-Kapazitäten haben. Am darauf folgenden Samstag veröffentlichte Dario Amodei, Chef des KI-Unternehmens Anthropic, einen Essay mit dem Titel »We Must Pace the Frontier«, in dem er fordert, die Industrie müsse die Entwicklung ihrer Modelle verlangsamen. Beide Texte behaupten, das Fenster für entschlossenes Handeln schließe sich rasch. Beide fordern globale Koordination. Und doch könnten sie kaum gegensätzlicher sein: Der Bericht nennt Summen, Mechanismen, Vorbilder und Fristen. Der Essay ignoriert bestehende Ansätze und delegiert fast alles, was er fordert, an andere. Flankiert wird er von immer neuen Alarmberichten aus den KI-Schmieden. Der jüngste stammt von der Firma OpenAI und lautet darauf, dass die KI betrügt, wie es eben geht: Sie lädt von ihr selbst konfigurierte Daten hoch und gibt sie als unabhängige Quelle aus oder erfindet sie einfach.

Zurück zu Amodei: Der Gründer eines Unternehmens, das vom Wettlauf um immer leistungsfähigere Modelle lebt, erklärt öffentlich, dieser Wettlauf sei zu schnell geworden. Er begründet das mit zwei Beobachtungen: KI-Systeme würden zunehmend eingesetzt, um die nächste Generation von KI-Systemen zu bauen. Und im Juli hätten autonome Agenten eines Open-AI-Modells in einem Projekt mit der Firma Hugging Face Systeme angegriffen, die sie nicht angreifen sollten, und versucht, in jene Software einzudringen, die ihre Leistung bewerten sollte.

Daraus leitet Amodei einen dreistufigen Plan ab. Erstens sollen externe Evaluatoren – also Prüfer – dauerhaft in die Unternehmen eingebettet werden – mit Schreibtisch, All Access Passes, mitarbeiterähnlichem Zugang und dem Recht, Befunde ohne Freigabe der KI-Firmen zu veröffentlichen; darauf verpflichtet sich Anthropic einseitig. Zweitens sollen die Unternehmen demokratischer Staaten gemeinsame Sicherheitsstandards und »Tempolimits« für KI-Modelle vereinbaren, kartellrechtlich abgesichert durch die Regierungen. Drittens sollen die USA und ihre Verbündeten mit China über Abkommen über KI-Teilverbote und globale Modelldrosselungen verhandeln.

Binnen Stunden schloss sich Sam Altman von Open AI an und kündigte an, ebenfalls unabhängige Evaluatoren ins Haus zu holen. Elon Musk, Chef von xAI, postete auf X: Dario is right. Demis Hassabis von Google Deepmind nannte die Richtung richtig, auch wenn über Einzelheiten noch zu reden sei. Dass vier Unternehmen, die einander bislang mit Modellveröffentlichungen überboten haben, sich im Grundsatz auf externe Kontrolle und gedrosseltes Tempo verständigen, ist keine Kleinigkeit. Nehmen wir sie beim Wort.

Bei den nächsten Stufen wird Amodeis Plan jedoch politisch bequem. Er verlangt von Regierungen und anderen Staaten neue Regeln, Privilegien für US-Anbieter, koordiniertes globales Handeln. Zugleich verbindet Amodei das Angebot globaler Kooperation mit Chipembargos gegen China, der Verfolgung unautorisierter Destillation und der Sicherung des amerikanischen Vorsprungs. Hinzu kommt ein offener Interessenkonflikt: Eine Verlangsamung trifft den Spitzenreiter anders als seine Verfolger. Gerade deshalb dürfen Tempolimits nicht von denen entworfen werden, deren Marktposition sie zugleich schützen könnten.

Es irritiert zudem, dass Amodeis Vorschläge ohne jede Erwähnung des KI-Rechtsakts der EU auskommen – und ohne die vielen anderen Regelwerke, die es für KI längst gibt: die UNESCO-Empfehlung zur Ethik der Künstlichen Intelligenz, die Resolution der UN-Generalversammlung für sichere KI, das Rahmenübereinkommen des Europarats über KI, Menschenrechte, Demokratie und Rechtsstaatlichkeit und den UN Global Digital Compact. Überall finden sich klare Bekenntnisse zur menschenorientierten Entwicklung von KI, zu Unternehmenspflichten, Haftung und Verantwortlichkeit. Es gibt ein sich verdichtendes, wenn auch großteils unverbindliches, völkerrechtliches Korsett, das für generative KI und Frontier-Modelle gilt. Amodei ignoriert es geflissentlich – entweder weil er es nicht kennt oder weil es ihn nicht interessiert (was ein Problem ist).

Ganz anders der Bericht des Generalsekretärs Guterres. Er zeigt auf, woran die KI-Entwicklung krankt: Die Potentiale seien grob ungleich verteilt. Länder mit hohem Einkommen verfügten im Juni 2025 über 77 Prozent der weltweiten Rechenzentrumskapazität, Länder mit niedrigem Einkommen über weniger als 0,1 Prozent. Rund zwei Drittel der Menschen in reichen Ländern hätten digitale Grundkenntnisse; in den ärmsten Ländern seien es weniger als fünf Prozent. Nicht einmal ein Fünftel der am wenigsten entwickelten Länder verfüge über eine nationale KI-Strategie. Es fehlen nicht nur Rechenleistung, Energie, Daten und Fachkräfte, sondern Rechtsrahmen, KI-bereite Verwaltungen und unabhängige Aufsichtsstrukturen. Wer diese Voraussetzungen nicht hat, sitzt bei internationalen Verhandlungen zwar mit am Tisch, kann deren Bedingungen aber kaum mitbestimmen.

Mit einer Lösung wartet Guterres auch auf. Er schlägt einen globalen Fonds für KI-Kapazitätsaufbau vor, unter aktiver Beteiligung aller Stakeholder, mit Anfangszusagen von rund drei Milliarden Dollar über zwei bis vier Jahre. Der Fonds soll bestehende Programme ergänzen und Länder, die über wenig KI-Kapazität verfügen, unterstützen. Als Vorbilder nennt Guterres den Globalen Fonds gegen Aids, Tuberkulose und Malaria und die Global Financing Facility der Weltbank für Frauen und Kinder, also Mechanismen, in die Staaten, Stiftungen und Unternehmen gemeinsam einzahlen, ohne dass ein Geldgeber allein bestimmt.

Die Generalversammlung solle in ihrer nächsten Sitzungsperiode den Fonds ausarbeiten, fordert Guterres. Er werde inzwischen mit potentiellen Gebern beraten. Flankiert wird das durch zwei weitere Empfehlungen: regelmäßige Berichte über den Stand der KI-Kapazität aller Länder und den Ausbau des UN-gestützten Netzwerks von Zentren für Austausch und Kooperation beim Kapazitätsaufbau.

Die drei Milliarden Dollar, die Guterres fordert, sind nicht so viel. Anthropic kündigte im November an, 50 Milliarden Dollar in eigene Rechenzentren in Texas und New York zu investieren, hat sich gegenüber Amazon zu Cloud-Abnahmen von mehr als 100 Milliarden Dollar verpflichtet und schloss Ende August einen Vertrag über 45 Milliarden Dollar für Rechenleistung aus West Virginia – über sechs Jahre, also gut sieben Milliarden im Jahr. Der gesamte UN-Fonds entspräche damit fünf Monaten dieses einen Vertrags eines der großen KI-Unternehmen. Amazon, Microsoft, Alphabet und Meta wollen in diesem Jahr zusammen rund 725 Milliarden Dollar investieren, überwiegend in KI-Infrastruktur. Drei Milliarden sind davon 0,4 Prozent. Dass ein Fonds dieser beschränkten Größenordnung seit zwei Jahren auf der Tagesordnung der Generalversammlung steht und noch immer nicht existiert, ist daher weniger eine Frage verfügbarer Mittel als politischer Prioritäten.

Liest man beide Texte nebeneinander – den Bericht des UN-Chefs und den Essay des Anthropic-Gründers –, wird der blinde Fleck der KI-Branche sichtbar – und es ergeben sich Lösungen, die Amodei nicht gefallen dürften. Amodei schreibt, die Gesellschaft müsse mitreden, wie die Technologie genutzt werde, und die Verlangsamung verschaffe Zeit für öffentliche Beratung. Welche Gesellschaft? Der UN-Bericht zeigt, dass die Mehrheit der Staaten an solchen Beratungen nicht gleichberechtigt teilnehmen kann. Ein globales Pacing, das zwischen Washington, seinen Verbündeten und Peking ausgehandelt wird, während 150 Staaten Bedingungen nur nachvollziehen können, wäre kein globales Abkommen, sondern ein Kartell der Rechenmächte.

Amodei fordert ein globales Standardisierungsgremium, das Modelle vor der Veröffentlichung prüft. Ein solches Gremium existiert in Ansätzen bereits: Die Generalversammlung hat 2025 das Unabhängige Internationale Wissenschaftspanel zu KI und den Globalen Dialog über KI-Governance eingerichtet. Das Panel unter Führung des KI-Pioniers Yoshua Bengio und der Friedensnobelpreisträgerin Maria Ressa hat gerade seinen ersten Bericht vorgelegt, auf den sich Guterres stützt. In Amodeis Essay kommt es nicht vor.

Amodei hält Evaluatoren – also die Prüfer – für den Schlüssel jeder Verifikation. Zu Recht. Doch gibt es weltweit nur eine Handvoll Institutionen, die die leistungsstärksten KI-Modelle prüfen können, sämtlich in den USA und Großbritannien angesiedelt und teils von den Unternehmen abhängig, die sie prüfen. Ist das ein vielversprechender Ansatz?

Amodei verlangt mehr Zeit. Der Generalsekretär verlangt mehr Geld. Hier liegt der Punkt: Ein Unternehmen, das 50 Milliarden Dollar in eigene Rechenzentren steckt, könnte den vom Generalsekretär vorgeschlagenen Fonds allein füllen, und zwar aus der Portokasse. Wer die Risiken der eigenen Technologie für so groß hält, dass die ganze Welt langsamer werden muss, sollte dort zahlen, wo die Lücke in der Governance am größten ist, statt Vorschläge zu machen, deren Umsetzung andere tragen.

Was hieße das konkret? Anthropic, Open AI und Google sollten sich mit verbindlichen Zusagen am Fonds beteiligen durch Schenkungen ohne Bedingungen und Mitspracherechte. Der Globale Fonds gegen Aids (jährlich mit vier Milliarden Dollar ausgestattet) hat das vorgemacht. Wenn Evaluatoren so wichtig sind, wie Amodei sagt, dann sollte sein Unternehmen die Ausbildung und Grundfinanzierung unabhängiger Prüfteams in Afrika, Lateinamerika und Südostasien tragen, angebunden an das von den Vereinten Nationen unterstützte Netzwerk für Kapazitätsaufbau, mit Zugang zu den Modellen, aber ohne Einfluss auf die Ergebnisse. Wer ein globales Prüfgremium fordert, sollte dem bestehenden Wissenschaftspanel geben, was es braucht, um zu arbeiten: dokumentierten Zugang zu Trainingsdaten, Vorfällen und Evaluationsergebnissen und einen Beitrag zu seiner Grundfinanzierung.

Amodei schreibt selbst, ähnliche Vorfälle wie bei Open AI habe es auch bei Anthropic gegeben. Eine vollständige Dokumentation wäre da viel wert. Die Unternehmen sollten das »Global AI Capacity Development Network« fördern. Dort werden genau die Fragen gestellt, denen sich Amodeis Essay nicht stellt: wie KI so entwickelt werden kann, dass sie nicht nur sicher, sondern auch fair und nachhaltig ist – und wer darüber entscheidet. Es gilt, nicht blind neue normative Ansätze zu fordern, sondern die bestehenden Regeln durchzusetzen. Wir brauchen nicht neue völkerrechtliche KI-Verträge. Zwischen EU, Europarat und UNESCO haben wir sie; jetzt steht deren Umsetzung an; jetzt geht es darum, dass alle Staaten mitmachen.

UN-Generalsekretär Guterres hat beschrieben, wie dies geschehen kann und wie wenig das kosten würde. Die Unternehmen, die jetzt vor ihrer eigenen Technologie warnen, haben das Geld. Es ist gut, dass Amodei, Altman und Musk langsamer werden wollen. Wichtig ist, dass sie die Zeit, die sie gewinnen wollen, mit denen teilen, die sie am dringendsten brauchen, um jene Kapazitäten und Kompetenz zu erwerben, die eine private wie staatliche KI-Nutzung zum Wohle aller ermöglicht.