Sicherheit war Anthropics ganzes Produkt. Am Dienstag kündigte ihr Hersteller.

Jacob Coxon hat am Dienstag bei Anthropic gekündigt. Sein Arbeitsgebiet war das Pretraining, die Grundlagenarbeit unter Claudes Modellen – zuerst bei OpenAI, dann bei dem Labor, das sich als das vorsichtige verkauft. Beide Arbeitgeber, schreibt er jetzt, „rasen geradewegs auf eine sich selbst verbessernde Superintelligenz zu und spielen mit unserem Leben“.^1,2

Was er tatsächlich sagt

In seinem Abschiedsbeitrag auf X schreibt er, die Angst sei keine Show: „Die Menschen, die KI bauen, glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte. Das ist kein Marketing-Gag.“¹ Sein Urteil über die beiden Labore ist unverblümt: OpenAI habe nicht verinnerlicht, was es da baut. Anthropic habe es verinnerlicht – und baue trotzdem weiter, nach der Logik, dass kein Konkurrent vorsichtig sein werde, also müsse es selbst gewinnen.²

Er steht nicht allein da

Er steht nicht allein da – auch nicht im eigenen Haus. Der Kollege Evan Hubinger schrieb öffentlich, das Risiko heutiger Modelle sei gering, schaukle sich aber hoch, hin zu einer „Superintelligenz aus rekursiver Selbstverbesserung“, die „schneller kommt, als wir dachten“. Coxon fordert Tempo-Abkommen (Pacing Agreements) zwischen den US-Laboren – oder notfalls ein zeitweises Verbot von Fähigkeitsverbesserungen.²

Das Kapital zuckte nicht

Das Kapital zuckte nicht. OpenAI rollte am selben Morgen sein neues Modell Astra aus.⁸ Das auf Juristen spezialisierte KI-Startup Harvey schloss am selben Tag eine Finanzierung über 550 Millionen Dollar bei einer Bewertung von 15,5 Milliarden Dollar ab.⁹ Und Bill Gurley rief den Verkündern des KI-Untergangs zu, sie sollten ruhig bleiben und weitermachen – es werde schon alles großartig; Chamath Palihapitiya stimmte zu, 301.000 Aufrufe.^4,5

Warum das Aufsichtsräte angeht

Anthropics kommerzieller Vorsprung ist Vertrauen, und Vertrauen lässt sich messen. Claude zählt 245 Millionen Nutzer im Monat – Rang drei – und wandelt 13 Prozent von ihnen in zahlende Abonnements um: die beste Quote der Branche.^6,7

Eine Sicherheitsmarke, die ihre Sicherheitsforscher verliert, behält den Slogan und verliert die Substanz.

Der Wettlauf hat inzwischen drei Anzeigetafeln: ausgelieferte Modelle, eingesammeltes Kapital, abwandernde Forscher. Behalten Sie die dritte im Blick. Sie bewegt sich als Erste.