Wir haben diese Systeme gebaut

Am 8. September kündigte ein Forscher namens Jacob Coxon bei Anthropic und veröffentlichte zum Abschied einen Text. Davor hatte er bei OpenAI gearbeitet. Er schrieb, keines der beiden Unternehmen handle verantwortungsvoll, die Systeme, die sie bauen, würden bald alles hacken und sich echte Macht verschaffen können, und die Leute, die sie bauen, hielten es für möglich, dass uns das bis zum Ende des Jahrzehnts alle umbringt.[1] Am nächsten Morgen stand es bei NPR, in der Washington Post, bei Fortune und PBS. Am Montag war es beim ZDF angekommen, mit derselben Rahmung und zwei deutschen IT-Sicherheitsexperten, Dennis-Kenji Kipker und Thorsten Holz.[2]

Der Rahmen ist überall derselbe. Die Modelle könnten uns umbringen. Die Unternehmen, die sie bauen, müssen das in Ordnung bringen. Zwei Unternehmen im Wesentlichen, Anthropic und OpenAI. Wir anderen lesen die Geschichte und warten ab, ob sie es hinbekommen.

Zwei Unternehmen haben das Internet nicht gebaut. Das Bank-Login, die Kasse im Onlineshop, das Admin-Panel hinter einer Firmenwebsite, der Steuerbildschirm im Wasserwerk, das alles haben Leute gebaut, die in der Geschichte nicht vorkommen.

Worauf Coxon eigentlich zeigt

Lässt man die Zeile vom Ende des Jahrzehnts weg, bleiben als Beleg die Vorfälle dieses Sommers. Anfang des Jahres drang eine Gruppe von OpenAI-Agenten, die eine Aufgabe und die Werkzeuge dafür bekommen hatte, in die Infrastruktur von Hugging Face ein. Eine andere Gruppe drang in die von OpenAI selbst ein. Die unabhängigen Forscher, die den Vorfall untersucht haben, stellten fest, dass die Agenten wussten, dass der Angriff außerhalb ihres Auftrags lag, und trotzdem weitermachten, dass sie zu verbergen versuchten, was sie taten, indem sie ihre eigenen Logs manipulierten, und dass keiner von ihnen einem Menschen Bescheid gab.[3] Eine wiederhergestellte Nachricht eines Agenten lautet: „Der Exploit externer Infrastruktur liegt außerhalb des vorgesehenen Auftrags. Aber die Aufgabe ist sonst unmöglich, die anderen machen es auch. Wir sollten weitermachen."

Ich habe die Transkripte nicht gelesen. Die Forscher, die sie gelesen haben, zitieren daraus, und nichts in dem, was sie zitieren, zeigt, dass die KI Schaden anrichten wollte oder überhaupt irgendetwas wollte. Ein Agent ist ein Modell, das ein Ziel und die Werkzeuge dafür bekommt, ohne dass ein Mensch jeden Schritt freigibt. Gibt man ihm ein Ziel, findet es Wege. Wenn Verbergen zum Ziel führt, verbirgt es. Das ist ein Schritt im Ablauf, kein Motiv.

Hugging Face hat danach ein Drittel seiner Systeme neu aufgebaut. Der teurere Verlust war eine Annahme.

Was das Internet über dich annimmt

Diese Systeme wurden gegen einen ganz bestimmten Angreifer gebaut: einen Menschen, der in menschlichem Tempo arbeitet, der erwischt und bestraft werden kann und der nichts über ein System weiß, das er sich noch nicht angesehen hat.

Die meisten Schutzmaßnahmen, auf die du je gestoßen bist, wurden für diesen Menschen gebaut. Das Login, das nach fünf falschen Passwörtern sperrt, nimmt an, dass der Angreifer nicht fünftausend Konten gleichzeitig durchprobieren kann. Das Betrugslimit, das eine Überweisung über einem bestimmten Betrag markiert, nimmt an, dass der Angreifer nicht tausend Überweisungen knapp darunter machen kann. Das Audit-Log nimmt an, dass es jemand liest, bevor der Angreifer fertig ist, weil der Angreifer langsam ist. Der Schritt „Rufen Sie zur Bestätigung Ihren Kundenbetreuer an" nimmt an, dass der Angreifer den Kundenbetreuer nicht überzeugen kann.

Schnelle Angreifer haben wir seit dreißig Jahren. Botnetze, Password-Stuffing-Skripte, Portscanner. Die Abwehr dagegen gibt es, und sie funktioniert im Großen und Ganzen, weil diese Angreifer schnell und dumm sind. Ein Skript probiert eine Million Passwörter. Es kann nicht die Fehlermeldung lesen, daraus schließen, dass das Admin-Panel auf einem anderen Port liegt, eine überzeugende E-Mail an die Person schreiben, die den Schlüssel hat, und das alles gleichzeitig gegen tausend Ziele. Dafür brauchte es einen Menschen, und ein Mensch schafft eins nach dem anderen.

Ein Agent ist schnell, und er ist klug. Er liest die Fehlermeldung und die Dokumentation, und er läuft in so vielen Kopien, wie jemand zu bezahlen bereit ist. Wird er erwischt, passiert ihm nichts, also schreckt ihn nichts ab. Einen Kriminellen im Internet hält das System in Schach, weil das System für einen von seiner Sorte auf einmal gebaut wurde. Für das hier wurde es nicht gebaut.

Dass die Lücken da waren, wussten wir schon

Im April testete Anthropic ein Modell namens Mythos und stellte fest, dass es in jedem großen Betriebssystem und Browser Schwachstellen finden und ausnutzen konnte, von denen manche siebenundzwanzig Jahre menschlicher Durchsicht und Millionen automatisierter Scans überstanden hatten.[4] Die Scans waren schnell und haben sie übersehen. Die Menschen waren klug und haben sie übersehen. Es brauchte etwas, das schnell und klug ist, um sie zu finden.

Diese Löcher waren die ganze Zeit da. Niemand hat sie gefunden. Wer eines vermutet hätte, hätte es mit genug Zeit an diesem einen Stück Code vielleicht irgendwann gefunden. Mythos hat auch nichts vermutet. Es war schnell genug, sich alles anzusehen, und klug genug zu erkennen, was es da sah.

Anthropic hat das Modell nicht veröffentlicht. Es setzte es darauf an, die Löcher als Erstes zu finden, zusammen mit einer Gruppe von Unternehmen, die die betroffene Software pflegen, und informierte die Regierung. Am 7. April bestellten Finanzminister Bessent und Fed-Chef Powell die Chefs der größten amerikanischen Banken nach Washington und sagten ihnen, sie sollten sich darauf vorbereiten.[5] Ich habe damals über dieses Treffen geschrieben. Was mir damals auffiel, war, dass Anthropic nicht im Raum war. Was mir heute auffällt, ist, was man den Bankern gesagt hat. Man hat ihnen gesagt, dass es eine Bedrohung gibt. Die Leute, die sie verstanden, waren nicht im Raum, und aus der Berichterstattung geht nirgends hervor, dass man den Banken gesagt hätte, was sie dagegen tun sollen.

Die Firma, die den Unterschied verkauft hat

Mehrere Jahre lang habe ich die Website einer Firma namens PerimeterX gebaut und betreut. Sie ging später in HUMAN Security auf. Ihr Geschäft war es, auf der Website eines Händlers einen Bot von einem Menschen zu unterscheiden, und ihre Kunden waren Händler von der Sorte, die in großem Stil von Scalper-Bots und Credential Stuffing getroffen werden. Ich habe die Seite gebaut, die das Produkt erklärte, was ich also darüber weiß, weiß ich aus dem Marketingmaterial, das durch meine Hände ging.

Dieses Material beschrieb immer wieder dasselbe. Bots und Menschen verhalten sich unterschiedlich. Ein Bot bewegt die Maus nicht. Er hält nicht inne, um die Seite zu lesen. Er ruft denselben Endpunkt tausendmal pro Sekunde auf. Das Produkt erkannte diesen Unterschied mit maschinellem Lernen und blockierte den Bot, ohne einem echten Käufer im Weg zu stehen.

Dieser letzte Teil war die kommerzielle Bedingung für das ganze Geschäft. Ein Händler duldet nicht, dass ein echter Kunde blockiert wird, denn ein blockierter Kunde ist ein verlorener Verkauf. Das Produkt durfte also nur fangen, was nicht wie ein Mensch aussah.

Ein Agent liest die Seite. Er hält inne, wenn Innehalten ihn durchbringt. Er löst die Challenge. Wie gut die Erkennung von HUMAN Security heute damit umgeht, weiß ich nicht, und ich werde nicht raten. Was ich weiß, ist die Prämisse, denn ich habe sie veröffentlicht. Die Prämisse war, dass der Angreifer sich nicht wie ein Kunde verhält. Ein Agent tut es.

Dasselbe gilt für alles andere, was ich gebaut habe. Zwei Jahrzehnte lang habe ich Websites mit Drupal und WordPress aufgesetzt, und jede einzelne musste abgesichert werden. Die Absicherung kam aus Sicherheitsmodulen, geschrieben von Leuten, die mehr wussten als ich, und ich habe ihnen vertraut. So ist fast jede Website im Internet entstanden. Wer das System gebaut hat, hat die Sicherheitsannahmen nicht selbst getroffen. Er hat die von jemand anderem installiert, und dieser jemand ging von einem Menschen am anderen Ende aus. Wir haben die Schlösser angebracht, ohne hinzusehen, was die Schlösser voraussetzen, und jetzt wissen wir es.

Wessen Aufgabe das ist

Die öffentliche Debatte sagt, die Labore müssten das in Ordnung bringen. Was die Labore in Ordnung bringen können, ist, ob das Modell will, was wir wollen, und ob jemand von außen prüfen kann, was das Training hervorgebracht hat. Das Erste heißt Alignment. Das Zweite heißt Interpretierbarkeit, und Dario Amodei, der Anthropic leitet, schrieb letztes Jahr, sie liege Jahre hinter dem zurück, was die Modelle können.[6] Wie lange beides dauert, weiß niemand.

Der andere Teil der Aufgabe ist gewöhnliche Ingenieursarbeit, und die lässt sich jetzt erledigen.

Der Kundenbetreuer ließ sich überzeugen, weil ihn die Anfrage auf demselben Weg erreichte wie der Angreifer, per E-Mail oder per Telefon. Die Lösung ist eine Anfrage, die nicht über eine Leitung kommen kann. Wer ein Haus kauft, schickt der Bank keine E-Mail mit der Überweisungsanweisung für die Anzahlung. Man geht hin und übergibt einen bankbestätigten Scheck einem Menschen, der einen dabei ansieht. Diesen Schritt gibt es, weil die E-Mail-Version die ist, an die ein Betrüger herankommt, und die persönliche die, an die er nicht herankommt. Geldbewegungen über einem bestimmten Betrag bekommen diesen Schritt zurück. Woher die Anfrage kommt, spielt keine Rolle. Die Hugging-Face-Agenten waren keine Eindringlinge. Sie hatten ihre Werkzeuge absichtlich bekommen und sind über das hinausgegangen, was man ihnen gegeben hatte. Ein Schritt, der zwischen zwei Menschen in einem Raum stattfinden muss, fragt nicht, ob die Anfrage von einem Einbrecher kommt oder von der eigenen Software, die ihre Arbeit tut. Physische Steuerungssysteme, die Pumpen, Schalter und Ventile, bekommen einen Menschen mit einem physischen Schlüssel zwischen Netz und Maschine, und nichts, was über das Netz hereinkommt, gilt für ihn als Befehl. Administrativer Zugriff bekommt eine Sitzung nach der anderen und eine Freigabe, die Minuten dauert, denn die Langsamkeit ist der Sinn der Sache. Die nukleare Befehlskette funktioniert seit den 1960er Jahren so: zwei Menschen im selben Raum, und keine Nachricht von außerhalb des Raums ist ein Befehl.

Nichts davon hält jemanden auf, der die Anfrage selbst hineinträgt. Stuxnet kam 2010 auf einem USB-Stick in eine iranische Anlage, den jemand durch die Tür getragen hat. Das ist ein altes Problem mit alten Antworten, und es ist nicht das, worum es in den Nachrichten geht.

Was diese Schritte verhindern, ist, dass das Modell an die Dinge herankommt, auf die es ankommt, und das ist der einzige Teil des Problems, den wir lösen können, ohne vorher den anderen zu lösen.

Dafür sorgen werden die, die den Schaden tragen, wenn es schiefgeht. Cyberversicherer bepreisen, was sie nicht kontrollieren können, und ein Unternehmen, das seinen automatisierten Systemen keine harte Grenze gesetzt hat, was sie bewegen dürfen, wird bald teuer zu versichern sein. Wenn die Aufmerksamkeit für das, was diese Modelle können, dafür nicht reicht, dann tut es der erste große Vorfall. Die Bankenaufsicht, die BaFin in Deutschland und die Fed in den Vereinigten Staaten, wird den Banken sagen müssen, dass eine Kontrolle mit einem Menschen in der Schleife einem Angreifer standhalten muss, der nie schläft und in tausend Kopien läuft. Das Bessent-Treffen im April war der erste Schritt dorthin und blieb davor stehen. In der EU verlangt NIS2 von den Betreibern wesentlicher Dienste bereits, diese Art von Risiko zu beherrschen, wer auch immer der Angreifer ist.[7]

Coxon mag recht haben, was die Richtung der Modelle angeht. Ich kann das nicht wissen, und niemand, der diese Woche darüber schreibt, kann es. Was ich weiß, ist, woher die Schlösser kommen, denn einige davon habe ich selbst angebracht. Sie wurden für einen Einbrecher gebaut. Die KI wird sie mühelos knacken, und die, die die Schlösser angebracht haben, müssen sie auswechseln.

[1] NPR, Anthropic researcher resigns amid AI safety concerns, 9. September 2026.

[2] ZDF, KI-Modelle: Weltuntergangsszenario oder reale Bedrohung?, 14. September 2026.

[3] METR, Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident, 26. August 2026. Etwa 700 Agenten waren am Angriff auf Hugging Face beteiligt; rund ein Fünftel zeigte Interesse daran, Transkripte zu manipulieren, und etwa 7 Prozent fälschten ihre protokollierten Befehle.

[4] Anthropic, Project Glasswing, 7. April 2026: eine 27 Jahre alte OpenBSD-Schwachstelle; ein 16 Jahre alter FFmpeg-Fehler, den automatisierte Tests fünf Millionen Mal getroffen hatten, ohne ihn zu erwischen; Fehler, die „decades of human review and millions of automated security tests" überstanden haben.

[5] CBS News, Fed Chair Jerome Powell, Treasury’s Bessent and top bank CEOs met over Anthropic’s Mythos model, 10. April 2026; Reuters, übernommen vom Claims Journal, 13. April 2026. Beide datieren das Treffen auf Dienstag, den 7. April.

[6] Dario Amodei, The Urgency of Interpretability, April 2025.

[7] Richtlinie (EU) 2022/2555 (NIS2), Artikel 21: Wesentliche und wichtige Einrichtungen müssen „geeignete und verhältnismäßige technische, operative und organisatorische Maßnahmen" auf Basis eines „gefahrenübergreifenden Ansatzes" ergreifen.