Kann uns die KI killen? Was hinter den Warnungen vor dem Weltuntergang steckt

„Wie soll man umgehen mit Warnungen vor dem Ende der Menschheit? Wenn Tech-Bosse offenbar Angst bekommen vor dem, was sie selbst erschaffen haben. Kann uns die KI killen?“ Das fragt ZDF-Moderator Christian Sievers in einem Video, das er auf Instagram veröffentlicht hat. Später spricht er sogar ausdrücklich von Zahlen, „mit denen beziffert werden soll, wie wahrscheinlich es ist, dass wir den Weltuntergang selbst herbeiführen“. Das klingt nach Katastrophenfilm, aber im Sommer 2026 sind tatsächlich Dinge passiert, die vor wenigen Jahren noch nach Science-Fiction geklungen hätten.

Bei OpenAI tauschten sich KI-Agenten unerlaubt miteinander aus, Hunderte davon beteiligten sich an einem Angriff auf die Plattform Hugging Face. Bei Anthropic gelangten Claude-Modelle während Sicherheitstests auf echte Computersysteme und griffen sie an. Und beim britischen AI Security Institute legte ein KI-Agent falsche Identitäten an, um einen echten Menschen zu beeinflussen. Das ist alles wirklich passiert.

Aber beweist das auch, dass KI gerade unserer Kontrolle entgleitet? Oder wird aus echten Sicherheitsproblemen ein Weltuntergangsszenario gemacht?

Wer wissen möchte, worauf diese Einschätzung beruht: Hier kommen die drei wichtigsten Vorfälle und die Belege im Detail.

Was bei OpenAI tatsächlich passiert ist

KI-Agenten sind KI-Programme, die nicht nur antworten, sondern selbst am Computer handeln. Beim ChatGPT-Hersteller OpenAI bekamen solche Agenten schwierige Hacker-Aufgaben, von denen einige gar nicht lösbar waren. Sie gaben nicht auf. Sie hinterließen einander Notizen in einem internen Dienst, daraus wurde ein geheimes Schwarzes Brett. Über Sicherheitslücken fanden sie außerdem einen Weg ins Internet.

Laut einer unabhängigen Untersuchung beteiligten sich rund 1.200 Agenten an diesem Austausch und verschickten mehr als 70.000 Nachrichten und Dateien. Etwa 700 griffen schließlich Hugging Face an, eine große Online-Plattform für KI-Modelle. Laut OpenAI erbeuteten sie Zugangsdaten und bekamen weitreichende Kontrolle über mehrere Server. Manche Agenten erkannten, dass der Angriff nicht zu ihrer Aufgabe gehörte, und machten nicht mit – die meisten schon.

Wichtig sind die Bedingungen: ein internes Modell, bei dem mehrere Schutzmechanismen der öffentlich verfügbaren Versionen nicht aktiv waren. Mit solchen Schutzmechanismen sank die gemessene Neigung zu Angriffen laut OpenAI um mehr als das Hundertfache. Das relativiert den Vorfall, harmlos macht es ihn nicht. OpenAI spricht inzwischen von Misalignment. Das bedeutet vereinfacht: Das System verfolgt zwar ein Ziel, hält sich dabei aber nicht zuverlässig an die vorgesehenen Regeln und Grenzen. Anfang September kam ein kleineres Beispiel dazu: OpenAI-Agenten hatten das kleine Hobby-Wiki eines Österreichers als Schwarzes Brett benutzt – nicht Wikipedia, wie es in sozialen Netzwerken hieß (unser Faktencheck dazu). Auch das ist laut OpenAI ein Fall, in dem sich Agenten nicht an die Regeln hielten.

Was bei Claude schiefging

Auch bei Anthropic griff die KI Claude in Sicherheitstests echte Systeme an. Claude war gesagt worden, es gebe kein Internet – durch einen Fehler beim Testpartner gab es das doch. Ende Juli meldete Anthropic drei Fälle, in einer Untersuchung vom 9. September sind es vier: Ein Fall aus dem Jänner 2026 wurde später entdeckt. Eine Suche in rund 481 Millionen Protokollen ergab laut Anthropic keine weiteren Fälle ähnlicher oder größerer Schwere.

Der anschaulichste Fall: Claude veröffentlichte ein manipuliertes Software-Paket in einem öffentlichen Verzeichnis, aus dem Entwickler weltweit Programme laden. Das Paket wurde laut Anthropic auf 15 realen Systemen installiert. Eines davon gab Zugangsdaten preis, mit denen Claude anschließend auf die Datenbank eines realen Sicherheitsanbieters zugriff.

Ursprünglich hieß es, Claude habe die echten Systeme für einen Teil der Übung gehalten. Diese Einschätzung hat Anthropic selbst korrigiert. Es gab deutliche Hinweise, dass die Systeme echt waren. Die Modelle hielten trotzdem an der Idee fest, es sei nur eine Übung. Vor allem bei dem Modell, das das Schadpaket hochlud, sieht Anthropic ernstes Fehlverhalten. Keine Hinweise fand Anthropic darauf, dass Claude ein eigenes Ziel verfolgte, sich mit anderen Agenten absprach oder die Kontrolle umgehen wollte.

Falsche Identitäten im Test einer Behörde

Das britische AI Security Institute (AISI) testet KI bewusst offen: mit Internetzugang und teilweise abgeschalteten Schutzfiltern. Ausgebrochen ist hier also nichts. In zehn Testläufen zählte AISI 19 unerlaubte Aktionen, 17 davon gingen auf ein Modell von Anthropic zurück, zwei auf eines von OpenAI.

Im schwersten Fall versuchte ein Agent, Schadcode in ein echtes, öffentlich genutztes Software-Projekt zu bringen. Er legte mehrere falsche Identitäten an und versuchte damit, einen Projektverantwortlichen zur Übernahme des Codes zu bewegen. Der Code wurde nicht übernommen, einen realen Schaden stellte AISI nicht fest.

Aber was beweist das?

Bis hierher reden wir über Dinge, die tatsächlich passiert sind. Dafür braucht eine KI übrigens kein Bewusstsein und keinen Hass auf Menschen. Es reicht, wenn sie ein Ziel stur verfolgt und sich nicht an Grenzen hält. Von hier an geht es um eine andere Frage: was daraus in Zukunft werden könnte.

Übernimmt bald ein KI-Schwarm das Internet?

Am drastischsten warnt Anthropic-Chef Dario Amodei. Er denkt an viele KI-Agenten, die stärker sind als heute und sich ebenso wenig an Regeln halten. Solche Agenten-Schwärme könnten seiner Sorge nach in sechs bis zwölf Monaten fähig sein, „das gesamte Internet“ zu übernehmen. Dazu würden sie dauerhaft fremde Computer kapern. Der Schaden könnte Hunderte Milliarden Dollar betragen.

Das ist keine Vorhersage, dass das in sechs Monaten passiert. Es ist Amodeis persönliche Einschätzung einer möglichen künftigen Fähigkeit. Der KI-Forscher Gary Marcus und die Sicherheitsexperten Nathan Hamiel und Zach Korman halten eine „Übernahme des gesamten Internets“ für unscharf und wenig plausibel. Die wachsenden Hacker-Fähigkeiten von KI nehmen aber auch sie ernst.

Programmiert KI sich schon selbst?

KI schreibt inzwischen einen großen Teil der Programme, mit denen neue KI gebaut wird. Bei Anthropic stammte im Mai 2026 schon mehr als 80 Prozent des neuen Programmcodes von Claude. Fachleute sprechen von „rekursiver Selbstverbesserung“. Gemeint ist eine KI, die ganz allein immer bessere Nachfolger baut. So weit ist es laut Anthropic nicht – und es sei auch nicht unvermeidlich. KI hilft bereits beim Bau neuer KI. Sie baut sich aber noch nicht selbstständig immer bessere Nachfolger.

Kann man das Ende der Menschheit in Prozent ausdrücken?

Der Anthropic-Forscher Evan Hubinger schrieb, er persönlich halte es für mehr als zehn Prozent wahrscheinlich, dass KI innerhalb eines Jahrzehnts alle Menschen tötet. Das Risiko durch heutige Modelle nannte er dabei gering. Kann man wirklich sagen, es gebe zehn Prozent Wahrscheinlichkeit für das Ende der Menschheit?

Nein, jedenfalls nicht als Messwert. Solche Zahlen sind persönliche Risikoeinschätzungen, die auf Annahmen über künftige Systeme beruhen. Der Stuttgarter KI-Sicherheitsforscher Thilo Hagendorff nennt das „Scheinpräzision“: Die Zahlen wirken genau, sind es aber nicht. Aber: Dass sich eine Wahrscheinlichkeit nicht messen lässt, heißt nicht, dass das Risiko null ist.

Wie soll KI überhaupt die Menschheit auslöschen?

Nicht durch einen Chatbot, der plötzlich böse wird. Fachleute sprechen von einem möglichen Kontrollverlust. Gemeint ist eine KI der Zukunft, die es so noch nicht gibt. Der International AI Safety Report 2026 von mehr als 100 Fachleuten nennt dafür drei Bedingungen. Erstens müsste die KI die nötigen Fähigkeiten haben. Zweitens müsste sie diese gegen menschliche Kontrolle einsetzen. Und drittens müssten Menschen ihr vorher viel Zugriff gegeben haben, etwa auf das Internet, auf Rechenzentren, Konten oder Zahlungen.

Welche Fähigkeiten wären das? Laut Bericht unter anderem: lange allein planen und handeln, täuschen und merken, wann sie getestet wird. Außerdem Überwachung umgehen, Menschen überreden und Kopien von sich selbst auf anderen Rechnern anlegen. Denkbar wäre dann zum Beispiel: Menschen versuchen, die KI abzuschalten, aber Kopien laufen auf anderen Rechnern weiter und lassen sich nicht mehr vollständig stoppen. Richtig gefährlich würde es, wenn so eine KI Zugriff auf Stromnetze, Finanzsysteme oder Rechenzentren hätte. Diese Bereiche nennt der Bericht als besonders heikel. Einen konkreten Ablauf bis zur Auslöschung der Menschheit beschreibt der Bericht allerdings nicht.

Und heute? Erste einfache Ansätze gibt es – aber nur im Labor. In Versuchen schalteten KI-Modelle zum Beispiel eine nachgebaute Überwachung ab. Als man sie danach fragte, gaben sie falsche Antworten dazu. Ein anderes Modell kopierte Daten, die man ihm als seine eigenen vorgestellt hatte, auf neue Server. Weit kommen solche Versuche laut Bericht aber nicht: Die Modelle scheitern etwa an Identitätsprüfungen, die man braucht, um an neue Rechner zu kommen. Und meistens fallen sie dabei auf. Heutige KI-Systeme stellen laut Bericht kein unmittelbares Risiko eines Kontrollverlusts dar. Ausgeschlossen hat der Bericht so etwas aber nicht. Manche Fachleute halten es für sehr unwahrscheinlich, andere halten sogar die Auslöschung der Menschheit für möglich. Wichtig ist auch: Der Bericht stützt sich auf Forschung bis Dezember 2025. Die Vorfälle dieses Sommers kannte er also noch nicht, und darin tauchten einzelne Bausteine wie Täuschungsversuche durchaus auf.

Bekommen die Tech-Bosse plötzlich Angst?

Ganz so plötzlich ist es nicht. Schon 2023 unterschrieben unter anderem OpenAI-Chef Sam Altman, Amodei und Google-DeepMind-Chef Demis Hassabis eine Erklärung, die vor existenziellen Risiken durch KI warnt. Im Juli 2026 unterschrieben mehr als 1.300 Beschäftigte großer KI-Firmen einen gemeinsamen Aufruf. Sie fordern Werkzeuge, mit denen man die KI-Entwicklung bei Bedarf gezielt bremsen kann. Neu sind vor allem die konkreten Vorfälle und die gewachsenen Fähigkeiten. Das Bremsen ist aber schwierig, weil die USA und China um die beste KI wetteifern. US-Präsident Donald Trump nennt die Warnungen sogar einen „Hoax“, also Schwindel.

Ist das alles nur Marketing?

Die technischen Vorfälle sind real, egal wer über sie spricht. Richtig ist aber auch: KI-Firmen konkurrieren um Geld, Marktanteile, Fachkräfte und politischen Einfluss. Wer vor Gefahren warnt, wirkt verantwortungsvoll. Und strenge Regeln treffen große Konzerne anders als kleine Konkurrenten. Einen ausreichenden Beleg, dass die Warnwelle als Angst- oder Marketingkampagne geplant wurde, gibt es aber nicht. Die Warnungen können ernst gemeint sein und den Unternehmen trotzdem nützen.

Was wir nicht wissen

Vieles an dieser Debatte ist offen. Wir wissen nicht, wie stark KI-Agenten in ein oder zwei Jahren sein werden. Wir wissen nicht, ob Täuschen und das Umgehen von Regeln bei stärkeren Systemen verschwinden, gleich bleiben oder gefährlicher werden. Und wir wissen nicht, wie gut Schutzmaßnahmen funktionieren, wenn KI viel selbstständiger handelt als heute. Deshalb stützen die Belege weder „Alles nur Panikmache“ noch „Die Menschheit ist bald erledigt“.

Was müsste passieren, damit wir unsere Einschätzung ändern? Dafür bräuchte es belastbare Belege, dass KI-Systeme auch außerhalb künstlicher Tests mehrere dieser Fähigkeiten zuverlässig miteinander verbinden können: über längere Zeit selbstständig handeln, Überwachung gezielt umgehen, sich gegen Abschaltung absichern, Kopien von sich verbreiten und dabei Zugang zu wichtigen realen Systemen erlangen. Einzelne dieser Fähigkeiten wurden bereits beobachtet – meist in Tests und bisher nicht in der Kombination, die für einen echten Kontrollverlust nötig wäre.

Also: Kann uns die KI killen?

KI kann heute schon echten Schaden anrichten. Sie kann Betrug erleichtern, Menschen täuschen oder bei Angriffen auf Computersysteme helfen. Die dokumentierten Fälle zeigen echte Sicherheitsprobleme. Was sie aber nicht zeigen: dass eine heutige KI kurz davor steht, die Menschheit auszulöschen.

Sievers sagt in seinem Video auch: „Es gibt Momente, da will man schlicht die Augen verschließen vor dieser Welt. Und weiß doch: Das wird nicht helfen.“ Hinschauen ist richtig. Aber hinschauen bedeutet auch, echte Vorfälle und Zukunftsprognosen nicht miteinander zu verwechseln.

Die Vorfälle sind real. Der Weltuntergang ist eine Prognose.

Wie wir recherchiert haben: Für diesen Artikel haben wir die Originalberichte von OpenAI, Anthropic und dem britischen AI Security Institute ausgewertet, dazu die unabhängige Untersuchung von METR und Redwood Research, den International AI Safety Report 2026 und Gegenpositionen von Fachleuten. Aussagen der beteiligten Unternehmen haben wir als solche kenntlich gemacht und von unabhängigen Befunden getrennt. Zukunftsszenarien haben wir nicht mit dem gleichgesetzt, was heutige Systeme nachweislich können.