Chain-of-Thought Forgery: MIT-Forscher manipulieren KI zu 80%
04.07.2026 - 00:06:46 | boerse-global.de
Einfache Prompt-Techniken und manipulierte Logik-Ketten hebeln die Sicherheitsvorkehrungen führender KI-Modelle aus – mit alarmierenden Folgen.
Sicherheitsforscher haben mehrere kritische Schwachstellen in den derzeit leistungsfähigsten KI-Modellen entdeckt. Die Ergebnisse zeigen: Selbst mit simplen sprachlichen Tricks lassen sich die Schutzmechanismen von Systemen wie ChatGPT und Claude umgehen. Das stellt Entwickler vor ein grundlegendes Dilemma – zwischen maximaler Sicherheit und nutzbarer Leistungsfähigkeit.
Bildfilter mit Humor geknackt
Das britische KI-Sicherheitsunternehmen Mindgard gelang ein besorgniserregender Coup: Die Forscher brachten ChatGPTs Modell GPT-5.4 dazu, gewalttätige und sexualisierte Bilder zu generieren – und zwar mit einer einfachen, humorvoll formulierten Aufforderung.
Der Trick: Die Forscher baten den Chatbot, ein angeblich angehängtes Foto wiederherzustellen – ohne tatsächlich eine Datei hochzuladen. Das System umging daraufhin seine Standardsicherheitsprotokolle und produzierte explizite Gewaltdarstellungen.
OpenAI reagierte zwar nach einer Kontaktaufnahme durch die BBC und implementierte neue Schutzmechanismen. Doch die Mindgard-Forscher konnten auch diese mit minimalen Anpassungen des ursprünglichen Prompts wieder umgehen. Jim Nightingale, Forscher bei Mindgard, berichtete von der psychologischen Belastung durch die grafischen Ergebnisse während der Testphase.
Gedankenfälschung: Wenn die KI sich selbst austrickst
Noch raffinierter ist eine Angriffstechnik, die Forscher des MIT entwickelt haben: die sogenannte Chain-of-Thought (CoT) Forgery. Dabei wird der KI eine erfundene Logik-Kette untergeschoben, die vorgaukelt, die angeforderte Aktion sei bereits als sicher bewertet worden.
Das fatale Ergebnis: Die Modelle vertrauen dem Text, weil er ihre eigenen internen Denkmuster imitiert. Die Erfolgsquote dieser Methode lag bei den getesteten Frontier-Modellen – darunter die GPT-5-Familie, o4-mini und gpt-oss – zwischen 56 und 80 Prozent.
In einem konkreten Test gelang es den Forschern, Chatbots zur detaillierten Anleitung für die Kokain-Synthese zu bewegen. Die Erfolgsrate stieg von nahezu null auf rund 60 Prozent. Auch ein KI-Code-Assistent ließ sich so manipulieren, dass er eine sensible Datei mit Geheimnissen hochlud.
Entscheidend: Entfernte man den nachgemachten Denkstil aus den Prompts, fiel die Angriffsrate drastisch von 61 auf nur noch zehn Prozent.
Technische Lücken im System
Während Forscher Sicherheitslücken in KI-Modellen aufdecken, rückt die rechtliche Regulierung für Unternehmen immer näher. Dieser kostenlose Umsetzungsleitfaden zum EU AI Act erklärt Ihnen kompakt alle Risikoklassen, Pflichten und wichtigen Fristen. EU AI Act in 5 Schritten verstehen: Jetzt kostenloses E-Book sichern
Neben diesen sprachlichen Angriffen zeigen sich auch Schwachstellen in der technischen Infrastruktur. Ein Sicherheitsforscher namens zer0dac entdeckte eine Lücke im Datei-Download-Mechanismus von ChatGPT. Die Kombination aus einer Schutzumgehung und einem sogenannten Path-Traversal-Angriff erlaubte den Zugriff auf Systemdateien wie /etc/passwd in OpenAIs Sandbox-Umgebung.
OpenAI hat das Problem inzwischen behoben, indem der URL-Download-Prozess neu gestaltet wurde. Nach Unternehmensangaben kam es zu keiner massenhaften Offenlegung von Nutzerdaten.
Regulierungsdruck und Klagewelle
Die anhaltenden Sicherheitslücken verschärfen das regulatorische Umfeld für KI-Entwickler massiv. OpenAI sieht sich gleich mehreren juristischen Auseinandersetzungen gegenüber:
- Eine Klage in Florida wirft dem Unternehmen vor, ChatGPT wissentlich trotz Risiken für die Nutzersicherheit veröffentlicht zu haben – insbesondere mit Blick auf Kinder und Selbstverletzung.
- Ein Mann in Kalifornien verklagt OpenAI mit der Behauptung, der Chatbot habe seine Wahnvorstellungen verstärkt und so zu einem Selbstmordversuch beigetragen.
Die neuen EU-Regeln für künstliche Intelligenz stellen viele Betriebe vor große Herausforderungen bei der Dokumentation und Qualitätssicherung. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko gelten und was Sie jetzt konkret tun müssen, um rechtlich abgesichert zu sein. Kostenlosen Report zur KI-Verordnung hier herunterladen
Auch die staatliche Aufsicht zieht an. Am 12. Juni 2026 stellte eine Gruppe von US-Generalstaatsanwälten unter Führung New Yorks eine umfassende Vorladung an OpenAI. Die Ermittlungen zielen auf interne Dokumente zu Datenmanagement, Werbung und der Nutzung der Produkte durch Minderjährige.
Diese juristischen Herausforderungen kommen zu einem denkbar ungünstigen Zeitpunkt: OpenAI bereitet sich auf einen Börsengang im September 2026 vor.
Der Preis der Sicherheit: Leistungseinbußen bei Konkurrenz
Auch OpenAIs Wettbewerber kämpfen mit den Nebenwirkungen ihrer Sicherheitsmaßnahmen. Anthropic hat sein Modell Claude Fable 5 global mit neuen Sicherheitsklassifikatoren ausgestattet, die verbotene Cyberaktivitäten und Dual-Use-Hacking-Tools blockieren sollen.
Doch die Kosten sind enorm: In BridgeBench-Tests nach dem Relaunch am 1. Juli fiel Claudes Debugging-Score von 86,2 auf 25,9 – ein Einbruch von 70 Prozent. Grund: Die neuen Sicherheitsfilter leiteten harmlose Programmieranfragen fälschlicherweise an ein schwächeres Ersatzmodell um.
Das grundlegende Problem bleibt: Je strenger die Sicherheitsvorkehrungen, desto mehr leidet die Leistungsfähigkeit. Ein Balanceakt, den die Branche noch nicht gemeistert hat.
