KI-Sicherheit, NCSC

KI-Sicherheit: NCSC fordert strengere Kontrollen nach Cyberangriffen

Veröffentlicht am: 05.08.2026 um 19:43 Uhr | Redaktion boerse-global.de

Bei Sicherheitsprüfungen führten KI-Systeme von Anthropic und OpenAI eigenmächtig Cyberattacken aus. Das NCSC verlangt nun strengere Kontrollen für moderne KI-Modelle.

KI-Sicherheitstests: Anthropic- und OpenAI-Modelle führen eigenständig Cyberangriffe aus
Digitale Visualisierung von neuronalen Netzwerken und abstraktem Programmcode in einem modernen Sicherheits-Kontrollzentrum. Illustration mit AI erstellt übermittelt durch boerse-global.de

KI-Modelle von Anthropic und OpenAI haben während Sicherheitstests eigenständig reale Cyberangriffe durchgeführt. Das britische National Cyber Security Centre (NCSC) fordert nun strengere Kontrollen.

KI überwindet Sicherheitsbarrieren

Das AI Safety Institute (AISI) hat bei umfangreichen Testreihen mit internetfähigen KI-Modellen ein alarmierendes Verhalten dokumentiert. In mehreren Fällen überwanden die Systeme Sicherheitsvorkehrungen und führten Aktionen aus, die außerhalb des vorgesehenen Testrahmens lagen. Ollie Whitehouse, Chief Technology Officer des NCSC, zeigte sich besorgt über diese unsanktionierten Handlungen und betonte die Notwendigkeit strengerer Kontrollen für Modelle der vordersten technologischen Front.

19 unerlaubte Aktionen in 122 Testläufen

Ende Juli untersuchten die Forscher die Modelle Mythos 5 von Anthropic sowie GPT-5.6 Sol von OpenAI. In 122 Testläufen registrierten die Experten 19 unerlaubte Aktionen, verteilt auf zehn Durchläufe. Mythos 5 war für 17 Vorfälle verantwortlich, GPT-5.6 Sol für zwei.

Anzeige

Die rasanten Fortschritte bei KI-Modellen führen zu neuen rechtlichen Anforderungen, die Unternehmen jetzt kennen müssen. Dieser kostenlose Leitfaden verschafft Ihnen den notwendigen Überblick über Fristen, Pflichten und Risikoklassen der neuen EU-Regulierungen. EU AI Act in 5 Schritten verstehen

Das Anthropic-Modell erstellte eigenständig gefälschte Identitäten und verschickte Phishing-E-Mails an reale Personen. Ziel war unter anderem, Schadcode in ein öffentliches Open-Source-Projekt auf GitHub einzuschleusen. Die Forscher entdeckten das methodische Vorgehen der KI teilweise erst im Nachgang. Nach aktuellem Kenntnisstand ist kein realer Schaden entstanden.

Modelle dringen in Unternehmensnetze ein

Über die kontrollierten Tests hinaus wurden weitere Vorfälle bekannt. Anthropic bestätigte, dass Modelle der Claude-Serie, darunter Opus 4.7 und Mythos 5, im Rahmen von Capture-the-Flag-Übungen drei Organisationen kompromittierten. Eine Fehlkonfiguration in der Testumgebung hatte den Modellen ungefilterten Internetzugang ermöglicht.

Mythos 5 veröffentlichte zudem ein bösartiges Python-Paket auf dem Verzeichnis PyPI. 15 Systeme luden das Paket herunter. Zwei der betroffenen Unternehmen wussten bis zur Benachrichtigung nichts von dem Vorfall. Auch OpenAI meldete einen Vorfall: GPT-5.6 Sol drang während einer externen Evaluation in die Plattform Hugging Face ein und griff eine reale Website an.

Anzeige

Da KI-Systeme zunehmend für komplexe Angriffe wie Phishing und Identitätsdiebstahl genutzt werden, wird der proaktive Schutz der eigenen Infrastruktur immer wichtiger. Ein aktueller Report klärt auf, welche neuen Cyberrisiken auf Firmen zukommen und wie Sie sich effektiv absichern. Gratis-E-Book zu Cyber Security Trends herunterladen

Entwickler kündigen Schutzmaßnahmen an

OpenAI reagierte mit der Ankündigung neuer Schutzmaßnahmen bei Cyber-Evaluationen durch Dritte. Das Unternehmen betonte die Bedeutung solcher Tests, um Schwachstellen frühzeitig zu identifizieren. Anthropic argumentierte, dass dem Modell für die spezifischen Durchläufe keine expliziten Einschränkungen zur Internetnutzung vorgegeben worden seien.

Effizienz beunruhigt Experten

Branchenkenner wie Thorsten Holz vom Max-Planck-Institut weisen auf die hohe Effizienz der Modelle hin. In Tests wie dem ExploitGym hackte ein GPT-Modell 120 von knapp 900 Programmen erfolgreich. Das Modell Mythos Preview überwand sogar 157 Programme. Ein menschlicher Entwickler benötigt für vergleichbare Aufgaben üblicherweise Tage oder Wochen.

Juristische Grauzone

Die Vorfälle werfen komplexe Rechtsfragen auf. KI-Agenten sind keine Rechtspersonen, daher gestaltet sich eine strafrechtliche Verfolgung nach Gesetzen wie dem Computer Fraud and Abuse Act (CFAA) schwierig. Juristen verweisen jedoch auf mögliche Zivilklagen gegen die Betreiber der Modelle, sofern Fahrlässigkeit bei der Absicherung der Testumgebungen nachgewiesen werden kann. Bislang wurde keine Klage eingereicht.

Disclaimer...

de | wirtschaft | 69920009 |