ChatGPT-Missbrauch: OpenAI deckt Betrugsnetzwerk mit KI-Falschnachrichten auf

Neue Untersuchungen von OpenAI belegen, wie gezielt generative Künstliche Intelligenz (KI) für die Erstellung authentisch wirkender Nachrichten und großflächiges Social Engineering missbraucht werden kann. Aktuellen Erkenntnissen zufolge lassen sich Sprachmodelle wie ChatGPT dazu einsetzen, täuschend echte Falschnachrichten zu generieren, die für betrügerische Aktivitäten genutzt werden. Das Unternehmen hat in diesem Zusammenhang ein koordiniertes Netzwerk von Nutzerkonten gesperrt, das mutmaßlich aus der kambodschanischen Provinz Preah Sihanouk heraus operierte.

Koordinierten Betrugsnetzwerke und Menschenhandel

Das identifizierte Netzwerk stand laut OpenAI in Verbindung mit Online-Betrugskomplexen und Menschenhandel. Die Akteure nutzten die KI-Technologie, um gefälschte Identitäten zu kreieren, Nachrichten zu übersetzen und verschiedene Betrugsmaschen zu unterstützen. Dazu gehörten unter anderem Investitions- und Liebesbetrug sowie Glücksspiel- und Strafverfolgungs-Szenarien.

In der operativen Umsetzung kamen dabei Taktiken zum Einsatz, die intern als „ping“, „zing“ und „sting“ bezeichnet werden. Während die finanziellen Gesamtverluste noch nicht abschließend beziffert werden können, wird davon ausgegangen, dass betroffene Opfer jeweils Tausende von US-dollar verloren haben. Besonders besorgniserregend sei der Umstand, dass einige der Konten direkte Hinweise auf erzwungene Kriminalität im Kontext von Menschenhandel lieferten.

Wachsende Risiken für Finanzsektor und Kryptowährungen

Die Gefahr durch KI-generierte Inhalte wird auch in anderen Branchen zunehmend kritisch bewertet. Ein Sicherheitsverantwortlicher der Solana Foundation warnte davor, dass KI insbesondere Social Engineering, Phishing und den Einsatz von Sprach-Deepfakes im Kryptosektor deutlich überzeugender mache. Das Hauptrisiko liege hierbei nicht in technischen Schwachstellen der Blockchain-Architektur, sondern in der gezielten Manipulation der Nutzer. Diese könnten durch die täuschend echte Kommunikation zu irreversiblen Fehlern verleitet werden, etwa zur Preisgabe von Seed-Phrasen oder der Freigabe bösartiger Transaktionen.

Angesichts immer raffinierterer Phishing-Angriffe und Social-Engineering-Taktiken ist ein strukturierter Schutz für Organisationen heute unerlässlich. Dieser kostenlose Leitfaden zeigt Unternehmen aus Verwaltung, Handel und Produktion in vier Schritten, wie sie Manipulationen effektiv entlarven und stoppen können. In 4 Schritten zum sicheren Unternehmen: So stoppen Sie Phishing-Angriffe bevor sie entstehen

Auch im traditionellen Bankwesen ist ein drastischer Anstieg der Kriminalität zu verzeichnen. Daten aus einer Anhörung des US-Senats zeigen, dass der Identitätsbetrug bei Banken von 2024 auf 2025 um 150 % gestiegen ist. Allein im ersten Quartal 2025 überstiegen die Verluste durch Deepfake-Betrug die Marke von 200 Mio. US-Dollar. Experten beobachten dabei insbesondere eine Zunahme von Stimmklon-Betrug und manipulierter Medizinwerbung.

Automatisierte Kommunikation und „digitale Biokriegsführung“

Neben kriminellen Netzwerken setzen auch Akteure im PR-Bereich auf KI-generierte Inhalte, um Authentizität vorzutäuschen. So nutzte eine britische PR-Firma KI-Porträts für fiktive Mitarbeiter-Personas, um Journalisten zu kontaktieren. Die Gründerin des Unternehmens rechtfertigte dies als vorübergehende Maßnahme aufgrund von Problemen mit der Domain-Reputation, wobei die Kunden nicht über dieses Vorgehen informiert wurden. Der CEO von Gradient Labs schätzt unterdessen, dass bereits 70 % der unaufgeforderten E-Mails auf KI-generierten Fake-Outreach zurückzuführen sind.

Im Bereich der internationalen Sicherheit wird die Situation ebenfalls kritisch beobachtet. Laut Berichten von International SOS nutzen zwar bereits 60 % der Risikofachleute KI zur Datenverifizierung, doch sahen sich 42 % der Organisationen bereits mit negativen Auswirkungen durch gefälschte Gesundheits- oder Sicherheitsinformationen konfrontiert. Deepfakes von medizinischem Personal werden in diesem Kontext bereits als eine Form der digitalen Biokriegsführung eingestuft.

Regulatorische Maßnahmen durch den EU AI Act

Die neuen Regeln zur Kennzeichnung von KI-Inhalten stellen Unternehmen vor komplexe Herausforderungen bei der Einhaltung gesetzlicher Fristen und Dokumentationspflichten. Ein kostenloser Umsetzungsleitfaden bietet Compliance-Verantwortlichen jetzt einen kompakten Überblick über alle Anforderungen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt

Als Reaktion auf diese Entwicklungen treten in der Europäischen Union neue Transparenzregeln im Rahmen des EU AI Act in Kraft. Gemäß Artikel 50 müssen Chatbots ihre Identität als KI-System gegenüber den Nutzern offenlegen. Zudem besteht eine Kennzeichnungspflicht für Deepfakes und KI-generierte Texte, die von öffentlichem Interesse sind.

Für die Nichteinhaltung dieser Vorschriften sieht der Gesetzgeber empfindliche Strafen vor. Unternehmen drohen Bußgelder von bis zu 15 Mio. € oder 3 % ihres weltweiten Jahresumsatzes. Bestehende Systeme haben noch bis zum 2. Dezember 2026 Zeit, um maschinenlesbare Kennzeichnungen zu implementieren. Große Plattformen wie TikTok und Meta haben bereits damit begonnen, Millionen von Videos zu kennzeichnen oder entsprechende Informations-Labels einzuführen, während Google den zugehörigen Verhaltenskodex unterzeichnet hat. Dennoch weisen Fachleute darauf hin, dass die Durchsetzung der Regeln insbesondere bei grenzüberschreitenden Betrugsnetzwerken eine Herausforderung bleibt.

de | wissenschaft | 69914021 |