ChatGPT führt „Vertrauenskontakt“ für emotionale Krisen ein

OpenAI startet global eine neue Sicherheitsfunktion: ChatGPT kann bei Anzeichen von Selbstgefährdung einen vorher benannten Kontakt alarmieren.

Der KI-Entwickler OpenAI hat diese Woche mit der weltweiten Einführung einer neuen Funktion namens „Trusted Contact“ (Vertrauenskontakt) für ChatGPT begonnen. Das Tool soll erwachsenen Nutzern ein reales Unterstützungssystem bieten, indem die KI eine zuvor designierte Person benachrichtigt, wenn sie Anzeichen schwerer emotionaler Not oder Selbstgefährdung erkennt. Der Schritt markiert einen Wandel im Umgang mit der komplexen Schnittstelle zwischen generativer KI und psychischer Gesundheit – weg von rein automatischen Ressourcen-Vorschlägen, hin zur Ermöglichung menschlicher Intervention.

Warum so viele Deutsche ChatGPT nutzen – aber kaum einer weiß, wie man es richtig anwendet: Ein kostenloser Ratgeber zeigt, wie Sie die KI im Alltag sicher und effektiv für Ihre Zwecke nutzen können – ganz ohne Vorkenntnisse. Kostenlosen ChatGPT-Ratgeber jetzt herunterladen

Wie der Vertrauenskontakt funktioniert

Die Funktion ist ein optionales Sicherheitswerkzeug, das manuell in den ChatGPT-Einstellungen aktiviert werden muss. Nutzer nominieren einen einzigen erwachsenen Kontakt – weltweit müssen Personen mindestens 18 Jahre alt sein, in Südkorea 19. Nach der Auswahl sendet die Plattform eine Einladung per E-Mail, SMS oder WhatsApp, die der Empfänger innerhalb einer Woche annehmen muss.

Das System basiert auf einer hybriden Überwachung: Kombiniert automatische Erkennung mit menschlicher Kontrolle. Erkennt OpenAIs Algorithmus, dass ein Nutzer über Selbstverletzung oder Suizid spricht – und zwar auf eine Weise, die auf ernste Gefahr hindeutet –, macht der Chatbot den Nutzer zunächst darauf aufmerksam. Dann bietet er sogenannte „Gesprächsstarter“ an, die den Nutzer ermutigen sollen, selbst den Kontakt zu seiner Vertrauensperson aufzunehmen.

Gleichzeitig wird der Fall an ein spezialisiertes Team geschulter menschlicher Prüfer eskaliert. Diese treffen die endgültige Entscheidung, ob eine Benachrichtigung an den Vertrauenskontakt gesendet wird. OpenAI hat eine Ziel-Reaktionszeit von unter einer Stunde für diese Sicherheitsprüfungen festgelegt.

Datenschutz hat Priorität

Die Benachrichtigungen an den Kontakt sind bewusst eingeschränkt. Der Vertrauenskontakt erhält keine Transkripte oder spezifischen Details der Unterhaltungen. Stattdessen bekommt er eine allgemeine Nachricht, dass ein Sicherheitsproblem im Zusammenhang mit Selbstgefährdung erkannt wurde – mit der Bitte, sich beim Nutzer zu melden.

Zusammenarbeit mit Kliniken und Experten

Die Entwicklung der Funktion erfolgte in enger Abstimmung mit externen Experten, darunter Forscher, Suizidpräventionsorganisationen und Kliniker. Organisationen wie die American Psychological Association halfen dabei sicherzustellen, dass das Tool eine zusätzliche Unterstützungsebene bietet – ohne professionelle Krisendienste oder lokale Hotlines zu ersetzen.

Der Vorstoß kommt zu einem Zeitpunkt, an dem OpenAI zunehmend unter Beobachtung steht, was die emotionalen Auswirkungen seiner Produkte angeht. Unternehmensdaten zeigen das Ausmaß der Herausforderung: Etwa 0,15 Prozent der wöchentlichen Nutzer zeigen Anzeichen von Selbstverletzung oder Suizidrisiko, weitere 0,07 Prozent Symptome, die mit Psychose oder Manie verbunden sind. Da OpenAI angibt, wöchentlich etwa zehn Prozent der Weltbevölkerung zu erreichen, entsprechen diese Prozentsätze Millionen von Menschen, die möglicherweise Unterstützung benötigen.

Von Teenager-Schutz zur Erwachsenen-Sicherheit

Branchenbeobachter sehen die Funktion als Weiterentwicklung bestehender Sicherheitsprotokolle für Minderjährige. Bereits Anfang des Jahres führte OpenAI ähnliche Warnungen für verknüpfte Teenager-Konten ein – ein Trend, der auch auf Social-Media-Plattformen wie Instagram zu beobachten ist. Mit der Ausweitung auf Erwachsene versucht das Unternehmen, Risiken durch „emotionale Abhängigkeit“ von KI zu mindern.

Sicherheitsoffensive mit mehreren Bausteinen

Die Einführung des Vertrauenskontakts ist Teil einer breiteren „Sicherheits- und Schutz-Woche“ bei OpenAI. Bereits am 4. Mai stellte das Unternehmen „Advanced Account Security“ vor – eine optionale Schutzsuite für besonders gefährdete Nutzer wie Journalisten, politische Dissidenten und Amtsträger.

Dieses Sicherheitspaket verstärkt die Anmeldeverfahren, indem es traditionelle Passwörter durch physische Sicherheitsschlüssel und Passkeys ersetzt. OpenAI bestätigte eine Partnerschaft mit dem Hardware-Sicherheitsunternehmen Yubico, um berechtigten Nutzern vergünstigte Sicherheitsgeräte anzubieten. Die Maßnahmen umfassen auch verkürzte Anmeldesitzungen und den automatischen Ausschluss von KI-Modell-Trainings für Gespräche eingeschriebener Nutzer.

Während OpenAI neue Sicherheitsfunktionen einführt, bringt der EU AI Act bereits seit August 2024 verbindliche Regeln für den Einsatz von KI in Unternehmen mit sich. Dieser kostenlose Umsetzungsleitfaden zeigt Ihnen kompakt alle Fristen, Pflichten und Risikoklassen, damit Sie rechtlich auf der sicheren Seite bleiben. Kostenloses E-Book zum EU AI Act sichern

Parallel dazu veröffentlichte OpenAI am 8. Mai „GPT-5.5-Cyber“ sowie ein aktualisiertes „Trusted Access for Cyber“ (TAC)-Framework. Diese Werkzeuge richten sich an geprüfte Cybersicherheitsexperten, die kritische Infrastrukturen schützen. Das TAC-Programm nutzt ein identitätsbasiertes Framework, um Verteidigungsteams erweiterten Zugang zu KI-Modellen für Aufgaben wie Malware-Analyse und Schwachstellenbewertung zu gewähren – bei gleichzeitigen strengen Barrieren gegen missbräuchliche Nutzung.

Menschliche Prüfung als Qualitätsmerkmal

OpenAIs Entscheidung, menschliche Prüfer in den Vertrauenskontakt-Prozess einzubinden, ist eine bemerkenswerte Abkehr vom rein automatisierten Ansatz vieler digitaler Plattformen. Durch die zusätzliche Ebene „geschulter menschlicher Überprüfung“ will das Unternehmen das Risiko von Fehlalarmen reduzieren und gleichzeitig sicherstellen, dass der Eingriff die Privatsphäre der Nutzer respektiert.

Die Funktion ist derzeit für persönliche ChatGPT-Konten in den meisten Ländern verfügbar, nicht jedoch für gemeinsame Unternehmens- oder Bildungskonten wie ChatGPT Enterprise oder ChatGPT Edu. Diese Unterscheidung stellt sicher, dass die Sicherheitsfunktion eine private Angelegenheit zwischen Individuen bleibt.

Zukunftsausblick: KI als Brücke zu menschlicher Hilfe

Der Erfolg der Funktion wird in den kommenden Wochen maßgeblich von der Nutzerakzeptanz und der Effektivität des menschlichen Prüfteams abhängen. OpenAI betont, dass das Tool kein Ersatz für Notdienste ist. Dennoch stellt es ein bedeutendes Experiment dar, KI zu nutzen, um reale soziale Unterstützung zu ermöglichen.

Die Integration von „Gesprächsstartern“ deutet auf einen Fokus auf die „Einsamkeits-Epidemie“ hin – mit dem Ziel, die KI als Brücke zurück zur menschlichen Verbindung zu nutzen. Während Regulierungsbehörden in den USA und Europa weiterhin über KI-Sicherheitsgesetze debattieren, könnte OpenAIs proaktive Einführung menschlich überwachter Sicherheitsprotokolle als Blaupause für branchenweite Standards im Umgang mit dem Wohlbefinden der Nutzer dienen.

de | wissenschaft | 69295383 |