jAImes im Kliniktest: Vier kritische Fehler in 100 geprüften Gesprächen

Das Universitätsklinikum Würzburg hat die Sicherheit und Zuverlässigkeit des digitalen Assistenten jAImes im praktischen Einsatz untersucht. Am 26. Oktober 2026 veröffentlichte das Forschungsteam die Ergebnisse einer Analyse von 2.035 Gesprächen in der Fachzeitschrift The Lancet Regional Health – Europe.

Untersucht wurden die Dialoge aus den ersten 129 Tagen nach dem Start des spezialisierten Chatbots am 11. November 2025, um die Qualität der automatisierten Patientenbetreuung systematisch zu bewerten, wie das Universitätsklinikum am 27. Oktober 2026 berichtete.

Hohe Akzeptanz bei weitgehend korrekten Antworten

Die automatisierte Auswertung der Kommunikationsdaten zeigte eine überwiegend solide Trefferquote bei den Auskünften des Systems. Demnach stuften die Prüfverfahren 88,6 Prozent der von jAImes gegebenen Antworten als gut ein. Weitere 11 Prozent der Reaktionen wurden als teilweise angemessen klassifiziert, während lediglich 0,4 Prozent als gänzlich unangemessen bewertet wurden.

Auch auf Seiten der Anwender stieß der digitale Begleiter auf eine breite Resonanz. Über 90 Prozent der Nutzerinnen und Nutzer bewerteten den Chatbot im erfassten Zeitraum positiv. Das System soll Betroffenen und Angehörigen als niedrigschwellige Informationsquelle dienen und komplexe Fragestellungen rund um die neurologische Erkrankung verständlich vermitteln.

Wer sich mit dem Einsatz neuer Technologien im Gesundheitswesen befasst, muss auch die rechtlichen Rahmenbedingungen kennen. Dieser kostenlose Report klärt auf, welche KI-Systeme als Hochrisiko gelten und was Unternehmen sowie Organisationen jetzt konkret tun müssen. Umsetzungsleitfaden zum EU AI Act kostenlos herunterladen

Analyse deckt klinisch kritische Fehler auf

Trotz der insgesamt hohen Bewertungsraten wies die Untersuchung auf relevante Sicherheitsrisiken hin, die bei einer reinen Oberflächenprüfung unentdeckt blieben. Eine vertiefte manuelle Überprüfung einer Stichprobe von 100 Gesprächen, die zuvor automatisiert als gut bewertet worden waren, legte in vier Fällen klinisch kritische Fehler offen.

Unter diesen Abweichungen befand sich unter anderem eine Verwechslung von Medikamenten, die im Behandlungsalltag von Parkinson-Patienten erhebliche gesundheitliche Gefahren bergen kann.

Zudem zeigte das System in einer akuten Belastungssituation eine gravierende Fehlfunktion: In einem erfassten Fall mit geäußerten Suizidgedanken löste jAImes das für solche Notlagen vorgesehene Kriseninterventionsprotokoll nicht aus.

Die Sicherheit von Patienten hängt oft von der korrekten Information über Wirkstoffe ab, da Medikamentenfehler im Alter erhebliche gesundheitliche Gefahren bergen können. Dieser kostenlose Ratgeber informiert über potenziell gefährliche Wirkstoffe und zeigt sichere Alternativen auf, um Schwindel oder Verwirrtheit zu vermeiden. Kostenlose Priscus-Liste als PDF-Ratgeber sichern

Weiterentwicklung soll Sicherheitslücken schließen

Die wissenschaftliche Kuratierung des KI-Systems liegt in den Händen von Florian Lange am Universitätsklinikum Würzburg. Bezüglich des ausgebliebenen Notfallprotokolls erklärte Lange, dass diese spezifische Schwachstelle mit der Einführung der Folgeversion jAImes 2.0 geschlossen worden sei.

Das Projekt wird auf organisatorischer und infrastruktureller Ebene durch Dritte getragen. Die Finanzierung sowie das technische Hosting des Chatbots übernimmt die Parkinson Stiftung, während die Mediziner und Wissenschaftler aus Würzburg die fachliche Validierung und die fortlaufende Anpassung an klinische Standards steuern.

Die detaillierte Auswertung soll als Grundlage dienen, um künftige Sprachmodelle in der hochsensiblen medizinischen Beratung sicherer zu gestalten und Fehlleitungen in der Versorgung von chronisch Kranken zu verhindern.