Digitalisierung als neue Herausforderung in der Jugendmedizin
Jugendliche greifen zunehmend auf digitale Kommunikationsformen zurück – selbst bei hochsensiblen Gesundheitsfragen. Besonders bei Einsamkeit, psychischen Belastungen oder riskantem Verhalten suchen Jugendliche zunehmend Unterstützung in dialogfähigen Companion-Chatbots. Solche Interaktionen erfolgen oft anonym und ohne professionelle Begleitung. Dadurch entstehen Chancen, aber auch erhebliche Risiken: In akuten psychosozialen Krisen kann die Qualität und Sicherheit der Antworten unmittelbare Auswirkungen auf das Verhalten der Jugendlichen haben.
Gleichzeitig fehlt es im schnell wachsenden Markt der Companion-Chatbots an verbindlichen Regulierungsstandards und medizinisch validierten Sicherheitsmechanismen. Diese Lücke führt zu Unsicherheiten hinsichtlich Verlässlichkeit und Schutz der Nutzer.
Vergleich von Companion- und Universal-Chatbots zur psychischen Unterstützung
Vor diesem Hintergrund untersucht die im Folgenden zusammengefasste Studie, wie verschiedene Companion-Chatbots (beispielsweise Character.AI oder Anima) auf simulierte Notfallszenarien reagieren und welche strukturellen Sicherheitsvorkehrungen sie implementieren. Verglichen wurden die Reaktionen der Companion-Chatbots mit Universal-Chatbots wie beispielsweise ChatGPT oder Copilot.
Unklar war bislang, ob diese Systeme in der Lage sind, kritische Situationen wie Suizidalität, sexuelle Gewalt oder riskanten Substanzkonsum adäquat zu erkennen und mit geeigneten Maßnahmen zu beantworten. Die Studie adressiert damit zentrale offene Fragen zur Patientensicherheit: Besitzen Companion-Chatbots ausreichende Schutzmechanismen? Erkennen sie die Notwendigkeit professioneller Hilfe? Und bieten sie sichere Handlungsanweisungen?
Studie prüft KI auf Umgang mit Suizidalität, sexueller Gewalt und Substanzmissbrauch
Die Untersuchung umfasste 25 der meistgenutzten Chatbots, darunter 15 Companion-Chatbots und zehn Universal-Chatbots. Grundlage bildeten 75 standardisierte Chat-Interaktionen auf Basis validierter Fallvignetten zu drei akuten Problembereichen:
- Suizidale Gedanken,
- Sexuelle Gewalt,
- Substanzmissbrauch.
Die Bewertung erfolgte durch pädiatrische Fachärzte anhand definierter Kriterien wie Empathie, Verständlichkeit, klinische Angemessenheit, Erkennen des Eskalationsbedarfs und Verweise auf Hilfsangebote.
Deutliche Unterschiede zwischen Chatbot-Typen
In den Ergebnissen wiesen viele Plattformen unzureichende Sicherungssysteme:
- Nur 36 % verwendeten eine Altersverifikation.
- Nur 68 % enthielten Richtlinien zu selbstschädigendem Verhalten – mit deutlichen Unterschieden zwischen den Typen (46,7 % bei Companion- vs. 100 % bei Universal-Chatbots).
Wie empathisch und angemessen antwortet die KI?
Über alle Systeme hinweg zeigten sich folgende generellen Tendenzen, aber auch wieder deutliche Unterschiede zwischen Companion- und Universal-Chatbots:
- Gute Verständlichkeit (gesamt: 81,3 %; Companion-Chatbots: 71 %; Universal-Chatbots: 97 %).
- Mittelmäßige Empathie (gesamt: 63 %; Companion-Chatbots: 42 %; Universal-Chatbots: 93 %).
- Nur 47 % lieferten klinisch angemessene Antworten (Companion-Chatbots: 22 %; Universal-Chatbots: 83 %).
- Nur 36 % boten konkrete Ressourcen oder Hilfsangebote (Companion-Chatbots: 11 %, Universal-Chatbots: 73 %).
Auch beim Erkennen des Eskalationsbedarfs lagen die Universal-Chatbots vorne (90 % vs. 40 %).
Mangelnde Qualität von Companion-Chatbots gefährdet Jugendliche
Die Studie zeichnet ein besorgniserregendes Bild: Während Universal-Chatbots zunehmend robuste Sicherheitsmechanismen integrieren und überwiegend klinisch angemessen reagieren, zeigen viele Companion-Chatbots gravierende Defizite. Angesichts der großen Nutzung im Jugendalter stellt dies ein signifikantes Risiko dar. Defizitäre Antworten können laut den Autoren zu Fehlinformation, Bagatellisierung oder oder dazu führen, dass notwendige Hilfe gefährlich verzögert wird – insbesondere, wenn Betroffene ausschließlich auf das Chatbot-Feedback vertrauen.
Fazit: KI ersetzt den Kontakt zu medizinischem Fachpersonal nicht
Die Untersuchung zeigt deutlich, dass viele Companion-Chatbots die Anforderungen im Umgang mit akuten Gesundheitskrisen Jugendlicher nicht erfüllen. Gleichzeitig verdeutlichen die besseren Ergebnisse der Universal-Chatbots, dass technische Lösungen grundsätzlich in der Lage sind, verantwortungsvolle Interventionen zu leisten.
Für die klinische Praxis bedeutet dies, dass Ärzte Jugendliche und Eltern über die Grenzen solcher Tools aufklären sollten. Bei psychosozialen Problemen bleibt der professionelle Kontakt weiterhin zentral.
