Large Language Models (LLM) wie ChatGPT sind generative Sprachmodelle mit künstlicher Intelligenz. Die Fähigkeit dieser Technologien, Patientenfragen präzise und verständlich zu beantworten, wird insbesondere in Fachbereichen wie der Rheumatologie immer relevanter, wo ein zunehmender Mangel an Fachkräften herrscht.
SLE: Herausforderungen bei der Informationsbeschaffung
Die Bereitstellung von Patienteninformationen und die Informationsbeschaffung zum systemischen Lupus erythematodes (SLE) stellen in der medizinischen Praxis eine besondere Herausforderung dar.
Aufgrund der großen Variabilität der Symptome und des Verlaufs ist es schwierig, allgemeingültige und leicht verständliche Informationen bereitzustellen, die für alle Patienten von Relevanz sind. Viele Patienten fühlen sich durch die Komplexität der Erkrankung und die Vielzahl möglicher Symptome und Therapien überfordert.
Hinzu kommen zahlreiche Informationen im Internet, die von sehr unterschiedlicher Qualität sind und zu Verunsicherung und Fehlinformationen führen können.
Lupus100.org: Antworten auf die meistgestellten Fragen zu SLE
Aufgrund des Mangels an verlässlichen Patienteninformationen wurde die Website Lupus100.org ins Leben gerufen. Diese wird von Lupus Europe betrieben und basiert auf einer französischen Initiative aus dem Jahr 2010, bei der SLE-Experten, Patienten und Patientenorganisationen die 100 wichtigsten Fragen zum SLE aufgelistet und beantwortet haben, um Patienten und ihren Angehörigen Informationsmaterial zur Verfügung zu stellen. Die ursprüngliche Version wurde mehrfach überarbeitet, in 13 Sprachen übersetzt und online frei zugänglich gemacht.
ChatSLE-Studie: Vergleich der Antworten von ChatGPT-4 und Ärzten
Vor dem Hintergrund des Fachkräftemangels und der erschwerten Informationsbeschaffung stellt sich die Frage, inwieweit Large Language Models Ärzte dabei unterstützen können, Patienten mit umfassenden Informationen zu versorgen. Bisherigen Studien zu diesem Thema fehlte es an geeigneten Kontrollgruppen zu den von LLM generierten Antworten, wie z.B. Antworten von Ärzten in Social Media Foren. In diesen Studien wurden außerdem LLM-generierte Inhalte mit Texten verglichen, die nicht explizit als hochwertige Patienteninformationen erstellt wurden. Darüber hinaus wurde die Fähigkeit von LLM, empathische Antworten zu geben, selten untersucht. Beide Aspekte sind wichtig, um ansprechendes, laiengerechtes Informationsmaterial zu erstellen.
Bewertung und Vergleich durch Rheumatologen
Die ChatSLE-Studie untersuchte die Fähigkeit von ChatGPT-4, komplexe Patientenanfragen im Vergleich zu Experten zu beantworten.
Dazu wurden die englischsprachigen Fragen der Website Lupus100.org in eine neue Sitzung von ChatGPT-4 eingegeben. Wenn die Frage von Lupus100.org keinen direkten Lupusbezug hatte, wurde sie von einem unabhängigen Experten für die Eingabe in ChatGPT-4 kontextualisiert.
Anschließend wurden sowohl die Antworten von ChatGPT-4 als auch die Antworten von Lupus100.org von drei erfahrenen Rheumatologen bewertet. Die Auswertung erfolgte unabhängig voneinander und die Antworten wurden hinsichtlich der Autorenschaft maskiert. Die Bewertungskriterien waren Qualität und Einfühlungsvermögen (Likert-Skala 1-5) sowie die Auswahl einer bevorzugten Antwort
Chat-GPT mindestens gleichwertig
Die von ChatGPT-4 generierten Antworten waren signifikant länger und wiesen eine höhere Qualität auf als die Antworten von Lupus100.org. Sowohl ChatGPT-4 als auch die Expertenantworten erhielten hohe Bewertungen für Empathie, wobei keine signifikanten Unterschiede festgestellt wurden. Es zeigte sich jedoch, dass längere Antworten tendenziell als empathischer und qualitativ höherwertig bewertet wurden. Die Bewerter favorisierten in 57% der Fälle die Antworten von ChatGPT-4 gegenüber denen der SLE-Experten, was auf das Potenzial von LLMs hinweist, fachkundige Informationen effektiv zu vermitteln.
DGRh unterstützt Entwicklung
In einer Pressemitteilung positioniert sich die Deutsche Gesellschaft für Rheumatologie und Klinische Immunologie (DGRh) zur ChatSLE-Studie und betont, dass die Integration von Künstlicher Intelligenz in die medizinische Praxis eine bedeutende Chance zur Verbesserung der Patientenversorgung darstellt. Die DGRh unterstreicht die Notwendigkeit, innovative Technologien wie ChatGPT-4 weiterzuentwickeln und in den klinischen Alltag zu integrieren, um Ärztinnen und Ärzte effektiv zu unterstützen. Darüber hinaus weist die Gesellschaft auf die Möglichkeit hin, dass durch solche Technologien die Qualität der Patienteninformation signifikant verbessert werden könnte, was zu einer höheren Patientenzufriedenheit und besseren Behandlungsergebnissen führen mag.
Potenzial und Umsetzung in der medizinischen Praxis
Die ChatSLE-Studie zeigt das Potenzial von LLM, insbesondere von ChatGPT-4, in der medizinischen Beratung. Diese Technologien könnten in Zukunft eine wichtige Rolle bei der Unterstützung von Ärzten spielen, indem sie detaillierte, empathische und fachlich fundierte Antworten liefern. Allerdings müssen die Ergebnisse unter Vorbehalt interpretiert werden, da die Studie ausschließlich von Rheumatologen ausgewertet wurde und Patientenbewertungen zu anderen Ergebnissen führen könnten.
Darüber hinaus zeigt die Studie, dass die Länge der Antworten eine wichtige Rolle für die wahrgenommene Qualität und Empathie spielt. Es bleibt zu klären, inwieweit LLMs in der Lage sind, nicht nur korrekte, sondern auch patientengerechte Informationen zu liefern, ohne dass eine nachträgliche Überarbeitung durch Fachpersonal notwendig ist. Weitere Forschung ist notwendig, um die optimale Integration von LLMs in den klinischen Alltag zu bestimmen, insbesondere unter Berücksichtigung von Aspekten wie Datenqualität, Datenschutz und Patientenakzeptanz.
