Jede Krebserkrankung ist anders
So individuell wie Krebserkrankungen sind, so individuell müssen auch die Therapien sein. Um personalisierte Therapiestrategien zu entwickeln, kommen Experten aus den Fachbereichen der Onkologie, Pathologie, Molekularpathologie, Humangenetik und Bioinformatik regelmäßig in „Molekularen Tumorboards“ zusammen. In einem aufwendigen Verfahren sichten, analysieren und interpretieren die Fachleute komplexe Fälle und entwickeln auf der Basis der aktuellen Studienlage individuelle Therapiekonzepte.
Diese Präzisionsonkologie ist sinnvoll, aber auch mit erheblichem Aufwand verbunden – könnten wir Menschen hier nicht von technologischer Unterstützung profitieren? Ist eine künstliche Intelligenz nicht ohnehin besser darin, gewissenhaft, objektiv und präzise evidenzbasierte Entscheidungen zu treffen? Ein Forschungsteam aus Berlin hat sich mit den Chancen und Grenzen von KI im Prozess der individualisierten Tumortherapie beschäftigt.
Über die Studie
Dr. Damian Rieke, Mediziner an der Charité, Prof. Dr. Ulf Leser und Xing David Wang von der Humboldt-Universität zu Berlin sowie Dr. Manuela Benary, Bioinformatikerin an der Charité stellten die Large Language Models (LLMs) ChatGPT, Galactica, Perplexity und BioMedLM vor die Herausforderung, personalisierte Therapiestrategien für fiktive Krebspatienten zu finden. Zehn ausgedachte Tumorprofile wurden sowohl den KIs als auch einem ärztlichen Experten präsentiert, und alle wurden mit der Erarbeitung eines individuellen Therapievorschlags beauftragt.
Die Auswertung der Ergebnisse erfolgte durch Mitglieder eines molekularen Tumorboards, die während ihrer Bewertung nicht wussten, ob die Therapieempfehlung jeweils von einem Menschen oder von einer KI stammte. Neben der klinischen Sinnhaftigkeit der Vorschläge bewerteten die Mitglieder des Tumorboards auch wie wahrscheinlich sie es hielten, dass der Therapieplan von einer KI erstellt wurde.
Mensch vs. Maschine
Bei der Analyse der Ergebnisse lässt sich zusammenfassen: Momentan scheinen Menschen bei der komplexen Erstellung personalisierter Tumortherapien noch deutlich besser zu performen als Large Language Models.
Prinzipiell waren LLMs in der Lage, personalisierte Therapiekonzepte zu entwerfen. Doch die Qualität der Therapievorschläge wurde von den Experten des Tumorboards im Vergleich zu der von einem Menschen konzeptualisierten Empfehlung als fast durchweg schlechter bewertet. Dennoch: Immerhin wurde pro fiktiven Erkrankungsfall mindestens ein Vorschlag der KIs als klinisch relevant erachtet und zwei der von KIs generierten Therapiepläne lieferten eine wertvolle neue Idee, die über den „menschlichen“ Vorschlag hinaus ging.
Auch in der Qualität zwischen den LLMs gab es Unterschiede: So schnitt z. B. BioMedLM, eine kleinere KI, die ausschließlich auf Informationen aus PubMed zurückgreift, unter den vier LLMs am schlechtesten ab.
Welche Ideen von einer KI und welche von einem Menschen kamen, wurde vom Auswertungsteam des Tumorboards fast durchgehend erkannt: Fehlende Belege und Begründungen für die Therapieempfehlungen ließen die LLMs auffliegen.
Chancen
Auch wenn LLMs aktuell noch kein Tumorboard ersetzen können: Die moderne Medizin kann und wird von Digitalisierung, Automation und künstlicher Intelligenz in großem Ausmaß profitieren. Studien wie die aus der Charité sind wichtig, um die Grenzen der aktuellen Systeme ausfindig zu machen und LLMs stetig verbessern zu können [1].
