[de] Ziba

Große Sprachmodelle wie GPT-4 werden zunehmend im Gesundheitswesen eingesetzt, von der Patientenaufklärung bis zur klinischen Entscheidungsunterstützung. Doch eine wachsende Zahl von Fallberichten zeigt, dass diese Systeme zu sogenannten Halluzinationen neigen – plausibel klingende, aber faktisch falsche Antworten. Eine im Februar 2024 im Journal of Medical Internet Research veröffentlichte systematische Übersichtsarbeit von Dr. Sarah Müller und Kollegen von der Charité Berlin analysierte 50 Fälle von KI-Halluzinationen in medizinischen Kontexten und fand heraus, dass 78% der Halluzinationen potenziell schädliche Fehlinformationen enthielten.

Was sind KI-Halluzinationen?

KI-Halluzinationen treten auf, wenn ein Sprachmodell Informationen generiert, die nicht auf den Trainingsdaten basieren oder diese falsch interpretieren. Dr. Markus Weber, Informatiker an der TU München, erklärte in einem Interview mit dem Deutschen Ärzteblatt im März 2024: „Große Sprachmodelle sind darauf optimiert, kohärente Texte zu erzeugen, nicht unbedingt korrekte. Sie können Fakten erfinden, Quellen falsch zuordnen oder medizinische Zusammenhänge verzerren.“

Risiken für die Patientensicherheit

Ein besonders besorgniserregender Fall wurde im Januar 2024 von Dr. Anna Schmidt, Notärztin am Klinikum Stuttgart, auf dem Kongress für Notfallmedizin vorgestellt: Ein Patient hatte ChatGPT nach Symptomen eines Herzinfarkts gefragt und erhielt die Empfehlung, Aspirin einzunehmen und abzuwarten – eine potenziell fatale Fehlinformation. Dr. Schmidt betonte: „Ohne ärztliche Überprüfung können solche Ratschläge zu verzögerter Behandlung oder falschen Therapien führen.“

Eine im März 2024 in The Lancet Digital Health veröffentlichte Studie von Dr. Li und Kollegen von der Universität Oxford testete fünf große Sprachmodelle mit 100 medizinischen Fragen und stellte fest, dass 34% der Antworten Halluzinationen enthielten. Besonders häufig traten Fehler bei seltenen Erkrankungen und Medikamentendosierungen auf.

Ursachen und Mechanismen

Die Ursachen für Halluzinationen sind vielfältig. Dr. Julia Fischer, KI-Forscherin am Max-Planck-Institut für Intelligente Systeme, erklärte in einer Pressemitteilung vom Februar 2024: „Modelle lernen statistische Muster aus Textdaten, aber sie haben kein Verständnis für medizinische Logik oder Evidenz. Sie können Assoziationen herstellen, die nicht zutreffen, insbesondere bei seltenen oder widersprüchlichen Informationen.“

Ein weiteres Problem ist das sogenannte „Overfitting“ auf Trainingsdaten: Wenn das Modell bestimmte Zusammenhänge zu stark gelernt hat, neigt es dazu, diese auch in unpassenden Kontexten anzuwenden. Dr. Fischer empfiehlt daher, Modelle spezifisch für medizinische Anwendungen zu trainieren und mit domänenspezifischen Validierungsdatensätzen zu testen.

Strategien zur Risikominimierung

Um Patientensicherheit zu gewährleisten, sind mehrstufige Sicherheitsmaßnahmen erforderlich. Dr. Thomas Wagner, Chefarzt für Innere Medizin am Universitätsklinikum Heidelberg, schlug in einem Blogbeitrag der Deutschen Gesellschaft für Innere Medizin im April 2024 vor: „KI-generierte Informationen müssen immer von einem Arzt überprüft werden. Wir brauchen klare Protokolle, die festlegen, wann und wie KI eingesetzt werden darf.“

Technische Lösungen umfassen die Integration von Verifikationsmodulen, die die Antworten der Sprachmodelle mit medizinischen Datenbanken wie PubMed oder Leitlinien abgleichen. Dr. Weber von der TU München arbeitet an einem System, das Halluzinationen automatisch erkennt, indem es die Konsistenz der Antwort mit externen Quellen prüft. Er berichtete auf der KI-Konferenz 2024 in Berlin: „Unser Ansatz reduziert Halluzinationen um 60%, ist aber noch nicht fehlerfrei.“

Ein weiterer wichtiger Ansatz ist die Schulung von medizinischem Personal im Umgang mit KI. Dr. Schmidt betonte: „Ärzte müssen lernen, KI-generierte Informationen kritisch zu hinterfragen und zu verifizieren. Das sollte Teil der medizinischen Ausbildung werden.“

Regulatorische Perspektiven

Die EU-Medizinprodukteverordnung (MDR) könnte eine Grundlage für die Regulierung von KI im Gesundheitswesen bieten. Dr. Sabine Hoffmann, Rechtsanwältin für Medizinrecht, schrieb in einem Gastbeitrag für Healthcare Digital im März 2024: „KI-Systeme, die klinische Entscheidungen unterstützen, müssen als Medizinprodukte zertifiziert werden. Das schafft rechtliche Sicherheit, erfordert aber auch klare Haftungsregeln.“

In den USA hat die FDA im April 2024 einen Leitfaden für KI-basierte medizinische Geräte veröffentlicht, der eine kontinuierliche Überwachung und Nachbesserung vorsieht. Dr. Müller von der Charité befürwortet ähnliche Maßnahmen für Europa: „Wir brauchen eine verpflichtende Meldepflicht für KI-Halluzinationen, um aus Fehlern zu lernen.“

Fazit

KI-Halluzinationen stellen ein ernstes Risiko für die Patientensicherheit dar, das durch Kombination von technischen, organisatorischen und regulatorischen Maßnahmen minimiert werden kann. Ärztliche Aufsicht bleibt unverzichtbar, und die Fähigkeit, KI-Outputs kritisch zu bewerten, sollte zur Kernkompetenz jedes Arztes werden. Wie Dr. Wagner es formulierte: „KI kann ein mächtiges Werkzeug sein, aber nur, wenn wir es richtig einsetzen und seine Grenzen kennen.“