Können nur Ärztinnen und Ärzte nach jahrelanger aufwändiger Ausbildung medizinische Fragen beantworten? Ende letzten Jahres bestand ChatGPT die amerikanische und kürzlich die deutsche Arztprüfung. Doch wie gut sind die Antworten in der Praxis?
Wir haben ChatGPT getestet: Auf die Frage, was die Ursache für eine Schwäche des Arms und ein hängendes Gesicht auf der rechten Körperseite sein könnte, antwortet die KI nach wenigen Sekunden mit einer ausführlichen Antwort. Sie ordnet die Symptome korrekt als schlaganfallverdächtig ein und weist sogar darauf hin, dass eine sofortige ärztliche Vorstellung mit diesen Symptomen empfehlenswert ist, was in der Realität ein wichtiger Hinweis wäre.
Den allgemeinen Praxistest hätte die KI bei dieser Frage also bestanden. Nächste Fragen: Wie steht es um die Aktualität, Quellen und Verlässlichkeit?
ChatGPT nicht aktuell
Die erste große Einschränkung der KI ist ihre Aktualität. Das Training des zugrundeliegenden Programms ist aufwändig und die Antworten können nur so gut sein, wie der Stand des Wissens zum Zeitpunkt der Modellierung. Zurzeit basiert ChatGPT auf Wissen und Informationen bis zum September 2021. Und: Je älter die Daten sind, desto weniger treffergenau wird die Antwort der KI sein. In einem sich so rasant verändernden Gebiet wie der Medizin ist das nicht unwichtig. Wer hat vor 2020 zum Beispiel schon von SARS-CoV-2 gehört?
Quellen fehlen
ChatGPT gibt zudem die berücksichtigten Quellen und ihre Gewichtung für die Antwort nicht an, was einen wissenschaftlichen Einsatz verhindert. Grundlage jeder medizinischen Leitlinie und jeder wissenschaftlichen Arbeit ist die kritische Auseinandersetzung mit unterschiedlichen Quellen. Dieser Vorgang bezieht auch die Bewertung von diagnostischen und therapeutischen Methoden ein. Ohne die transparente Angabe der verwendeten Quellen ist eine wissenschaftliche Bewertung, Diskussion und die evidenzbasierte Medizin unmöglich.
Wie verlässlich ist ChatGPT?
Der bisher schwerwiegendste Nachteil: Jede Antwort muss fachlich überprüft werden. Uns fielen zwar bei weiteren Tests keine gröberen Fehler auf, aber wer kann schon ohne Medizinstudium prüfen, ob eine komplizierte Aussage zu Elektrolyten und ihren Wechselwirkungen im Körper korrekt ist oder nur intelligent erscheint? Eine Einordnung der Antworten setzt weiterhin eine Kenntnis der Materie und eigene Recherche voraus.
Unser Fazit
In nächster Zeit wird ChatGPT weder Fachleute ersetzen noch Erkrankte behandeln. Dazu ist das Wissen zu wenig dynamisch und nicht tagesaktuell, man kann den Antworten nicht blind vertrauen und kann sie nur mit eigener Expertise überprüfen. Teilweise erfindet ChatGPT einfach passende Antworten. Außerdem ist es kaum möglich, die Quellen zu identifizieren, aus denen das Wissen stammt.
Trotzdem gibt das Programm schon jetzt zum Teil gute Antworten. Und das in einer enorm kurzen Zeit. Zudem kann es komplexe Zusammenhänge herstellen, die dem menschlichen Gehirn in der Flut der Daten entgehen können. Das könnte zum Beispiel bei komplexen Symptomkonstellationen oder seltenen Erkrankungen helfen und bei Diagnose und Behandlung unterstützen. Auch für die geübte Befunderhebung und apparative Untersuchungen allerdings, ganz zu schweigen von Operationen, wird es weiterhin gut ausgebildete Ärztinnen und Ärzte brauchen.
Haben Sie neurologische Fragen? Wir beraten Betroffene kostenfrei online und am Telefon. Mitglieder der Deutschen Hirnstiftung werden bevorzugt beraten. Bitte wenden Sie sich dazu an: info@hirnstiftung.org oder 030 531 437 936 (Mo-Fr, 10-14 Uhr).
Nutzen und fördern Sie unsere kostenfreie Beratung!
