ChatGPT als Kinderarzt: Studie zeigt Grenzen der KI

[Jan Gruber]

Jan Gruber
Eine neue Studie offenbart die Grenzen von ChatGPT in der Pädiatrie, also die KI als Kinderarzt. Trotz einer niedrigen Erfolgsquote sehen die Forscher Potenzial.

ChatGPT, das KI-Modell von OpenAI, erreichte in einer Studie nur 17 Prozent korrekte Diagnosen bei Kinderkrankheiten. Die Studie, veröffentlicht in "JAMA Pediatrics", zeigt, dass ChatGPT in 83 Prozent der Fälle unnütze Diagnosen lieferte. Dies weist auf deutliche Einschränkungen der KI bei medizinisch komplexen Fällen hin.

ChatGPT als Kinderarzt: Gründe für die Limitationen​

Die Studie zeigt, dass ChatGPT spezifische Herausforderungen in der Kinderheilkunde nicht bewältigen kann. Ein Hauptproblem ist die korrekte Deutung von Symptomen, die stark vom Alter der Patienten abhängen. Zudem fällt es der KI schwer, Verbindungen herzustellen, die für menschliche Ärzte offensichtlich sind. Ein Beispiel ist die Verknüpfung von Autismus und Vitaminmangel.

Potenzial und Verbesserungsvorschläge​

Trotz der Schwächen sehen die Forscher Potenzial in der KI. Sie empfehlen, ChatGPT mit zuverlässigen medizinischen Daten zu trainieren. Eine bessere Genauigkeit könnte durch Echtzeitzugriff auf medizinische Daten erreicht werden. KI wird bereits erfolgreich in anderen medizinischen Bereichen eingesetzt.

Die Studie zeigt, dass KI in der Medizin noch weit von menschlichen Fähigkeiten entfernt ist, insbesondere in der Pädiatrie. Trotzdem bietet sie Chancen, wenn sie gezielt eingesetzt und weiterentwickelt wird.

Via Jama Network

Den Artikel im Magazin lesen.

 

[Mure77]

Wir Menschen fahren Fahrrad, stecken uns ein Stock in die Speichen, fallen hin und fragen uns dann wie das nur passieren konnte…

 

[Freddy K.]

… unnütze Diagnosen …

Es dürfte spannend werden, wenn die KI bessere Diagnosen stellt als die Ärzte selbst. Kann ja nur eine Frage der Zeit sein. Der Moment wenn die KI laufend Anweisungen ausspuckt, die kein Arzt mehr nachvollziehen kann, weil er die Zusammenhänge nicht versteht, wird interessant werden.

 

[Mure77]

Dafür muss die KI dich sehen und abtasten können.
Aktuell stelle ich mir das so vor wie nach Diagnosen googeln.

 

[Freddy K.]

Deine Uhr, deine Waage, dein Klo, dein Kühlschrank liefern der KI irgendwann so viele Messwerte, dass sie dir deinen Krebs im Grunde vorhersagen können wird, bevor du ihn hast.

 

[Sartorius69]

Deine Uhr, deine Waage, dein Klo, dein Kühlschrank liefern der KI irgendwann so viele Messwerte, dass sie dir deinen Krebs im Grunde vorhersagen können wird, bevor du ihn hast.

Mein Klo 🤔 Meinst du, Apple arbeitet nach Einstellung des iPod jetzt am iPott mit automatischer Inhaltsanalyse, WLAN und iCloud-Anbindung?
Also wenn's soweit kommt, gehe ich wieder in den Wald...

 

[Andreas-SE]

Mein Klo 🤔 Meinst du, Apple arbeitet nach Einstellung des iPod jetzt am iPott mit automatischer Inhaltsanalyse, WLAN und iCloud-Anbindung?
Also wenn's soweit kommt, gehe ich wieder in den Wald...

Dann wünsche ich Dir viel Spaß im Wald 🙂

Withings U-Scan

 

[SomeUser]

Es dürfte spannend werden, wenn die KI bessere Diagnosen stellt als die Ärzte selbst.

Dafür muss die KI dich sehen und abtasten können.

Es ist ja heute schon der Fall, dass KI bessere Diagnosen stellt, als Ärzte - nur nicht in jedem Bereich. Hier wird einfach mal wieder alles durcheinander geworfen, statt notwendigerweise zu differenzieren. Bei der Analyse bildgebender Verfahren gab es wohl wiederholt das Ergebnis, dass die Erkennung durch KI deutlich besser war, als die durch Menschen.
Das bedeutet natürlich nicht, dass KI überall besser ist.

Daher verstehe ich auch nicht, dass das häufig in so eine schwarz-weiß Diskussion ausartet, gefrei: "Ich will mich nicht durch eine KI untersuchen lassen, was ist, wenn die was nicht erkennt?". Dieses mögliche Versagen wird bei Menschen hingegen einfach hingenommen und akzeptiert. Dabei könnte die Wahrheit schlicht in der Mitte liegen: Dort wo KI erkennbar gut/besser ist, einfach *zusätzlich* die Möglichkeiten nutzen.
Bestenfalls erkennt die KI eine Gewebeveränderung und kann einem Arzt zur weiteren Untersuchung diesen Hinweis gegeben. Davon losgelöst kann ein Arzt doch immer noch zusätzlich z.B. das MRT anschauen oder abtasten.

 

[Andreas-SE]

Ich denke, was viele hier auch noch unterschätzen ist, dass Diagnosen, die durch KI unterstützt werden, deutlich kostengünstiger sind, als Diagnosen, die ein Spezialist alleine stellen muss. Das dürfte ein grundlegendes Problem in den sogenannten Dritte-Welt-Ländern lösen und somit „dürfen“ auch diese Länder von besserer und effizienter Medizin profitieren.

 

[AndaleR]

@Andreas-SE Das bleibt zu hoffen. Von Verbesserungen im Bereich der Medizin sollte jeder auf der Welt profitieren, nicht nur die, die es sich leisten können und sowieso besser versorgt sind. Aber das ist noch ein langer, langer Weg.

 

[Freddy K.]

… Daher verstehe ich auch nicht, dass das häufig in so eine schwarz-weiß Diskussion ausartet, gefrei: "Ich will mich nicht durch eine KI untersuchen lassen, was ist, wenn die was nicht erkennt?". Dieses mögliche Versagen wird bei Menschen hingegen einfach hingenommen und akzeptiert. …

Ganz normales menschliches Verhalten. Wenn sich der KI-Doc erst mal eine Vertrauensbasis geschaffen hat, wird es immer mehr Leute geben, die sich nicht mehr von normalen Ärzten untersuchen lassen wollen.

 

[Mure77]

Es ist ja heute schon der Fall, dass KI bessere Diagnosen stellt, als Ärzte - nur nicht in jedem Bereich. Hier wird einfach mal wieder alles durcheinander geworfen, statt notwendigerweise zu differenzieren. Bei der Analyse bildgebender Verfahren gab es wohl wiederholt das Ergebnis, dass die Erkennung durch KI deutlich besser war, als die durch Menschen.
Das bedeutet natürlich nicht, dass KI überall besser ist.

Daher verstehe ich auch nicht, dass das häufig in so eine schwarz-weiß Diskussion ausartet, gefrei: "Ich will mich nicht durch eine KI untersuchen lassen, was ist, wenn die was nicht erkennt?". Dieses mögliche Versagen wird bei Menschen hingegen einfach hingenommen und akzeptiert. Dabei könnte die Wahrheit schlicht in der Mitte liegen: Dort wo KI erkennbar gut/besser ist, einfach *zusätzlich* die Möglichkeiten nutzen.
Bestenfalls erkennt die KI eine Gewebeveränderung und kann einem Arzt zur weiteren Untersuchung diesen Hinweis gegeben. Davon losgelöst kann ein Arzt doch immer noch zusätzlich z.B. das MRT anschauen oder abtasten.

Oftmals kommt dieser Schwarz-weiß Gedanke auch von einem selber, weil man zu viel in die Aussagen reininterpretiert.

 

[landplage]

Kinder sind ja selbst für die eigenen Eltern schwer zu entschlüsseln: Es tut weh! Mit ausholender Geste vom Hals bis zum Unterbauch. Zeig mal, wo! Na daaa!

 

[dtp]

...wird es immer mehr Leute geben, die sich nicht mehr von normalen Ärzten untersuchen lassen wollen.

Das Problem ist doch schon jetzt, dass es gar nicht mehr genügend Ärzte gibt, die das tun können. Vielfach ist die KI daher ein durchaus willkommener Helfer, um dem Ärztenotstand Paroli bieten zu können.

Zudem sollte man ihr auch Zeit geben. Wann kam ChatGPT noch mal so richtig in Fahrt? Und wie lange hat es gedauert, bis die Humanmedizin auf einem halbwegs zuverlässigen Level war?

 

[Sören]

Wir alle hier sind schon viele Jahrzehnte tot, bis "KI" einen Patienten richtig untersuchen kann, um ohne menschliche substantielle Vorarbeit belastbare Ergebnisse zu liefern, die vergleichbare Qualität bieten. Das dürfte dann eher ein KI-fähiger Androide sein als nur "ChatGPT".

Ohne Untersuchungsdaten ist KI derzeit fast immer in fast allen medizinischen Fragestellungen bezgl. einer Diagnose unterlegen.
Es fehlt weiterhin nahezu die komplette Sensorik. Messwerte aus Uhr, Waage, Klo und Kühlschrank werden niemals (Sic!) eine belastbare medizinische Diagnose stellen können, sondern immer nur Vermutungen und Wahrscheinlichkeiten produzieren.

KI mag IT-lern und Mathematikern feuchte Träume bescheren, aber als Patient sollte man sich auf dieser Basis besser niemals einer Therapie (ob banal oder maximal) unterziehen, (außer, weil der Staat oder Versicherungen es erzwingen), weil... u.a. KI keine Verantwortung trägt. Letzteres ist ohnehin beobachtbar in vielen gesellschaftlichen Bereichen: organisierte Verantwortungslosigkeit.

Die aktuellen KI-Diagnosen, ausnahmslos gefüttert durch mittels Arzt erhobene analoge Daten, sind nicht nur ineffektiv und meist falsch, sondern werden auch dauerhaft ineffizient bleiben.

 

[AndaleR]

Es tut weh! Mit ausholender Geste vom Hals bis zum Unterbauch. Zeig mal, wo! Na daaa!

„Willst du was Süßes?“ - „Ja. Alles wieder gut!“.

 

[Martin Wendel]

Wir alle hier sind schon viele Jahrzehnte tot, bis "KI" einen Patienten richtig untersuchen kann, um ohne menschliche substantielle Vorarbeit belastbare Ergebnisse zu liefern, die vergleichbare Qualität bieten. Das dürfte dann eher ein KI-fähiger Androide sein als nur "ChatGPT".

Für die Qualität von KI-Ergebnisse sind gute Prompts/Eingaben essentiell. Ohne gute Input kommen auch keine guten Ergebnisse dabei raus. Genauso wird sich das auch bei medizinischen Fragestellungen verhalten. Ohne Anamnese und Untersuchungen wird auch eine KI keine guten Diagnosen erstellen können - das ist doch vollkommen klar. Dass diese Untersuchungen mit Sicherheit auch teilweise vom Menschen durchgeführt werden, steht denke ich außer Frage. Dass wir noch 50-100 Jahre davon entfernt sind, dass KI sinnvolle medizinische Diagnosen erstellen kann, erscheint mir eine äußerst unrealistische Einschätzung zu sein - die ja vielleicht auch aus Angst um die Zukunft des eigenen Jobs genährt ist.

 

[Sören]

... unrealistische Einschätzung zu sein - die ja vielleicht auch aus Angst um die Zukunft des eigenen Jobs genährt ist.

Wie gesagt, da bin ich schon lange tot, wenn das mal funktioniert. Davor muß ich also keine Angst haben.

Ich denke, soweit man die Studie lesen kann, war sie zwar in einer medizinischen Fachzeitschrift veröffentlicht, aber von Mathematikern durchgeführt, also Leuten, die von Medizin keine Ahnung haben.
Medizin ist mehr als Meßwerte sammeln. Und die müssen, wie gesagt, wenn es halbwegs valide und reliabel in so einem dynamischen System wie dem menschlichen sein soll, immer noch vom Menschen erhoben werden.
Warum sollte ein Arzt Daten erheben und die Diagnose dann umständlich einer KI zur Verfügung stellen, wenn er sie doch in Sekundenbruchteilen mit den gerade erhobenen Daten selber stellen kann?

 

[dtp]

Warum sollte ein Arzt Daten erheben und die Diagnose dann umständlich einer KI zur Verfügung stellen, wenn er sie doch in Sekundenbruchteilen mit den gerade erhobenen Daten selber stellen kann?

Wenn es immer so einfach wäre. Es gibt Dinge, die selbst ein geschultes Auge nur schwer auf Bildern erkennen kann. Zum Beispiel feinste Anomalien im Gehirn. Die könnte die KI evtl. so frühzeitig erkennen, dass man eine Demenz evtl. in einigen Jahren mit entsprechenden Medikamenten vermeiden kann. Auch für die Krebsfrüherkennung könnte die KI sehr gut genutzt werden. Und selbst, wenn Informatiker und Mathematiker erst mal keine Ahnung von Medizin haben, so können sie zusammen mit Medizinern zu bahnbrechenden Ergebnissen kommen.

Man könnte vielleicht auch in Zukunft in artzlose Vorsorgezentren gehen, wo die notwenigen Apparaturen zum Scannen des Körpers stehen. Die Scanergebnisse können dann von einer KI ausgewertet und im Falle von erkannten Risiken an einen Facharzt weitergeleitet werden.

 

[landplage]

Warum sollte ein Arzt Daten erheben und die Diagnose dann umständlich einer KI zur Verfügung stellen, wenn er sie doch in Sekundenbruchteilen mit den gerade erhobenen Daten selber stellen kann?

Telemedizin liefert Daten, die man parallel zeitgleich dem Arzt und auch einer KI zur Verfügung stellen kann. Mittels KI kann man vielleicht auch "Nebeninformationen" der Videosprechstunde erfassen (Emotionen, Tics, Veränderungen zur letzten Sprechstunde, Sprache...), die dem Arzt nicht sofort auffallen, weil er mit dem dunklen Fleck beschäftigt ist, der vielleicht Hautkrebs sein könnte.

Zumindest mein Arzt erfaßt Befunde, Ergebnisse aus der Sprechstunde, Zusatzinformationen von mir, Medikamente, ... sofort in seiner Software (auf einem Mac, ich bin stolz auf ihn 😉). Diese Informationen hätte eine KI doch auch im Moment des Eintippens, wenn sie nicht zukünftig sogar das Eingeben grundsätzlich unterstützt (fehlerfreie Spracherkennung, Vorschläge Medikamente und weiterführende Untersuchungen, mögliche Diagnosen).