Der Artikel Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents präsentiert “Agent Hospital”, ein virtuelles Krankenhaus, in dem Patienten, Krankenschwestern und Ärzte durch große Sprachmodelle (LLMs) angetriebene autonome Agenten sind. Dieses Simulacrum dient dazu, den Prozess der medizinischen Expertise-Entwicklung zu simulieren und zu beschleunigen. Im Gegensatz zu traditionellen Methoden des maschinellen Lernens im medizinischen Bereich, die auf manuell annotierten Daten beruhen, nutzt Agent Hospital ein neuartiges Paradigma namens “Simulacrum-based Evolutionary Agent Learning” (SEAL).
SEAL besteht aus zwei Hauptkomponenten: dem Aufbau des Simulacrums und der Agentenentwicklung. Der Aufbau des Simulacrums konzentriert sich auf die Erstellung einer realistischen virtuellen Krankenhausumgebung, die den gesamten Behandlungszyklus abbildet: von Krankheitsbeginn über Triage und Diagnose bis hin zur Behandlung und Nachsorge. Die Daten, die für die Ausbildung der Agenten benötigt werden – Krankheitsverlauf, Symptome, Untersuchungsergebnisse – werden nicht manuell annotiert, sondern von den LLMs selbst, gesteuert durch medizinische Wissensdatenbanken, generiert. Dies reduziert den Aufwand für die Datenbeschaffung erheblich.
Die Agentenentwicklung, im Artikel als “MedAgent-Zero” bezeichnet, basiert auf der Interaktion der Agenten innerhalb des Simulacrums. Ärzte-Agenten lernen durch die Behandlung von Patienten-Agenten und das Lesen medizinischer Texte. Erfolgreiche Behandlungen werden in einer medizinischen Falldatenbank gespeichert, während Fehler in einer Erfahrungsdatenbank analysiert und in Form von Regeln zur Vermeidung zukünftiger Fehler festgehalten werden. Dieser Prozess ähnelt dem Lernen von menschlichen Ärzten durch Erfahrung und kontinuierliche Weiterbildung.
Die Autoren zeigen, dass die Fähigkeiten der Ärzte-Agenten mit zunehmender Anzahl behandelter Patienten deutlich verbessert werden. Dies wird durch Experimente in der virtuellen Welt von Agent Hospital belegt, in denen die Genauigkeit bei der Auswahl von Untersuchungen, der Diagnose und der Behandlungsempfehlung gemessen wird. Die Ergebnisse zeigen eine stetige Verbesserung der Genauigkeit in verschiedenen medizinischen Fachbereichen. Interessanterweise überträgt sich diese verbesserte Expertise auch auf die reale Welt. Die Agenten erzielen in Tests mit dem MedQA-Benchmark, einem Datensatz mit Fragen des US Medical Licensing Examination (USMLE), bessere Ergebnisse als bestehende Methoden, obwohl sie nicht mit den Trainingsdaten des Benchmarks trainiert wurden.
Ein wichtiger Aspekt des Artikels ist die Untersuchung der Übereinstimmung zwischen der virtuellen und der realen Welt. Die Autoren zeigen, dass die in Agent Hospital erworbene Expertise auf reale medizinische Probleme anwendbar ist. Die Genauigkeit der Agenten bei der Beantwortung von MedQA-Fragen steigt mit zunehmender Erfahrung im Simulacrum. Dies unterstreicht das Potenzial von Agent Hospital als Beschleuniger für die Entwicklung medizinischer Expertise.
Der Artikel diskutiert auch verwandte Arbeiten im Bereich der LLM-basierten medizinischen Agenten und selbstlernenden Agenten. Er hebt die Vorteile von SEAL gegenüber traditionellen Ansätzen hervor: die automatische Generierung von Trainingsdaten, die Reduktion des Aufwands für die Datenannotation und die Vermeidung des Trainings domänenspezifischer LLMs. Die Autoren argumentieren, dass SEAL über den medizinischen Bereich hinaus in einer Vielzahl von Anwendungen mit mehreren Agenten eingesetzt werden kann.
Abschließend diskutieren die Autoren ethische Aspekte und zukünftige Herausforderungen. Sie betonen die Notwendigkeit von Debiasing-Techniken zur Vermeidung von Verzerrungen und die Bedeutung von Transparenz und Rechenschaftspflicht bei der Entwicklung und Anwendung von KI-basierten medizinischen Systemen. Trotz der potenziellen Vorteile von Agent Hospital und SEAL betonen sie die Notwendigkeit einer sorgfältigen ethischen Prüfung und Regulierung. Die Autoren sehen ihr langfristiges Ziel darin, durch den Einsatz von KI-Technologie kostengünstige, zugängliche und qualitativ hochwertige medizinische Versorgung für die Öffentlichkeit bereitzustellen. Der Artikel schließt mit detaillierten Angaben zu den verwendeten Datensätzen, der Implementierung und weiteren experimentellen Ergebnissen im Anhang.