Wissenschaft als Prüfstein: Warum LLMs noch keine Forschungspartner sind

Die Euphorie um Large Lan­guage Mod­els als Beschle­u­niger wis­senschaftlich­er Ent­deck­ung trifft auf ernüchternde Empirie. Ein neues Eval­u­a­tions­frame­work¹Eval­u­at­ing Large Lan­guage Mod­els in Sci­en­tif­ic Dis­cov­ery zeigt sys­tem­a­tis­che Gren­zen auf – und wirft grund­sät­zliche Fra­gen nach dem Ver­hält­nis von Wis­sen und Erken­nt­nis auf.

Die Diskus­sion um den Ein­satz großer Sprach­mod­elle in der Wis­senschaft oszil­liert zwis­chen zwei Polen: Hier die Ver­heißung ein­er neuen Ära beschle­u­nigter Forschung, dort die skep­tis­che Mah­nung vor hal­luzinieren­den Sys­te­men ohne echt­es Ver­ständ­nis. Was bis­lang fehlte, war eine method­isch tragfähige Grund­lage für diese Debat­te.

Das Prob­lem liegt bere­its in der Mes­sung. Die gängi­gen Bench­marks für LLMs im wis­senschaftlichen Kon­text prüfen vornehm­lich isoliertes Fak­ten­wis­sen – die kor­rek­te Beant­wor­tung von Prü­fungs­fra­gen, das Repro­duzieren etabliert­er Zusam­men­hänge. Wis­senschaftliche Ent­deck­ung jedoch ist ein ander­er Prozess: iter­a­tiv, hypothe­sen­geleit­et, inter­pretierend. Die Fähigkeit, eine chemis­che Reak­tion­s­gle­ichung kor­rekt zu ver­voll­ständi­gen, sagt wenig darüber aus, ob ein Sys­tem pro­duk­tive Forschungs­fra­gen gener­ieren kann.

Ein neuer Maßstab

Um diese Lücke zu schließen, haben Forschende ein szenar­i­obasiertes Frame­work entwick­elt, das sie “Sci­en­tif­ic Dis­cov­ery Eval­u­a­tion” nen­nen. Der method­is­che Kern: Fach­ex­perten aus Biolo­gie, Chemie, Mate­ri­al­wis­senschaften und Physik definieren reale Forschung­spro­jek­te und zer­legen diese in mod­u­lare Szenar­ien. Daraus wer­den vali­dierte Fra­gen abgeleit­et, die nicht isoliertes Wis­sen abfra­gen, son­dern die Ein­bet­tung in einen Forschungskon­text erfordern.

Die Bew­er­tung erfol­gt zweistu­fig. Auf der ersten Ebene wird die Genauigkeit einzel­ner Antworten inner­halb der Szenar­ien gemessen. Die zweite Ebene ist anspruchsvoller: Hier müssen die Mod­elle test­bare Hypothe­sen vorschla­gen, Exper­i­mente oder Sim­u­la­tio­nen entwer­fen und Ergeb­nisse inter­pretieren – also genau jene Tätigkeit­en aus­führen, die den Kern wis­senschaftlich­er Arbeit aus­machen.

Die Ernüchterung in Zahlen

Die Anwen­dung dieses Frame­works auf aktuelle LLMs liefert ein dif­feren­ziertes, aber ins­ge­samt ernüchtern­des Bild. Im Ver­gle­ich zu all­ge­meinen Wis­senschafts-Bench­marks zeigt sich eine deut­liche Leis­tungslücke. Die Mod­elle, die bei stan­dar­d­isierten Tests beein­druck­ende Ergeb­nisse erzie­len, ver­sagen häu­fig dort, wo wis­senschaftlich­es Denken gefragt ist.

Beson­ders auf­schlussre­ich sind zwei Befunde: Erstens zeigen sich abnehmende Gren­z­erträge bei der Skalierung. Größere Mod­elle und ela­bori­ert­ere Denk­fähigkeit­en verbessern die Leis­tung nicht pro­por­tion­al – ein Hin­weis darauf, dass das Prob­lem nicht primär eines der Rechenka­paz­ität ist. Zweit­ens treten sys­tem­a­tis­che Schwächen auf, die bei führen­den Mod­ellen ver­schieden­er Anbi­eter gle­icher­maßen zu beobacht­en sind. Die Defizite sind offen­bar struk­tureller Natur.

Die große Streu­ung der Ergeb­nisse über die ver­schiede­nen Forschungsszenar­ien hin­weg führt zu ein­er nüchter­nen Schlussfol­gerung: Kein aktuelles LLM hat etwas erre­icht, das man als “all­ge­meine wis­senschaftliche Super­in­tel­li­genz” beze­ich­nen kön­nte. Die Vorstel­lung eines uni­versellen Forschungsas­sis­ten­ten, der beliebige Diszi­plinen sou­verän bear­beit­et, bleibt vor­erst Pro­jek­tion.

Zwis­chen Ernüchterung und Per­spek­tive

Das Bild ist gle­ich­wohl nicht nur neg­a­tiv. Selb­st bei niedri­gen Einzel­ergeb­nis­sen in den Szenar­ien zeigen LLMs vielver­sprechende Ansätze in ein­er Vielzahl wis­senschaftlich­er Ent­deck­ung­spro­jek­te. Dies unter­stre­icht die Bedeu­tung geführter Explo­ration: Die Mod­elle kön­nen offen­bar pro­duk­tiv sein, wenn sie in einen struk­turi­erten Forschungskon­text einge­bet­tet wer­den, der ihre Schwächen kom­pen­siert. Der Zufalls­fund – die Serendip­ität – bleibt ein rel­e­van­ter Fak­tor.

Das SDE-Frame­work selb­st stellt einen method­is­chen Fortschritt dar. Es bietet eine repro­duzier­bare Grund­lage für die ent­deck­ungsrel­e­vante Bew­er­tung von LLMs und zeigt prak­tis­che Wege auf, deren Entwick­lung voranzutreiben. Die Wis­senschaft erhält damit ein Instru­ment, um die tat­säch­liche Brauch­barkeit dieser Sys­teme jen­seits von Mar­ket­ing-Nar­ra­tiv­en zu beurteilen.

Was fol­gt daraus?

Die Ergeb­nisse mah­nen zur Vor­sicht gegenüber über­zo­ge­nen Erwartun­gen. LLMs sind keine Forschungsauto­mat­en, die man mit ein­er Frage füt­tert und deren Antworten man unkri­tisch übernehmen kann. Sie sind Werkzeuge mit spez­i­fis­chen Stärken und sys­tem­a­tis­chen Schwächen. Ihre pro­duk­tive Nutzung erfordert wis­senschaftliche Urteil­skraft auf Seit­en der Anwen­der – also genau jene Fähigkeit, die zu automa­tisieren man sich erhoffte.

Zugle­ich wäre es ver­fehlt, die Tech­nolo­gie pauschal zu ver­w­er­fen. Die Befunde deuten darauf hin, dass der Nutzen von LLMs in der Wis­senschaft weniger in autonomer Ent­deck­ung liegt als in der Erweiterung men­schlich­er Explo­rations­fähigkeit. Die Mod­elle kön­nen Denkräume eröff­nen, Assozi­a­tio­nen anre­gen, erste Entwürfe liefern – wenn man weiß, wie man sie führt und wo man ihnen nicht ver­trauen darf.

Die eigentliche Erken­nt­nis ist vielle­icht eine wis­senschaft­s­the­o­retis­che: Wis­sen und Erken­nt­nis sind nicht das­selbe. Ein Sys­tem kann über enorme Wis­sens­bestände ver­fü­gen und den­noch am Kern wis­senschaftlich­er Tätigkeit scheit­ern – der pro­duk­tiv­en Auseinan­der­set­zung mit dem, was man noch nicht weiß.