In der Vergangenheit war die wissenschaftliche Forschung ein langwieriger und kostspieliger Prozess, der von der ersten Idee bis zu den endgültigen Ergebnissen viel Zeit und Ressourcen in Anspruch nahm. Um die wissenschaftliche Entdeckung zu beschleunigen, die Forschungskosten zu senken und die Forschungsqualität zu verbessern, stellen wir Agent Laboratory vor, ein autonomes LLM-basiertes System, das den gesamten Forschungsprozess abwickeln kann. Dieses Framework akzeptiert eine vom Menschen bereitgestellte Forschungsidee und durchläuft drei Phasen — Literaturrecherche, Experimente und das Verfassen von Berichten — um umfassende Forschungsergebnisse zu produzieren, einschließlich eines Code-Repositorys und eines Forschungsberichts, während es den Benutzern ermöglicht, in jeder Phase Feedback und Anleitung zu geben. Wir setzen das Agentenlabor mit verschiedenen hochmodernen LLMs ein und laden mehrere Forscher ein, seine Qualität zu bewerten, indem sie an einer Umfrage teilnehmen, menschliches Feedback geben, um den Forschungsprozess zu lenken, und dann das endgültige Papier bewerten. Wir haben festgestellt, dass: (1) das von o1-preview gesteuerte Agentenlabor die besten Forschungsergebnisse liefert; (2) der generierte Code für maschinelles Lernen in der Lage ist, im Vergleich zu existierenden Methoden den neuesten Stand der Technik zu erreichen; (3) die Beteiligung des Menschen, der in jeder Phase Feedback gibt, die Gesamtqualität der Forschung erheblich verbessert; (4) Agent Laboratory senkt die Forschungsausgaben erheblich, und zwar um 84 % im Vergleich zu früheren autonomen Forschungsmethoden. Wir hoffen, dass Agent Laboratory es den Forschern ermöglicht, mehr Aufwand für kreative Ideen zu betreiben, statt für die Programmierung und das Schreiben von Texten auf niedriger Ebene, was letztendlich die wissenschaftliche Entdeckung beschleunigt.
Quelle: Agent Laboratory: Using LLM Agents as Research Assistants