Foundation Agents as the Paradigm Shift for Decision Making

In dem Positionspapier Foundation Agents as the Paradigm Shift for Decision Making argumentieren die Autoren, dass Foundation Agents als allgemein fähige Agenten in physischen und virtuellen Welten den Paradigmenwechsel für die Entscheidungsfindung darstellen werden, ähnlich wie LLMs als Allzweck-Sprachmodelle zur Lösung linguistischer und wissensbasierter Aufgaben.

Weiterhin argumentieren die Autoren, dass LLMs als Quelle des Weltwissens und der menschlichen Werte die Basisagenten (Foundation Agents) in die Lage versetzen, sich an das durch Sprachen geschaffene Weltmodell und die menschliche Gesellschaft anzupassen und so ihre Denk- und Planungsfähigkeiten zu verbessern.

Zu den Themen Training und Simulation: 

Da die reale Welt viel komplizierter ist als Simulatoren, sollte das Training von Basisagenten auf einer vereinfachten Welt basieren, z. B. auf einem Zustand, der als Ergebnis einer Aktion entsteht. Dann kann der Agent anhand von High-Level-Ergebnissen und nicht anhand von Low-Level-Pixeln und Videos trainiert werden, was eine offene Frage für künftige Arbeiten bleibt.

Zum Zusammenwirken von LLMs und Agenten: 

Die Integration von LLMs in das Agentenlernen bietet Vorteile gegenüber herkömmlichen RL- und IL-Methoden. Erstens benötigen LLMs deutlich weniger Trainingsmuster, da sie ein Vortraining auf Texten im Internet nutzen, um umfangreiches Wissen aus der realen Welt zu erwerben und starke Generalisierungsfähigkeiten zu demonstrieren. Zweitens sind LLMs nach dem neuesten Stand der Technik von Natur aus auf den Menschen ausgerichtet, so dass sie Entscheidungen treffen können, die den menschlichen Präferenzen und Werten entsprechen. Drittens wird durch die Bereitstellung detaillierter Begründungen für Aktionen während der Planung die Interpretierbarkeit von auf LLMs ausgerichteten Basisagenten der Herausforderung gerecht, Black-Box-KI-Modelle in der realen Entscheidungsfindung einzusetzen.

Zur Optimierung der Foundation Agents: 

Bei der Optimierung von Basisagenten ergeben sich jedoch Herausforderungen, wie z. B. die Bestimmung der optimalen Granularität und Darstellung von Trajektoriendaten. Darüber hinaus bleibt es eine ständige Herausforderung, ein Gleichgewicht zwischen Vielseitigkeit und Aufgabenspezifität herzustellen. Trotz dieser Probleme unterstreicht die Kombination aus selbstüberwachtem Vortraining und vielseitigen Anpassungsstrategien das Potenzial von Foundation Agents, die in der Lage sind, eine robuste Leistung in einem breiten Spektrum von Entscheidungssituationen. 

Zum Problem der Halluzination: 

Da die Erkennung von Halluzinationen nach wie vor ein offenes Problem ist, erhöht sich durch die Ausrichtung von Foundation Agents auf LLMs das Risiko von unerklärlichem abnormalem Verhalten. Angesichts des breiten Aufgabenspektrums von Foundation Agents, insbesondere bei sicherheitskritischen Aufgaben, könnten Halluzinationen bei LLMs zu schwerwiegenden Konsequenzen bei der Entscheidungsfindung führen. Daher ist es von entscheidender Bedeutung, die potenziellen Risiken von Foundation Agents, die auf LLMs ausgerichtet sind, im Auge zu behalten und Lösungen für dieses Problem vorzuschlagen, um einen sicheren und verantwortungsvollen Einsatz in der realen Entscheidungsfindung zu ermöglichen.

Zur weiteren Forschung: 

Aufgrund der intrinsischen Komplexität der Entscheidungsfindung befinden sich die bisherigen Arbeiten an Foundation Agents jedoch noch am Anfang. Zukünftige Richtungen umfassen unter anderem das Erlernen einer einheitlichen Darstellung verschiedener Umgebungen und Aufgaben, die Schaffung theoretischer Grundlagen für eine einheitliche politische Schnittstelle und das Lernen aus offenen Aufgaben in großem Maßstab. Die Überbrückung dieser Lücken wird den Weg für robustere und vielseitigere Gründungsagenten ebnen und damit zur Entwicklung der allgemeinen künstlichen Intelligenz beitragen.