Large Language Model based Multi-Agents: A Survey of Progress and Challenges

Die Autoren des Papers Large Language Model based Multi-Agents: A Survey of Progress and Challenges wollen Personen mit unterschiedlichem Hintergrund dabei helfen, LLM-MA-Techniken zu verstehen und bestehende Studien zu ergänzen. Die leitende Frage ist: Wie sind LLM-MA-Systeme auf die Umgebung der kollaborativen Aufgabenlösung abgestimmt?

Wir gehen auf diese Frage ein, indem wir diskutieren: 1) die Agenten-Umwelt-Schnittstelle, die detailliert beschreibt, wie Agenten mit der Aufgabenumgebung interagieren; 2) die Agentenprofilierung, die erklärt, wie ein Agent durch ein LLM charakterisiert wird, um sich zu verhalten 3) Agenten-Kommunikation, die untersucht, wie Agenten Nachrichten austauschen und zusammenarbeiten, und 4) Agenten-Fähigkeitserwerb, der untersucht, wie Agenten ihre Fähigkeiten entwickeln, um Probleme effektiv zu lösen.

LLM-basierte Agenten

Die LLM-basierten Agenten nehmen die Umgebung wahr und handeln in ihr, was wiederum ihr Verhalten und ihre Entscheidungsfindung beeinflusst. In der Simulation des Werwolfspiels beispielsweise legt die Sandbox-Umgebung den Rahmen des Spiels fest, einschließlich der Übergänge von Tag zu Nacht, Diskussionsphasen, Abstimmungsmechanismen und Belohnungsregeln. 

Rollenüberprüfung 

Überprüfung der Rollen. Nach diesen Aktionen erhalten die Agenten Rückmeldungen aus der Umgebung, die sie über den aktuellen Zustand des Spiels informieren. Diese Informationen leiten die Agenten dazu an, ihre Strategien im Laufe der Zeit anzupassen und auf das sich entwickelnde Spielgeschehen und die Interaktionen mit anderen Agenten zu reagieren. Die Agenten-Umwelt-Schnittstelle bezieht sich auf die Art und Weise, wie die Agenten mit der Umwelt interagieren und diese wahrnehmen. Über diese Schnittstelle verstehen die Agenten ihre Umgebung, treffen Entscheidungen und lernen aus den Ergebnissen ihrer Aktionen.

Speicher 

Die meisten LLM-MA-Systeme nutzen ein Speichermodul für Agenten, um ihr Verhalten anzupassen. Agenten speichern Informationen aus früheren Interaktionen und Rückmeldungen in ihrem Gedächtnis. Wenn sie Aktionen durchführen, können sie relevante, wertvolle Erinnerungen abrufen, insbesondere solche, die erfolgreiche Aktionen für ähnliche vergangene Ziele enthalten, wie in [Wang et al., 2023b] hervorgehoben wird. Dieser Prozess hilft ihnen, ihre aktuellen Handlungen zu verbessern. 

Lernen 

Die Agenten können sich dynamisch weiterentwickeln, indem sie sich selbst modifizieren, indem sie beispielsweise ihre ursprünglichen Ziele und Planungsstrategien ändern und sich selbst auf der Grundlage von Feedback oder Kommunikationsprotokollen trainieren. [Nascimento et al., 2023] schlägt einen Prozess der Selbstkontrolle vor, der es jedem Agenten in Multi-Agenten-Systemen ermöglicht, sich selbst zu managen und sich selbst an dynamische Umgebungen anzupassen, wodurch die Effizienz der Zusammenarbeit mehrerer Agenten verbessert wird. In [Zhang et al., 2023b] wird ProA- gent eingeführt, das die Entscheidungen der Teamkollegen vorwegnimmt und die Strategien der einzelnen Agenten auf der Grundlage der Kommunikationsprotokolle zwischen den Agenten dynamisch anpasst, was das gegenseitige Verständnis erleichtert und die Fähigkeit zur gemeinsamen Planung verbessert. In [Wang et al., 2023a] wird ein Paradigma des Lernens durch Kommunikation (LTC) erörtert, das die Kommunikationsprotokolle mehrerer Agenten nutzt, um Datensätze zum Trainieren oder Feinabstimmen von LLMs zu erzeugen. LTC ermöglicht die kontinuierliche Anpassung und Verbesserung von Agenten durch die Interaktion mit ihrer Umgebung und anderen Agenten und überwindet damit die Grenzen des kontextbezogenen Lernens oder der überwachten Feinabstimmung, die das während der Interaktion mit der Umgebung und externen Werkzeugen erhaltene Feedback nicht vollständig für ein kontinuierliches Training nutzen. Die Selbst-Evolution ermöglicht es den Agenten, ihre Profile oder Ziele selbständig anzupassen, anstatt nur aus historischen Interaktionen zu lernen.

Herausforderungen

Mit der Skalierung von LLM-MA mit einer größeren Anzahl von Agenten wurde die zunehmende Komplexität der Verwaltung verschiedener Arten von Agenten zu einem kritischen Problem. Die Orchestrierung von Agenten wurde zu einer zentralen Herausforderung und begann in [Moura, 2023; Dibia, 2023] an Aufmerksamkeit zu gewinnen. Wir werden dieses Thema in Abschnitt 6.4 weiter erörtern.

LLM-MA-Systeme bestehen aus einer Reihe individueller LLM-basierter Agenten, was eine erhebliche Herausforderung für die Skalierbarkeit hinsichtlich der Anzahl der Agenten darstellt. Aus der Perspektive der Computerkomplexität erfordert jeder LLM-basierte Agent, der typischerweise auf großen Sprachmodellen wie GPT-4 aufbaut, erhebliche Rechenleistung und Speicher. Die Erhöhung der Anzahl dieser Agenten in einem LLM-MA-System erhöht den Ressourcenbedarf erheblich. In Szenarien mit begrenzten Rechenressourcen wäre es eine Herausforderung, diese LLM-MA-Systeme zu entwickeln.

Darüber hinaus ergeben sich mit zunehmender Anzahl von Agenten in einem LLM-MA-System zusätzliche Komplexitäten und Forschungsmöglichkeiten, insbesondere in Bereichen wie effiziente Agentenkoordination, Kommunikation und Verständnis der Skalierungsgesetze von Multi-Agenten. Mit mehr LLM-basierten Agenten steigt zum Beispiel die Komplexität der Sicherstellung einer effektiven Koordination und Kommunikation erheblich an. Wie in [Dibia, 2023] hervorgehoben wird, wird die Entwicklung fortschrittlicher Methoden zur Agenten-Orchestrierung immer wichtiger. Diese Methoden zielen darauf ab, die Arbeitsabläufe der Agenten, die auf die verschiedenen Agenten zugeschnittenen Aufgabenzuweisungen und die Kommunikationsmuster zwischen den Agenten, wie z. B. die Kommunikationsbeschränkungen zwischen den Agenten, zu opti- mieren. Eine effektive Agenten-Orchestrierung erleichtert den harmonischen Betrieb zwischen Agenten und minimiert Konflikte und Redundanzen. Darüber hinaus bleibt die Erforschung und Definition der Skalierungsgesetze, die das Verhalten und die Effizienz von Multi-Agenten-Systemen bestimmen, wenn diese größer werden, ein wichtiges Forschungsgebiet. Diese Aspekte unterstreichen den Bedarf an innovativen Lösungen zur Optimierung von LLM-MA-Systemen, die sowohl effektiv als auch ressourcenschonend sind.

Weiterer Forschungsbedarf 

Darüber hinaus gibt es Möglichkeiten, LLM-MA-Systeme aus verschiedenen theoretischen Perspektiven zu erforschen, z. B. Kognitionswissenschaft [Sumers et al., 2023], symbolische künstliche Intelligenz, Kybernetik, komplexe Systeme und kollektive Intelligenz. Ein solcher facettenreicher Ansatz könnte zu einem umfassenderen Verständnis und innovativen Anwendungen in diesem sich rasch entwickelnden Bereich beitragen.