Strategische KI-Agenten

Wir stellen uns eine Welt vor, in der Men­schen und KI-Agen­ten zusam­me­nar­beit­en und nutzbrin­gend inter­agieren, wobei KI datengestützte strate­gis­che Empfehlun­gen gener­iert, die direkt von anderen KI-Agen­ten umge­set­zt, an men­schliche Entschei­dungsträger weit­ergegeben oder in kom­plexere inter­ak­tive Sys­teme inte­gri­ert wer­den kön­nen. Large Lan­guage Mod­els (LLMs) und all­ge­mein­er Foun­da­tion Mod­els (FMs) brin­gen uns dieser Vision näher, indem sie es Laien ermöglichen, mit KI unter Ver­wen­dung natür­lich­er Sprache zu inter­agieren und dadurch bei vie­len Auf­gaben erhe­bliche, manch­mal radikale, Effizien­zgewinne zu erzie­len.

Bei der Bew­er­tung des strate­gis­chen Denkens bleiben die Fähigkeit­en dieser Mod­elle jedoch unzure­ichend. Wir schla­gen daher eine kol­lab­o­ra­tive Forschungsagen­da vor, die die Ein­beziehung spielthe­o­retis­ch­er Par­a­dig­men in die Forschung und das Design von FMs und LLMs bein­hal­tet, und umgekehrt.

Diese Zusam­me­nar­beit wird strate­gis­che FMs ermöglichen — z.B. LLMs, die in natür­lich­er Sprache kom­mu­nizieren, aber strate­gis­che Entschei­dungs­fähigkeit­en aufweisen -, die die Schaf­fung eines frucht­baren Ökosys­tems her­vor­brin­gen kön­nen, in dem Men­schen und KI-Agen­ten effek­tiv zusam­me­nar­beit­en.

Quelle: Strate­gic Foun­da­tion Mod­els

Strate­gis­che Agen­ten entwick­eln

Viele erfol­gre­iche strate­gis­che KI-Agen­ten wur­den für spez­i­fis­che Spiele wie Schach, Go, Sho­gi und Pok­er entwick­elt. Alp­haZe­ro war ein früher Ver­such, einen all­ge­meinen Spiel-Agen­ten zu entwer­fen, der über­men­schlich­es Spiel­niveau in mehreren Spie­len erre­ichen kann, benötigt jedoch handge­fer­tigte Regeln für jedes Spiel. MuZe­ro verbesserte Alp­haZe­ro, indem es Spielmechaniken und Strate­gien aus wieder­holtem Spie­len erlernte, wodurch die Notwendigkeit für handge­fer­tigte Regeln ent­fiel. Trotz ihrer Fähigkeit­en sind diese Algo­rith­men keine grundle­gen­den Mod­elle, da ihr Vor­ab-Train­ing nicht all­ge­mein ist.

Empirische spielthe­o­retis­che Analy­sen (EGTA) bieten Tech­niken zur Lösung großer Spiele, die nur über Sim­u­la­toren spez­i­fiziert sind. Neuere Forschun­gen konzen­tri­eren sich darauf, Agen­ten zu entwick­eln, die ihre Strate­gien an ver­schiedene Spiele und Geg­n­er anpassen kön­nen. Einige Agen­ten zeigen Lern­fähigkeit­en im Kon­text, was bedeutet, dass sie ihr Ver­hal­ten basierend auf früheren Spielver­läufen anpassen. Diese geschichts­basierten Poli­tiken sind wichtig für opti­male Entschei­dun­gen in teil­weise beobacht­baren Umge­bun­gen.

Ide­al­er­weise wür­den strate­gis­che Grund­mod­elle in Inter­ak­tio­nen Entschei­dun­gen tre­f­fen, die durch spielthe­o­retis­che Vorher­sagen bes­timmt sind. Viele inter­es­sante Gle­ichgewichte sind jedoch schw­er zu berech­nen. Neur­al Equi­lib­ri­um Solvers (NESs) sind Mod­elle, die Spielin­stanzen einem Gle­ichgewicht zuord­nen, kön­nen aber nicht immer genaue Gle­ichgewichte effizient find­en.

In ein­er Welt mit mehreren strate­gis­chen Grund­mod­ellen ist es wichtig zu bes­tim­men, welch­es Gle­ichgewicht für die Vorher­sage ihrer kollek­tiv­en Ergeb­nisse geeignet ist. Strate­gis­che Grund­mod­elle kön­nten auch als direk­te Solver oder zur Ini­tial­isierung für rechen­in­ten­sive Prob­leme in der koop­er­a­tiv­en Spielthe­o­rie dienen, wo Grup­pen von Agen­ten gemein­sam Ziele ver­fol­gen.

Vorhan­dene Sprach­mod­elle zeigen bere­its einige strate­gis­che Denk­fähigkeit­en, diese sind jedoch oft heuris­tisch und nicht immer zuver­läs­sig in kom­plex­en Sit­u­a­tio­nen. Ein gezieltes Train­ing kön­nte ihre strate­gis­chen Fähigkeit­en verbessern. Strate­gis­che Agen­ten benöti­gen Fähigkeit­en, die über die wörtliche Inter­pre­ta­tion hin­aus­ge­hen, um die Absicht­en und Bedeu­tun­gen in Gesprächen zu ver­ste­hen. Weit­er­führende Forschung ist nötig, um diese Fähigkeit­en in ver­schiede­nen kom­mu­nika­tiv­en Kon­tex­ten zu entwick­eln. Emer­gent Com­mu­ni­ca­tion kön­nte helfen, prag­ma­tis­che Fähigkeit­en durch Inter­ak­tion zu fördern, allerd­ings ist es unre­al­is­tisch zu erwarten, dass men­schliche Sprache nur durch Inter­ak­tion voll­ständig entste­ht.