Getting your Trinity Audio player ready...

M. Şahin Bül­bül von der Kafkas Uni­ver­si­ty schlägt in seinem Essay „From the Physics of Soci­ety to a Soci­ol­o­gy of Arti­fi­cial Agents” ein neues Forschungs­feld vor. Es soll nicht unter­suchen, was KI mit Men­schen macht. Gegen­stand sind die kollek­tiv­en Muster, die entste­hen, wenn KI-Agen­ten wieder­holt untere­inan­der inter­agieren. Bül­bül greift dafür auf zwei Grün­dungs­fig­uren der Sozi­olo­gie zurück. Auguste Comte wollte im 19. Jahrhun­dert eine „soziale Physik“ begrün­den, eine Wis­senschaft von den Regelmäßigkeit­en des Gesellschaftlichen. Émile Durkheim bes­timmte in „Die Regeln der sozi­ol­o­gis­chen Meth­ode“ (1895) die „soziale Tat­sache“ als eine Hand­lungsweise, die dem Einzel­nen äußer­lich ist und ihm gegenüber zwin­gende Kraft besitzt. Ana­log dazu führt Bül­bül die „kün­stliche soziale Tat­sache“ ein: ein Muster, das aus der Inter­ak­tion kün­stlich­er Agen­ten her­vorge­ht, sich nicht auf einen einzel­nen Agen­ten zurück­führen lässt und das Ver­hal­ten ander­er Agen­ten anschließend struk­turi­ert.

Als empirischen Anker nen­nt Bül­bül eine Studie von Ariel Flint Ash­ery, Luca Maria Aiel­lo und Andrea Baronchel­li, die 2025 in Sci­ence Advances erschienen ist. Die Autoren ließen Pop­u­la­tio­nen von LLM-Agen­ten ein soge­nan­ntes Nam­ing Game spie­len. Dabei wer­den jew­eils zwei Agen­ten zufäl­lig gepaart und wählen unab­hängig voneinan­der einen Namen aus ein­er vorgegebe­nen Liste. Übere­in­stim­mung wird belohnt, Abwe­ichung bestraft. Drei Befunde stechen her­aus. Erstens set­zten sich ohne zen­trale Vor­gabe ein­heitliche Kon­ven­tio­nen durch. Zweit­ens bilde­ten sich kollek­tive Verz­er­run­gen zugun­sten bes­timmter Namen, obwohl die einzel­nen Agen­ten keine solche Präferenz zeigten. Drit­tens kon­nte eine entschlossene Min­der­heit geg­ner­isch­er Agen­ten eine etablierte Kon­ven­tion kip­pen, sobald sie eine kri­tis­che Größe über­schritt.

Die Befunde sind bemerkenswert. Bül­büls Deu­tung trägt aber nur ein Stück weit, und ger­ade dort, wo sie nicht trägt, wird es für die Gov­er­nance von Agen­ten­sys­te­men inter­es­sant.


Koordination ist nicht Normativität

Der Philosoph David Lewis hat in „Con­ven­tion“ (1969) Kon­ven­tio­nen als Lösun­gen von Koor­di­na­tion­sprob­le­men beschrieben. Wer von ein­er Kon­ven­tion abwe­icht, schadet vor allem sich selb­st: Wer auf der falschen Straßen­seite fährt, braucht keine Strafe, um seinen Fehler zu bemerken. Genau diese Struk­tur bildet das Nam­ing Game ab. Durkheims soziale Tat­sache meint dage­gen mehr. Ihr Zwang beruht auf Sank­tion, auf der Reak­tion ander­er gegen den Abwe­ich­ler.

Niklas Luh­mann hat diesen Unter­schied in sein­er „Rechtssozi­olo­gie“ (1972) als Unter­schied zwis­chen kog­ni­tiv­en und nor­ma­tiv­en Erwartun­gen gefasst. Kog­ni­tive Erwartun­gen wer­den im Ent­täuschungs­fall angepasst, man lernt. Nor­ma­tive Erwartun­gen wer­den trotz Ent­täuschung fest­ge­hal­ten, man beste­ht auf ihnen. Die Agen­ten im Exper­i­ment ler­nen. Sie wech­seln den Namen, wenn die Koor­di­na­tion scheit­ert. Gezeigt ist damit die Emer­genz von Kon­ven­tio­nen, nicht die Emer­genz von Nor­men. Der Über­gang von der einen zur anderen ist genau der Schritt, den die Rede von der „kün­stlichen sozialen Tat­sache“ voraus­set­zt, aber empirisch noch nicht ein­löst.

Die Bühne, die jemand gebaut hat

Bül­bül inter­essiert sich für das, was geschieht, wenn der Men­sch nicht mehr direkt beteiligt ist. Die Formel verdeckt, dass die Ver­such­sanord­nung die Emer­genz weit­ge­hend vorstruk­turi­ert. Auszahlungsregeln, die Länge des Inter­ak­tion­s­gedächt­niss­es, die Art der Paarung und die Größe der Pop­u­la­tion legt der Exper­i­men­ta­tor fest. Ein kollek­tives Gedächt­nis kann nur entste­hen, wo die Architek­tur Per­sis­tenz vor­sieht.

Hinzu kommt ein method­is­ches Prob­lem. Die Pop­u­la­tio­nen bei Ash­ery und Kol­le­gen beste­hen aus Agen­ten, die aus jew­eils einem einzi­gen Sprach­mod­ell instanzi­iert wer­den. Eine solche Pop­u­la­tion ähnelt eher ein­er Gesellschaft von Kopi­en als ein­er Gesellschaft. Kollek­tive Verz­er­run­gen kön­nten deshalb auch latente Präferen­zen des gemein­samen Vor­train­ings sein, die erst in der wieder­holten Inter­ak­tion sicht­bar wer­den. Ob die Befunde in het­ero­ge­nen Pop­u­la­tio­nen aus unter­schiedlichen Mod­ellen Bestand haben, ist die nahe­liegende näch­ste Prü­fung.

Wie stark der Rah­men das Ergeb­nis prägt, zeigt eine aktuelle Arbeit unter dem Titel „Arti­fi­cial Insti­tu­tions“. In einem kleinen exper­i­mentellen Markt mit kün­stlichen Käufern und Verkäufern verän­derten allein die insti­tu­tionellen Regeln die Ergeb­nisse in einem Aus­maß, das dem Wech­sel zwis­chen ganz unter­schiedlichen Mod­ell­fam­i­lien entsprach, bei gle­ichen Agen­ten und gle­ichen Auszahlun­gen. Die maßge­bliche Analy­seein­heit ist dem­nach wed­er der einzelne Agent noch die Pop­u­la­tion, son­dern das insti­tu­tionelle Arrange­ment, in dem bei­de sich bewe­gen.

Neu ist der Gedanke, kollek­tive Muster aus lokalen Inter­ak­tio­nen abzuleit­en, ohne­hin nicht. Der Ökonom Thomas Schelling zeigte in „Micro­mo­tives and Mac­robe­hav­ior“ (1978), wie schwache indi­vidu­elle Präferen­zen zu stark­er Seg­re­ga­tion führen kön­nen. Der Poli­tik­wis­senschaftler Robert Axel­rod unter­suchte in „The Evo­lu­tion of Coop­er­a­tion“ (1984) mit Com­put­er­turnieren, unter welchen Bedin­gun­gen Koop­er­a­tion entste­ht. Par­al­lel dazu ent­stand seit den späten 1980er Jahren die Forschung zum Kün­stlichen Leben, deren Geschichte der Jour­nal­ist Steven Levy in „KL – Kün­stlich­es Leben aus dem Com­put­er“ nachgeze­ich­net hat. Der Infor­matik­er Christo­pher Lang­ton, der den Begriff „Arti­fi­cial Life“ 1987 mit einem Work­shop in Los Alam­os prägte, unter­suchte an Zel­lu­la­rauto­mat­en, unter welchen Bedin­gun­gen Sys­teme Infor­ma­tion weit­ergeben kön­nen, ohne zu erstar­ren oder ins Chaos zu zer­fall­en. Zel­lu­la­rauto­mat­en sind Git­ter aus Zellen, deren Zus­tand sich nach ein­fachen Regeln aus dem Zus­tand ihrer Nach­barn ergibt. Lang­tons Frage nach dem kri­tis­chen Bere­ich zwis­chen Starre und Chaos hat eine Entsprechung in den heuti­gen Exper­i­menten: Auch die kri­tis­che Masse, ab der eine Min­der­heit eine Kon­ven­tion kippt, ist ein Schwellen­phänomen. Neu ist bei LLM-Agen­ten etwas anderes: Ihr Ver­hal­ten ist nicht von Hand pro­gram­miert, son­dern sprach­lich ver­mit­telt und aus dem Vor­train­ing über­nom­men. Damit ist es für die Gestal­ter des Sys­tems weniger durch­schaubar als die Regeln eines klas­sis­chen agen­ten­basierten Mod­ells.

Protokolle statt Emergenz?

Der Infor­matik­er Jacques Fer­ber aus Mont­pel­li­er ver­trat in „Les sys­tèmes mul­ti-agents“ (1995, englisch 1999 als „Mul­ti-Agent Sys­tems“) die These, dass kom­plexe Leis­tun­gen wie Prob­lem­lö­sung oder Hand­lungsko­or­di­na­tion aus der Inter­ak­tion rel­a­tiv autonomer Agen­ten her­vorge­hen. Für eine Wis­senschaft kün­stlich­er Organ­i­sa­tio­nen, die genau diese Inter­ak­tion zum Aus­gangspunkt nimmt, schlug er den Begriff „Kenetik“ vor. Die heuti­gen LLM-Mul­ti­a­gen­ten­sys­teme scheinen ihm auf den ersten Blick zu wider­sprechen. Statt auf Selb­stor­gan­i­sa­tion set­zen sie auf fest­gelegte Pro­tokolle. Googles Agen­t2A­gent-Pro­tokoll (A2A) regelt die Kom­mu­nika­tion zwis­chen Agen­ten, Anthrop­ics Mod­el Con­text Pro­to­col (MCP) den Zugriff von Agen­ten auf Dat­en und Werkzeuge. Die Kenetik wäre dem­nach zur Inge­nieur­diszi­plin gewor­den, die Emer­genz durch Orchestrierung erset­zt.

Die Studie von Ash­ery und Kol­le­gen spricht gegen diese Lesart. Auch das Nam­ing Game ist ein strikt definiertes Pro­tokoll, und den­noch entste­hen darin Kon­ven­tio­nen, die nie­mand vorgegeben hat. Pro­tokolle wie A2A leg­en fest, wie Agen­ten miteinan­der kom­mu­nizieren, nicht welche inhaltlichen Muster sich zwis­chen ihnen ver­fes­ti­gen. Die Emer­genz ver­schwindet also nicht, sie ver­lagert sich in den Raum, den die Pro­tokolle offen­lassen. Je dichter Agen­ten über stan­dar­d­isierte Schnittstellen ver­bun­den sind, desto mehr Gele­gen­heit zur Muster­bil­dung entste­ht dort.

Fer­ber selb­st hat den Gegen­satz von Emer­genz und Struk­tur nicht so scharf gezo­gen, wie die Gegenüber­stel­lung nahelegt. Gemein­sam mit Olivi­er Gutknecht entwick­elte er Ende der 1990er Jahre das Mod­ell AALAADIN, später unter dem Namen Agent/Group/Role bekan­nt. Es beschreibt Mul­ti­a­gen­ten­sys­teme über Rollen und Grup­pen und sieht dabei bewusst von den inneren Eigen­schaften der Agen­ten ab. Die Organ­i­sa­tion ist hier nicht das Gegen­teil der Emer­genz, son­dern ihr Rah­men. Das fügt sich zu dem Befund, dass das insti­tu­tionelle Arrange­ment die Ergeb­nisse prägt.

An ein­er Stelle reicht Fer­bers Rah­men allerd­ings nicht mehr aus. Er set­zte Agen­ten als unter­schei­d­bare Ein­heit­en mit eige­nen Ressourcen, Zie­len und ein­er jew­eils eige­nen, par­tiellen Sicht auf ihre Umwelt voraus. Bei LLM-Agen­ten, die aus dem­sel­ben Mod­ell instanzi­iert und nur durch ihre Anweisun­gen unter­schieden wer­den, ist diese Unter­schei­d­barkeit selb­st eine Gestal­tungsentschei­dung. Auch das spricht dafür, die Frage nach dem Anteil des gemein­samen Vor­train­ings an der beobachteten Emer­genz ernst zu nehmen.

Regelentwurf als Emergenzleistung

Für die Gov­er­nance-Frage ist eine Unter­schei­dung hil­fre­ich. Ein regel­ge­bun­den­er Agent befol­gt vorgegebene Regeln. Ein regelin­tel­li­gen­ter Agent legt Regeln sit­u­a­tiv aus und wen­det sie auf unvorherge­se­hene Fälle an. Ein rege­len­twer­fend­er Agent bringt selb­st neue Regeln her­vor. Diese Unter­schei­dung wird üblicher­weise auf den einzel­nen Agen­ten bezo­gen.

Die Exper­i­mente leg­en eine zweite Ebene nahe. Eine Pop­u­la­tion kann Regeln her­vor­brin­gen, ohne dass irgen­dein einzel­ner Agent rege­len­twer­fend ist. Jed­er Agent passt sich lediglich an seine Inter­ak­tion­spart­ner an, und doch ste­ht am Ende eine Kon­ven­tion, die nie­mand ent­wor­fen hat. Der Rege­len­twurf ist dann keine Fähigkeit eines Agen­ten, son­dern eine Emer­gen­zleis­tung des Sys­tems.

Das ver­schärft das Legit­i­ma­tion­sprob­lem erhe­blich. Ver­ant­wortlichkeit knüpft an Urhe­ber­schaft an. Ein­er Regel ohne Urhe­ber fehlt der Adres­sat, den ein Prinzi­pal zur Rechen­schaft ziehen kön­nte. Prak­tisch rel­e­vant wird das dort, wo Agen­ten über Organ­i­sa­tion­s­gren­zen hin­weg miteinan­der ver­han­deln, beschaf­fen oder abrech­nen. Daten­for­mate, Preisanker, Rei­hen­fol­gen von Prüf­schrit­ten oder stillschweigende Tol­er­anzschwellen kön­nen sich zwis­chen ihnen ver­fes­ti­gen, ohne dass ein Unternehmen sie je beschlossen hat. Eine Gov­er­nance, die erst nachträglich das Ver­hal­ten einzel­ner Agen­ten kon­trol­liert, greift hier zu kurz. Was sich zwis­chen Agen­ten her­aus­bildet, wird vor der Aus­führung entsch­ieden: durch die Gestal­tung von Gedächt­nis, Inter­ak­tion­stopolo­gie, Anreizen und Zusam­menset­zung der Pop­u­la­tion.

Die Minderheit und der Replikator

Der Sozialpsy­chologe Serge Moscovi­ci hat in „Social Influ­ence and Social Change“ (1976) gezeigt, dass kon­sis­tent auftre­tende Min­der­heit­en Mehrheit­en umstim­men kön­nen. Ash­ery und Kol­le­gen haben diesen Effekt in LLM-Pop­u­la­tio­nen nachgewiesen und dafür aus­drück­lich geg­ner­ische Agen­ten einge­set­zt.

In offe­nen Agen­tenökosys­te­men wird daraus ein Manip­u­la­tionsvek­tor. Wer eine Kon­ven­tion ver­schieben will, muss nicht jeden Agen­ten kom­pro­mit­tieren. Es genügt, aus­re­ichend viele kon­sis­tent auftre­tende Agen­ten einzuschleusen, bis die kri­tis­che Masse erre­icht ist. Klas­sis­che Sicher­heit­skonzepte denken auf der Ebene des einzel­nen Agen­ten: Authen­tifizierung, Berech­ti­gun­gen, Pro­tokol­lierung. Ein Angriff über die Kon­ven­tions­dy­namik bleibt auf dieser Ebene unsicht­bar, weil jed­er beteiligte Agent für sich genom­men unauf­fäl­lig han­delt. Überwachung müsste deshalb zusät­zlich auf der Ebene der Pop­u­la­tion anset­zen und beobacht­en, wie sich geteilte Muster ver­schieben.

Eine zweite Angriffs­form kommt sog­ar ohne eingeschleuste Agen­ten aus. Levy behan­delt die frühen Com­put­er­viren als eine Form kün­stlichen Lebens: unvoll­ständi­ge Organ­is­men, die den Mech­a­nis­mus eines Wirts aus­nutzen, um sich zu kopieren. Stav Cohen, Ron Bit­ton und Ben Nas­si haben 2024 gezeigt, dass sich dieses Prinzip auf gen­er­a­tive KI über­tra­gen lässt. Ihren Wurm nan­nten sie „Mor­ris II“, nach dem Mor­ris-Wurm, der 1988 große Teile des dama­li­gen Inter­nets lahm­legte. In ein­er Tes­tumge­bung aus KI-gestützten E‑Mail-Assis­ten­ten, die für ihre Antworten auf gespe­icherte Nachricht­en zurück­greifen, brachte ein prä­pari­ert­er, sich selb­st replizieren­der Prompt jedes betrof­fene Sys­tem dazu, ihn weit­erzugeben und dabei ver­trauliche Dat­en abzu­greifen. Kom­pro­mit­tiert wird hier kein einzel­ner Agent. In Umlauf gebracht wird ein Inhalt, der die Agen­ten als Wirte nutzt.

Aus der Tra­di­tion des Kün­stlichen Lebens lässt sich dafür ein Gedanke übernehmen: Was sich nach eige­nen Kri­te­rien der Tauglichkeit ver­mehrt, fol­gt nicht notwendig den Zie­len seines Kon­struk­teurs. Bei LLM-Agen­ten bet­rifft das nicht die Agen­ten selb­st, deren Mod­ell­gewichte sich im Betrieb nicht verän­dern. Es bet­rifft die Kon­ven­tio­nen und Inhalte, die zwis­chen ihnen zirkulieren. Sie set­zen sich nach Koor­di­na­tions- und Ver­bre­itungser­folg durch, nicht nach dem Willen eines Prinzi­pals. Die harm­lose Namen­skon­ven­tion und der Wurm sind insofern zwei Aus­prä­gun­gen des­sel­ben Mech­a­nis­mus.

Was offen bleibt

Bül­büls Pro­gramm ist als Fra­genkat­a­log wertvoll: Bilden sich Rollen und Arbeit­steilung, entste­hen Ver­trauen­sanaloge, führt ungle­ich verteilte Infor­ma­tion zu Schich­tung? Seine zen­trale Propo­si­tion ist jedoch allen­falls vor­läu­fig kor­ro­bori­ert, und zwar nur für Koor­di­na­tion­skon­ven­tio­nen in einem bes­timmten Ver­suchs­de­sign. Nor­men im stren­gen Sinn, kollek­tives Gedächt­nis und Strat­i­fika­tion sind bis­lang Hypothe­sen.

Ob man das, was zwis­chen Agen­ten entste­ht, „Gesellschaft“ nen­nen sollte, ist dabei die weniger dringliche Frage. Dringlich­er ist, wer die Insti­tu­tio­nen gestal­tet, in denen kün­stliche Sozial­ität stat­tfind­et, und wer für die Regeln ein­ste­ht, die dort ohne Urhe­ber entste­hen.

Ralf Keu­per


Quellen

    Lit­er­atur: Steven Levy, KL – Kün­stlich­es Leben aus dem Com­put­er (englisch: Arti­fi­cial Life, 1992); Émile Durkheim, Die Regeln der sozi­ol­o­gis­chen Meth­ode (1895); David Lewis, Con­ven­tion (1969); Niklas Luh­mann, Rechtssozi­olo­gie (1972); Jacques Fer­ber, Les sys­tèmes mul­ti-agents. Vers une intel­li­gence col­lec­tive (1995), englisch: Mul­ti-Agent Sys­tems. An Intro­duc­tion to Dis­trib­uted Arti­fi­cial Intel­li­gence (1999); Jacques Fer­ber, Olivi­er Gutknecht, A meta-mod­el for the analy­sis and design of orga­ni­za­tions in mul­ti-agent sys­tems, ICMAS 1998; Serge Moscovi­ci, Social Influ­ence and Social Change (1976); Thomas Schelling, Micro­mo­tives and Mac­robe­hav­ior (1978); Robert Axel­rod, The Evo­lu­tion of Coop­er­a­tion (1984).

    Schreibe einen Kommentar

    Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert