|
Getting your Trinity Audio player ready...
|
M. Şahin Bülbül von der Kafkas University schlägt in seinem Essay „From the Physics of Society to a Sociology of Artificial Agents” ein neues Forschungsfeld vor. Es soll nicht untersuchen, was KI mit Menschen macht. Gegenstand sind die kollektiven Muster, die entstehen, wenn KI-Agenten wiederholt untereinander interagieren. Bülbül greift dafür auf zwei Gründungsfiguren der Soziologie zurück. Auguste Comte wollte im 19. Jahrhundert eine „soziale Physik“ begründen, eine Wissenschaft von den Regelmäßigkeiten des Gesellschaftlichen. Émile Durkheim bestimmte in „Die Regeln der soziologischen Methode“ (1895) die „soziale Tatsache“ als eine Handlungsweise, die dem Einzelnen äußerlich ist und ihm gegenüber zwingende Kraft besitzt. Analog dazu führt Bülbül die „künstliche soziale Tatsache“ ein: ein Muster, das aus der Interaktion künstlicher Agenten hervorgeht, sich nicht auf einen einzelnen Agenten zurückführen lässt und das Verhalten anderer Agenten anschließend strukturiert.
Als empirischen Anker nennt Bülbül eine Studie von Ariel Flint Ashery, Luca Maria Aiello und Andrea Baronchelli, die 2025 in Science Advances erschienen ist. Die Autoren ließen Populationen von LLM-Agenten ein sogenanntes Naming Game spielen. Dabei werden jeweils zwei Agenten zufällig gepaart und wählen unabhängig voneinander einen Namen aus einer vorgegebenen Liste. Übereinstimmung wird belohnt, Abweichung bestraft. Drei Befunde stechen heraus. Erstens setzten sich ohne zentrale Vorgabe einheitliche Konventionen durch. Zweitens bildeten sich kollektive Verzerrungen zugunsten bestimmter Namen, obwohl die einzelnen Agenten keine solche Präferenz zeigten. Drittens konnte eine entschlossene Minderheit gegnerischer Agenten eine etablierte Konvention kippen, sobald sie eine kritische Größe überschritt.
Die Befunde sind bemerkenswert. Bülbüls Deutung trägt aber nur ein Stück weit, und gerade dort, wo sie nicht trägt, wird es für die Governance von Agentensystemen interessant.
Koordination ist nicht Normativität
Der Philosoph David Lewis hat in „Convention“ (1969) Konventionen als Lösungen von Koordinationsproblemen beschrieben. Wer von einer Konvention abweicht, schadet vor allem sich selbst: Wer auf der falschen Straßenseite fährt, braucht keine Strafe, um seinen Fehler zu bemerken. Genau diese Struktur bildet das Naming Game ab. Durkheims soziale Tatsache meint dagegen mehr. Ihr Zwang beruht auf Sanktion, auf der Reaktion anderer gegen den Abweichler.
Niklas Luhmann hat diesen Unterschied in seiner „Rechtssoziologie“ (1972) als Unterschied zwischen kognitiven und normativen Erwartungen gefasst. Kognitive Erwartungen werden im Enttäuschungsfall angepasst, man lernt. Normative Erwartungen werden trotz Enttäuschung festgehalten, man besteht auf ihnen. Die Agenten im Experiment lernen. Sie wechseln den Namen, wenn die Koordination scheitert. Gezeigt ist damit die Emergenz von Konventionen, nicht die Emergenz von Normen. Der Übergang von der einen zur anderen ist genau der Schritt, den die Rede von der „künstlichen sozialen Tatsache“ voraussetzt, aber empirisch noch nicht einlöst.
Die Bühne, die jemand gebaut hat
Bülbül interessiert sich für das, was geschieht, wenn der Mensch nicht mehr direkt beteiligt ist. Die Formel verdeckt, dass die Versuchsanordnung die Emergenz weitgehend vorstrukturiert. Auszahlungsregeln, die Länge des Interaktionsgedächtnisses, die Art der Paarung und die Größe der Population legt der Experimentator fest. Ein kollektives Gedächtnis kann nur entstehen, wo die Architektur Persistenz vorsieht.
Hinzu kommt ein methodisches Problem. Die Populationen bei Ashery und Kollegen bestehen aus Agenten, die aus jeweils einem einzigen Sprachmodell instanziiert werden. Eine solche Population ähnelt eher einer Gesellschaft von Kopien als einer Gesellschaft. Kollektive Verzerrungen könnten deshalb auch latente Präferenzen des gemeinsamen Vortrainings sein, die erst in der wiederholten Interaktion sichtbar werden. Ob die Befunde in heterogenen Populationen aus unterschiedlichen Modellen Bestand haben, ist die naheliegende nächste Prüfung.
Wie stark der Rahmen das Ergebnis prägt, zeigt eine aktuelle Arbeit unter dem Titel „Artificial Institutions“. In einem kleinen experimentellen Markt mit künstlichen Käufern und Verkäufern veränderten allein die institutionellen Regeln die Ergebnisse in einem Ausmaß, das dem Wechsel zwischen ganz unterschiedlichen Modellfamilien entsprach, bei gleichen Agenten und gleichen Auszahlungen. Die maßgebliche Analyseeinheit ist demnach weder der einzelne Agent noch die Population, sondern das institutionelle Arrangement, in dem beide sich bewegen.
Neu ist der Gedanke, kollektive Muster aus lokalen Interaktionen abzuleiten, ohnehin nicht. Der Ökonom Thomas Schelling zeigte in „Micromotives and Macrobehavior“ (1978), wie schwache individuelle Präferenzen zu starker Segregation führen können. Der Politikwissenschaftler Robert Axelrod untersuchte in „The Evolution of Cooperation“ (1984) mit Computerturnieren, unter welchen Bedingungen Kooperation entsteht. Parallel dazu entstand seit den späten 1980er Jahren die Forschung zum Künstlichen Leben, deren Geschichte der Journalist Steven Levy in „KL – Künstliches Leben aus dem Computer“ nachgezeichnet hat. Der Informatiker Christopher Langton, der den Begriff „Artificial Life“ 1987 mit einem Workshop in Los Alamos prägte, untersuchte an Zellularautomaten, unter welchen Bedingungen Systeme Information weitergeben können, ohne zu erstarren oder ins Chaos zu zerfallen. Zellularautomaten sind Gitter aus Zellen, deren Zustand sich nach einfachen Regeln aus dem Zustand ihrer Nachbarn ergibt. Langtons Frage nach dem kritischen Bereich zwischen Starre und Chaos hat eine Entsprechung in den heutigen Experimenten: Auch die kritische Masse, ab der eine Minderheit eine Konvention kippt, ist ein Schwellenphänomen. Neu ist bei LLM-Agenten etwas anderes: Ihr Verhalten ist nicht von Hand programmiert, sondern sprachlich vermittelt und aus dem Vortraining übernommen. Damit ist es für die Gestalter des Systems weniger durchschaubar als die Regeln eines klassischen agentenbasierten Modells.
Protokolle statt Emergenz?
Der Informatiker Jacques Ferber aus Montpellier vertrat in „Les systèmes multi-agents“ (1995, englisch 1999 als „Multi-Agent Systems“) die These, dass komplexe Leistungen wie Problemlösung oder Handlungskoordination aus der Interaktion relativ autonomer Agenten hervorgehen. Für eine Wissenschaft künstlicher Organisationen, die genau diese Interaktion zum Ausgangspunkt nimmt, schlug er den Begriff „Kenetik“ vor. Die heutigen LLM-Multiagentensysteme scheinen ihm auf den ersten Blick zu widersprechen. Statt auf Selbstorganisation setzen sie auf festgelegte Protokolle. Googles Agent2Agent-Protokoll (A2A) regelt die Kommunikation zwischen Agenten, Anthropics Model Context Protocol (MCP) den Zugriff von Agenten auf Daten und Werkzeuge. Die Kenetik wäre demnach zur Ingenieurdisziplin geworden, die Emergenz durch Orchestrierung ersetzt.
Die Studie von Ashery und Kollegen spricht gegen diese Lesart. Auch das Naming Game ist ein strikt definiertes Protokoll, und dennoch entstehen darin Konventionen, die niemand vorgegeben hat. Protokolle wie A2A legen fest, wie Agenten miteinander kommunizieren, nicht welche inhaltlichen Muster sich zwischen ihnen verfestigen. Die Emergenz verschwindet also nicht, sie verlagert sich in den Raum, den die Protokolle offenlassen. Je dichter Agenten über standardisierte Schnittstellen verbunden sind, desto mehr Gelegenheit zur Musterbildung entsteht dort.
Ferber selbst hat den Gegensatz von Emergenz und Struktur nicht so scharf gezogen, wie die Gegenüberstellung nahelegt. Gemeinsam mit Olivier Gutknecht entwickelte er Ende der 1990er Jahre das Modell AALAADIN, später unter dem Namen Agent/Group/Role bekannt. Es beschreibt Multiagentensysteme über Rollen und Gruppen und sieht dabei bewusst von den inneren Eigenschaften der Agenten ab. Die Organisation ist hier nicht das Gegenteil der Emergenz, sondern ihr Rahmen. Das fügt sich zu dem Befund, dass das institutionelle Arrangement die Ergebnisse prägt.
An einer Stelle reicht Ferbers Rahmen allerdings nicht mehr aus. Er setzte Agenten als unterscheidbare Einheiten mit eigenen Ressourcen, Zielen und einer jeweils eigenen, partiellen Sicht auf ihre Umwelt voraus. Bei LLM-Agenten, die aus demselben Modell instanziiert und nur durch ihre Anweisungen unterschieden werden, ist diese Unterscheidbarkeit selbst eine Gestaltungsentscheidung. Auch das spricht dafür, die Frage nach dem Anteil des gemeinsamen Vortrainings an der beobachteten Emergenz ernst zu nehmen.
Regelentwurf als Emergenzleistung
Für die Governance-Frage ist eine Unterscheidung hilfreich. Ein regelgebundener Agent befolgt vorgegebene Regeln. Ein regelintelligenter Agent legt Regeln situativ aus und wendet sie auf unvorhergesehene Fälle an. Ein regelentwerfender Agent bringt selbst neue Regeln hervor. Diese Unterscheidung wird üblicherweise auf den einzelnen Agenten bezogen.
Die Experimente legen eine zweite Ebene nahe. Eine Population kann Regeln hervorbringen, ohne dass irgendein einzelner Agent regelentwerfend ist. Jeder Agent passt sich lediglich an seine Interaktionspartner an, und doch steht am Ende eine Konvention, die niemand entworfen hat. Der Regelentwurf ist dann keine Fähigkeit eines Agenten, sondern eine Emergenzleistung des Systems.
Das verschärft das Legitimationsproblem erheblich. Verantwortlichkeit knüpft an Urheberschaft an. Einer Regel ohne Urheber fehlt der Adressat, den ein Prinzipal zur Rechenschaft ziehen könnte. Praktisch relevant wird das dort, wo Agenten über Organisationsgrenzen hinweg miteinander verhandeln, beschaffen oder abrechnen. Datenformate, Preisanker, Reihenfolgen von Prüfschritten oder stillschweigende Toleranzschwellen können sich zwischen ihnen verfestigen, ohne dass ein Unternehmen sie je beschlossen hat. Eine Governance, die erst nachträglich das Verhalten einzelner Agenten kontrolliert, greift hier zu kurz. Was sich zwischen Agenten herausbildet, wird vor der Ausführung entschieden: durch die Gestaltung von Gedächtnis, Interaktionstopologie, Anreizen und Zusammensetzung der Population.
Die Minderheit und der Replikator
Der Sozialpsychologe Serge Moscovici hat in „Social Influence and Social Change“ (1976) gezeigt, dass konsistent auftretende Minderheiten Mehrheiten umstimmen können. Ashery und Kollegen haben diesen Effekt in LLM-Populationen nachgewiesen und dafür ausdrücklich gegnerische Agenten eingesetzt.
In offenen Agentenökosystemen wird daraus ein Manipulationsvektor. Wer eine Konvention verschieben will, muss nicht jeden Agenten kompromittieren. Es genügt, ausreichend viele konsistent auftretende Agenten einzuschleusen, bis die kritische Masse erreicht ist. Klassische Sicherheitskonzepte denken auf der Ebene des einzelnen Agenten: Authentifizierung, Berechtigungen, Protokollierung. Ein Angriff über die Konventionsdynamik bleibt auf dieser Ebene unsichtbar, weil jeder beteiligte Agent für sich genommen unauffällig handelt. Überwachung müsste deshalb zusätzlich auf der Ebene der Population ansetzen und beobachten, wie sich geteilte Muster verschieben.
Eine zweite Angriffsform kommt sogar ohne eingeschleuste Agenten aus. Levy behandelt die frühen Computerviren als eine Form künstlichen Lebens: unvollständige Organismen, die den Mechanismus eines Wirts ausnutzen, um sich zu kopieren. Stav Cohen, Ron Bitton und Ben Nassi haben 2024 gezeigt, dass sich dieses Prinzip auf generative KI übertragen lässt. Ihren Wurm nannten sie „Morris II“, nach dem Morris-Wurm, der 1988 große Teile des damaligen Internets lahmlegte. In einer Testumgebung aus KI-gestützten E‑Mail-Assistenten, die für ihre Antworten auf gespeicherte Nachrichten zurückgreifen, brachte ein präparierter, sich selbst replizierender Prompt jedes betroffene System dazu, ihn weiterzugeben und dabei vertrauliche Daten abzugreifen. Kompromittiert wird hier kein einzelner Agent. In Umlauf gebracht wird ein Inhalt, der die Agenten als Wirte nutzt.
Aus der Tradition des Künstlichen Lebens lässt sich dafür ein Gedanke übernehmen: Was sich nach eigenen Kriterien der Tauglichkeit vermehrt, folgt nicht notwendig den Zielen seines Konstrukteurs. Bei LLM-Agenten betrifft das nicht die Agenten selbst, deren Modellgewichte sich im Betrieb nicht verändern. Es betrifft die Konventionen und Inhalte, die zwischen ihnen zirkulieren. Sie setzen sich nach Koordinations- und Verbreitungserfolg durch, nicht nach dem Willen eines Prinzipals. Die harmlose Namenskonvention und der Wurm sind insofern zwei Ausprägungen desselben Mechanismus.
Was offen bleibt
Bülbüls Programm ist als Fragenkatalog wertvoll: Bilden sich Rollen und Arbeitsteilung, entstehen Vertrauensanaloge, führt ungleich verteilte Information zu Schichtung? Seine zentrale Proposition ist jedoch allenfalls vorläufig korroboriert, und zwar nur für Koordinationskonventionen in einem bestimmten Versuchsdesign. Normen im strengen Sinn, kollektives Gedächtnis und Stratifikation sind bislang Hypothesen.
Ob man das, was zwischen Agenten entsteht, „Gesellschaft“ nennen sollte, ist dabei die weniger dringliche Frage. Dringlicher ist, wer die Institutionen gestaltet, in denen künstliche Sozialität stattfindet, und wer für die Regeln einsteht, die dort ohne Urheber entstehen.
Ralf Keuper
Quellen
-
„KL – Künstliches Leben aus dem Computer“ von Steven Levy
-
Jacques Ferbers Kenetik und die Wiederkehr der Multiagenten im Zeitalter generativer KI
- M. Şahin Bülbül: From the Physics of Society to a Sociology of Artificial Agents, arXiv 2026 – https://arxiv.org/pdf/2609.14751
- Ariel Flint Ashery, Luca Maria Aiello, Andrea Baronchelli: Emergent social conventions and collective bias in LLM populations, Science Advances 11 (20), eadu9368 (2025) – https://pmc.ncbi.nlm.nih.gov/articles/PMC12077490/
- Artificial Institutions: How Institutional Design Shapes LLM Simulations, arXiv 2026 – https://arxiv.org/pdf/2608.04020
- Stav Cohen, Ron Bitton, Ben Nassi: Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications, arXiv 2024 – https://arxiv.org/abs/2403.02817
Literatur: Steven Levy, KL – Künstliches Leben aus dem Computer (englisch: Artificial Life, 1992); Émile Durkheim, Die Regeln der soziologischen Methode (1895); David Lewis, Convention (1969); Niklas Luhmann, Rechtssoziologie (1972); Jacques Ferber, Les systèmes multi-agents. Vers une intelligence collective (1995), englisch: Multi-Agent Systems. An Introduction to Distributed Artificial Intelligence (1999); Jacques Ferber, Olivier Gutknecht, A meta-model for the analysis and design of organizations in multi-agent systems, ICMAS 1998; Serge Moscovici, Social Influence and Social Change (1976); Thomas Schelling, Micromotives and Macrobehavior (1978); Robert Axelrod, The Evolution of Cooperation (1984).
