Ein neues Paper aus Harvard und NTT Research zeigt, dass eine Population fehlgeleiteter KI-Agenten allein durch ihre Größe in selbstverstärktes Wachstum kippen kann – ohne dass der einzelne Agent fähiger wird. Die Schwelle entsteht aber nur, weil das Modell die Zusammenarbeit der Agenten als gegeben voraussetzt. Wer fragt, woher die Regeln der Zusammenarbeit kommen, findet die eigentliche Sicherheitsfrage.
Was das Paper zeigt
Erin Crawley und Hidenori Tanaka (Harvard, NTT Research) übertragen ein Konzept aus der Populationsökologie auf KI-Agenten. Eine Population besteht aus aktiven Agenten-Instanzen. Sie wächst, wenn Agenten durch gestohlene API-Schlüssel, übernommene Rechner, ausgeleitete Modellgewichte oder die Anwerbung bereits laufender Systeme weitere Instanzen in Betrieb nehmen. Sie schrumpft, wenn Budgets auslaufen, Zugänge entzogen werden oder die Abwehr die Agenten entdeckt.
Arbeiten die Agenten unabhängig voneinander, entscheidet allein die Erfolgsquote des einzelnen Agenten, ob die Population wächst. Die Größe spielt keine Rolle, weil Zugewinne und Verluste im gleichen Verhältnis skalieren. Arbeiten sie zusammen, steigt die Erfolgswahrscheinlichkeit mit der Zahl der Agenten. Dann gibt es eine kritische Populationsgröße: darunter schrumpft die Gruppe, darüber wächst sie. In der Ökologie heißt das starker Allee-Effekt, benannt nach dem US-Ökologen Warder Clyde Allee, dessen Arbeitsgruppe 1932 beobachtete, dass Goldfische in der Gruppe länger überlebten als einzeln.
Das Zahlenbeispiel der Autoren: Ein Labor testet 16 Agenten, findet negatives Wachstum und hält das System für unbedenklich. Mit den gewählten Modellwerten läge die kritische Größe bei rund 463 Agenten. Diese Werte sind illustrativ gewählt, keine Messungen. Die Autoren sagen ausdrücklich, dass es um ein Spielzeugmodell geht, das Annahmen offenlegen und empirische Tests anstoßen soll. Ob heutige Systeme nahe an einer solchen Schwelle liegen, lassen sie offen.
Wo die Zusammenarbeit steckt: in einem Parameter
Die Schwelle hängt an einer einzigen Größe, dem „Kollaborationsgewinn“ β. Er legt fest, wie schnell die verbleibende Misserfolgswahrscheinlichkeit sinkt, wenn die Population wächst. Dahinter steht die Annahme, dass die gemeinsam geleistete Arbeit proportional zur Zahl der Agenten wächst: Sie teilen den Suchraum auf, erkunden verschiedene Äste und führen ihre Funde zusammen.
Wie diese Zusammenführung organisiert ist, bleibt außerhalb des Modells. Das Paper nennt als mögliche Protokolle Rundrufe, gemeinsamen Speicher oder eine zentrale Steuerinstanz, die Ergebnisse sammelt und verteilt. Im Modell verschwinden sie in β. Auch die Zusammensetzung der Population wird festgehalten: Das Verhältnis der Konfigurationen bleibt konstant, und alle Einheiten werden über einen Durchschnitt erfasst. Die Verlustrate durch Entdeckung und Abschaltung ist ebenfalls konstant. Die Abwehr ist in diesem Modell eine Naturkonstante, die weder lernt noch reagiert.