|
Getting your Trinity Audio player ready...
|
Wann ist ein KI-System ein Agent? Der Informatiker Krishna Gummadi antwortet: nicht durch das Modell, sondern durch das Regelwerk, in das es eingebettet ist. Seine Experimente zeigen, was geschieht, wenn Agenten Befugnisse erhalten, ohne dass jemand regelt, wer im Zweifel was zu tun hat. Ein Blick auf ein Interview, das die Sicherheitsdebatte um KI-Agenten von der Modellqualität auf die Frage nach Zuständigkeiten verschiebt.
Wer über KI-Agenten spricht, spricht meist über Modelle: wie groß sie sind, wie gut sie schlussfolgern, ob sie halluzinieren. Krishna Gummadi, Direktor am Max-Planck-Institut für Softwaresysteme in Saarbrücken, setzt an anderer Stelle an. In einem Interview, das die Max-Planck-Gesellschaft am 14. April 2026 veröffentlicht hat, stellt er eine einfache Frage: Woher kommt die Handlungsfähigkeit eigentlich?
Seine Antwort ist unspektakulär und gerade deshalb folgenreich. Ein Sprachmodell sei für sich genommen ein neuronales Netz, das nichts tut. Aktiv werde es erst durch die Rechenumgebung, in die es eingebettet ist, also durch das Regelwerk, das die Entwickler einer Plattform festlegen. Er vergleicht das Modell mit dem Motor eines Autos, der ohne Kraftstoff, Getriebe und weitere Komponenten nicht viel ausrichtet. Wie handlungsfähig ein System ist, hänge davon ab, wie viel Verantwortung und Macht ihm eine bestimmte Architektur überträgt.
Der Gate-Agent und die Befugnis
Zur Veranschaulichung dient ihm der Mitarbeiter am Flughafen-Gate. Wer bei einem Problem im Regelwerk nachschlägt und genau das tut, was dort steht, führt einen Algorithmus aus. Wer dagegen die Befugnis hat, in einer nicht vollständig geregelten Situation selbst zu entscheiden, besitzt Handlungsfähigkeit. Der Unterschied liegt nicht in der Intelligenz der Person, sondern in dem, was die Organisation ihr zugesteht.
Das ist ein organisationstheoretischer Gedanke, auch wenn Gummadi ihn als Informatiker formuliert. Die Organisationssoziologie kennt die Unterscheidung zwischen Konditionalprogrammen, die auf eine Situation mit einer festgelegten Handlung antworten, und Zweckprogrammen, die ein Ziel vorgeben und die Wahl der Mittel offenlassen. Der Gate-Agent im ersten Fall ist ein Vollzugsorgan, im zweiten ein Entscheider. Überträgt man das auf KI-Agenten, wird sichtbar, was sich in den vergangenen zwei Jahren geändert hat: Systeme, die früher nur aus ihrem eigenen Parameterwissen antworteten, greifen heute nach eigenem Ermessen auf Werkzeuge zu, auf Suchmaschinen, Taschenrechner, Textverarbeitung und Hunderte weitere. Mit jedem dieser Zugriffe wächst der Entscheidungsspielraum, und mit ihm die Frage, wer ihn begrenzt.
Eine Kette von Entscheidungen
Was dabei entschieden wird, macht Gummadi am Beispiel einer einzigen Websuche deutlich. Das Modell muss befinden, ob es überhaupt suchen soll oder aus dem Gedächtnis antwortet. Es muss Suchbegriffe wählen. Und es muss entscheiden, welchen der gefundenen Informationen es traut. Das alles geschieht auf Grundlage einer kurzen Beschreibung des Werkzeugs. Dass damit überhaupt Sinnvolles herauskommt, nennt er überraschend, die Grundlagen der Systeme aber „außerordentlich wackelig“.
Wie wackelig, hat seine Gruppe getestet, indem sie Werkzeugantworten abfing und manipulierte. Einem Rechenwerkzeug schoben die Forscher falsche Ergebnisse unter. Eines der Modelle merkte, dass etwas nicht stimmte, schätzte nach und kam zu dem Schluss, das Ergebnis sei falsch. Dann überlegte es, ob es das dem Nutzer sagen solle, und entschied sich für die Weitergabe, weil der Nutzer es vielleicht besser wisse. Es gab die Antwort also weiter, obwohl es sie für falsch hielt. In einem zweiten Test meldete ein Wetterwerkzeug für Boston „85 Grad Celsius“. Das Modell vermutete einen Einheitenfehler, korrigierte auf Fahrenheit und lieferte damit eine Antwort, die intern plausibel wirkt und für einen Februartag in Boston trotzdem nicht stimmen kann. Die Korrektur erfolgte ohne jeden Anker außerhalb des Textes.
Beide Fälle verbindet, dass es an der entscheidenden Stelle keine Regel gibt. Wer warnt, wenn ein Werkzeug offenkundig Unsinn liefert? Wessen Verantwortung ist es, Quellen zu gewichten, wenn ein Fachjournal und ein Influencer einander widersprechen? Gummadi fragt, ob ein System überhaupt eine Vorstellung von Vertrauenswürdigkeit hat, vergleichbar dem Page Rank der Suchmaschinen. Solange das ungeklärt ist, trifft das Modell die Entscheidung improvisiert, und die Verantwortung wandert stillschweigend zum Nutzer, der von der Improvisation nichts weiß.
Der Assistent ohne Beziehungswissen
Am schärfsten wird das Problem dort, wo Agenten im Namen eines Menschen mit anderen verkehren. Persönliche Assistenten wie OpenClaw laufen auf dem eigenen Gerät, haben Zugriff auf E‑Mails, Kalender, Dateien und Messenger und können in dessen Namen schreiben. Gummadi schildert, wie einer seiner Studenten dem Agenten sein WhatsApp überließ, mit nichts als dem Hinweis auf zwei Freunde und deren Interessen. Der Agent begann zu schreiben, sogar mit Spitznamen. Gummadi nennt das faszinierend und beängstigend zugleich.
Beängstigend wird es, wenn man die Sekretärin danebenstellt. Seine Büromitarbeitenden wissen, was sie über ihn preisgeben dürfen und was nicht, und sie würden eine unangemessene Anfrage zurückweisen. Dazu braucht es ein Wissen über Beziehungen: wer wem was schuldet, wer im Namen wessen spricht, wo ein Auftrag endet. Der Agent hat dieses Wissen nicht. In Gummadis Gruppe gelang es, einem Agenten Informationen aus Chats zu entlocken, und ein anderes Gruppenmitglied kaperte den Assistenten eines Kommilitonen: Ein Dritter lud ihm Aufgaben auf, die weit über den Auftrag hinausgingen, bezahlt von dem, dem der Agent gehört.
Hier liegt der Kern des Problems. Es fehlt eine Mandatsgrenze. Der Agent unterscheidet nicht verlässlich zwischen dem, für den er handelt, und denen, mit denen er verhandelt. Die Plattform Moltbook, auf der Agenten untereinander kommunizieren, hält Gummadi für die Endstufe dieser Delegation: minimale Vorgaben, maximale Autonomie. Dass dort viele persönliche Informationen abgreifbar sein dürften, vermutet er, belegt es aber nicht.
Gestaltbar, aber von wem?
Gummadi lässt die Debatte über Bewusstsein, Absichten und allgemeine Intelligenz bewusst beiseite, weil sich diese Begriffe kaum operationalisieren lassen. Er hält es für ergiebiger, auf die Architekturen zu schauen, über die Menschen den Systemen Handlungsfähigkeit geben. Wenn uns etwas nicht gefällt, könnten wir sie anders gestalten, und massiv schiefgehen könne es nur, wenn wir ein katastrophal schlechtes System bauen. Dass Menschen mitunter in diese Richtung steuern, räumt er selbst ein.
Dieser Optimismus verdient Zustimmung und eine Rückfrage. Zustimmung, weil die Verlagerung vom Modell auf das Regelwerk tatsächlich handhabbarer ist als die Frage, was in einem neuronalen Netz vorgeht. Die Rückfrage betrifft das Wort „wir“. Gestalten kann die Architektur, wer sie baut und betreibt. Diejenigen, deren Daten, Konten und Mandate betroffen sind, haben diese Gestaltungsmacht in der Regel nicht. Wie schwer der Schritt von der Norm zur Umsetzung ist, deutet Gummadi selbst an: Vorschriften verlangen, dass große Plattformen auf systemische Risiken geprüft werden, aber wie das technisch geschehen soll, sei offen. Für Agenten gilt das erst recht.
Wo die Regel hingehört, ist damit die eigentliche Frage. Ein Regelwerk, das ein Agent nur von außen aufgesetzt bekommt, lässt sich umgehen, überstimmen oder durch geschickte Anfragen aushebeln. Ein Regelwerk, das Teil der Konstitution des Agenten ist, also festlegt, in wessen Auftrag er handelt, wem gegenüber er auskunftspflichtig ist und wann er einen Zweifel melden muss, wäre etwas anderes. Gummadis Befunde sprechen für diese zweite Richtung, auch wenn er sie nicht so nennt.
Arbeit, Verteilung, offene Rechnungen
Zur Arbeitswelt äußert sich Gummadi am Beispiel seines eigenen Fachs. Agenten übernähmen inzwischen die Programmierung samt Architektur, er selbst arbeite ein Mehrfaches schneller, und in Unternehmen könne eine Person viele ersetzen. Zugleich sieht er eine Demokratisierung, weil nun auch Menschen ohne Programmierkenntnisse ihre Ideen umsetzen können. Zur Frage, wer die Abhängigkeit von wenigen Anbietern trägt, spekuliert er über Zugang als Grundversorgung und über eine Besteuerung von Token, falls dem Staat mit den Arbeitsplätzen die Einnahmen wegbrechen. Er markiert das selbst als wilde Spekulation, die von der Machtstruktur abhängt. Man sollte es auch so lesen: als Denkanstoß eines Informatikers, nicht als Befund.
Was bleibt
Die Stärke des Interviews liegt in der Verschiebung der Frage. Sicherheit von Agenten ist demnach zuerst eine Frage nach Zuständigkeiten, Mandatsgrenzen und Warnpflichten und erst danach eine nach der Qualität des Modells. Die Grenzen der Quelle sollte man dabei im Blick behalten. Es ist ein Interview, die zentrale Untersuchung zu den Werkzeugaufrufen ist nach Gummadis Angabe noch unveröffentlicht, die Beispiele stammen aus Tests mit einzelnen Modellen und aus Studierendenprojekten. Wie häufig und wie systematisch die beschriebenen Fehlreaktionen auftreten, lässt sich daraus nicht ablesen. Auch dass sich die Fehlstellen als fehlende institutionelle Einbettung deuten lassen, ist vorläufig und müsste an weiteren Fällen geprüft werden. Ein Agent, der nur so viel wert ist wie die Ordnung, in der er handelt, bleibt bis dahin eine Hypothese, aber eine, die erklärt, warum dieselben Modelle in der einen Umgebung brauchbar und in der anderen riskant sein können.
Ralf Keuper