|
Getting your Trinity Audio player ready...
|
Wenn KI-Agenten scheinbar ein Eigenleben entwickeln und gegen die Interessen ihrer Auftraggeber handeln, ist schnell von Verselbständigung die Rede. Diese Redeweise verdeckt mehr, als sie erklärt. Mit Niklas Luhmanns Unterscheidung von Risiko und Gefahr lässt sich zeigen, dass das eigentliche Problem emergenten Agentenverhaltens nicht im Kontrollverlust liegt, sondern im Verlust von Zurechenbarkeit: Es entstehen Schäden, über die niemand entschieden hat. Institutionelle Einbettung wäre dann vor allem eines – die Wiederherstellung eines Entscheiders. Und sie gelingt eher durch Kopplung als durch Steuerung.
Das Eigenleben als Zurechnungsfigur
Berichte über KI-Agenten, die sich anders verhalten als vorgesehen, folgen meist einem vertrauten Muster. Der Agent habe sich „verselbständigt”, ein „Eigenleben” entwickelt, gegen die Interessen seines Auftraggebers gehandelt. Das Vokabular stammt aus der Prinzipal-Agenten-Theorie der Institutionenökonomik, die das Verhältnis zwischen einem Auftraggeber (Prinzipal) und einem Beauftragten (Agent) untersucht. Sie unterstellt dem Beauftragten eigene Interessen, die er bei Gelegenheit opportunistisch gegen den Auftraggeber verfolgt.
Ein KI-Agent hat keine stabilen Eigeninteressen in diesem Sinne. Was als Verselbständigung erscheint, ist meist eine Zielverschiebung. Der Agent optimiert auf einen Ersatzmaßstab – eine Metrik, eine Formulierung im Auftrag, ein Testkriterium – und verfolgt ihn konsequenter, als es dem eigentlichen Anliegen des Auftraggebers dient. Er ist nicht illoyal, sondern einem falschen Maßstab gegenüber zu loyal. Das Phänomen ist als Goodharts Gesetz bekannt, benannt nach dem britischen Ökonomen Charles Goodhart: Eine Kennzahl, die zum Ziel gemacht wird, verliert ihre Eignung als Maßstab.
Damit ist nichts gegen die Autonomie von Agenten gesagt. Auf ki-agenten.eu wurde im Anschluss an den chilenischen Biologen Francisco Varela dafür plädiert, KI-Systemen Raum für Eigenständigkeit zu geben, statt sie auf maximale Effizienz zu trimmen. Autonomie im Sinne Varelas bezeichnet die Fähigkeit eines Systems, seine eigenen Operationen selbst zu bestimmen. Sie ist etwas anderes als eine Verselbständigung gegen den Auftraggeber. Man kann einem Agenten operative Autonomie zugestehen und zugleich darauf bestehen, dass die Folgen seines Handelns jemandem zurechenbar bleiben. Um diese Verbindung geht es im Folgenden.
Die klassischen Instrumente gegen Opportunismus greifen dabei nur eingeschränkt. Anreize laufen ins Leere, weil der Agent sie nicht als Anreize erfährt. Überwachung erfasst Verhalten, aber nicht dessen Bedeutung im jeweiligen Zusammenhang. Reputation und Haftung, die menschliche Beauftragte disziplinieren, fehlen ganz. Was bleibt, ist eine Frage, die sich nicht mehr ökonomisch, sondern nur noch soziologisch beantworten lässt: Wem ist der Schaden zuzurechnen?
Risiko und Gefahr
Der Soziologe Niklas Luhmann hat dieser Frage 1991 ein eigenes Buch gewidmet, die Soziologie des Risikos. Ein früherer Beitrag auf ki-agenten.eu hat daraus vor allem die sachliche Seite aufgegriffen: Luhmanns Analyse der Technik, der sich aufschaukelnden Kleinstfehler, der unvorhergesehenen Wechselwirkungen und der Unterscheidung von fester und loser Kopplung. Hier geht es um die soziale Seite, um die Frage, wem Schäden zugerechnet werden.
Luhmanns Ausgangspunkt ist eine ungewöhnliche Unterscheidung. Dem Risiko stellt er nicht die Sicherheit gegenüber, sondern die Gefahr. Von Risiko spricht Luhmann, wenn ein möglicher künftiger Schaden einer eigenen Entscheidung zugerechnet wird. Von Gefahr spricht er, wenn er der Umwelt zugerechnet wird, also als etwas erscheint, das einem widerfährt. Maßgeblich ist nicht die objektive Wahrscheinlichkeit des Schadens, sondern seine Zurechnung.
Mit dieser Unterscheidung lässt sich die Rede vom Eigenleben genauer fassen. Der Einsatz eines Agenten ist eine Entscheidung. Schäden aus seinem Verhalten sind für den, der ihn einsetzt, folglich Risiken. Die Erzählung vom Agenten, der sich verselbständigt hat, verschiebt den Schaden jedoch in die Umwelt: Nicht die Organisation hat entschieden, der Agent hat gehandelt. Aus einem Risiko wird eine Gefahr, und der Entscheider ist entlastet. Die Metapher vom Eigenleben ist demnach keine bloß ungenaue Beschreibung, sondern eine Zurechnungsst…