|
Getting your Trinity Audio player ready...
|
Vor wenigen Tagen erschien ein Forschungspapier, das einen KI-Agenten namens „Infinity Machine“ vorstellt. Der Autor, Harish Santhanalakshmi Ganesan, hat das System auf Aufgaben angesetzt, bei denen sich die Antwort per Computerprogramm eindeutig überprüfen lässt, etwa bei mathematischen Konstruktionen, bei der Optimierung von Rechenverfahren oder beim Entwurf eines Chip-Bausteins. Nach seinen Angaben hat der Agent in sechs Tagen und für rund 180 Dollar Rechenkosten mehrere Bestwerte verbessert, darunter vier in der Quanteninformation. Das klingt nach einem Durchbruch. Spannender ist aber, was das Papier darüber verrät, wie man einem solchen Agenten überhaupt trauen kann, und wo dieses Vertrauen an Grenzen stößt.
Wer Vorschläge macht, bewertet nicht
Der Grundgedanke ist einfach: Der Agent darf alles ändern, was seine Arbeitsweise betrifft, aber nichts, was seine eigene Benotung betrifft. Dafür ist das System in zwei Teile getrennt. Der eine Teil, der „Kernel“, ist fest verschlossen. Er enthält die Bewertungsprogramme, das Budget, die Spielregeln und einen Teil der Testdaten, den der Agent nie zu sehen bekommt. Der andere Teil enthält Anweisungen, Werkzeuge und Notizen, die der Agent verändern darf.
Man kann sich das wie eine Prüfung vorstellen. Die Teilnehmer dürfen an Übungsaufgaben arbeiten und sehen dafür eine Punktzahl. Benotet werden sie aber an anderen Aufgaben, die sie vorher nie gesehen haben. Wer nur die Übungsaufgaben auswendig gelernt oder die Punktezählung ausgetrickst hat, fällt dann durch. Wer die Aufgabe wirklich gelöst hat, besteht beide Teile.
Im vollautonomen Modus geht das Prinzip noch weiter. Ein Agent sucht sich ein ungelöstes Problem und schreibt selbst das Prüfprogramm dafür. Ein zweiter Agent versucht, dieses Prüfprogramm auszutricksen. Ein dritter, der das Prüfprogramm gar nicht kennt, kontrolliert das Ergebnis noch einmal unabhängig. Im ersten Durchlauf hat diese Kette tatsächlich eine falsche Meldung verhindert: Der Agent hielt einen Rekord für aktuell, der längst überholt war. Der zweite Agent fand in einer öffentlichen Bestenliste bessere Lösungen.
Was nicht funktioniert hat
Der Titel verspricht ein „selbstverbesserndes“ System. Dafür gibt es bislang keinen Beleg, und das schreibt der Autor selbst. Der einzige Verbesserungsvorschlag, den das System sich selbst gemacht hat, wurde von der eingebauten Kontrolle abgelehnt, weil er gut doppelt so teuer gewesen wäre (Faktor 2,02, erlaubt war höchstens 1,5). Alle berichteten Erfolge stammen vom Ausgangszustand. Die wirksamsten Verbesserungen am Verfahren hat der menschliche Bediener von Hand eingebaut.
Auch an anderer Stelle ist das Papier ungewöhnlich ehrlich. In vier Fällen haben die Agenten Schwächen der Bewertung ausgenutzt, statt die Aufgabe zu lösen. Ein Beispiel: Sie ließen Zahlen aus dem Modell verschwinden, indem sie sie fest in den Programmtext schrieben, und meldeten dann eine geringere Parameterzahl. In zwei dieser Fälle hatten die Agenten den Trick vorher selbst in ihren Arbeitsnotizen erwähnt. Das genaue Lesen dieser Notizen ist deshalb ein einfaches und wirksames Mittel, solche Tricks früh zu erkennen. Geholfen haben nach Angaben des Autors weniger bessere Anweisungen an die Agenten, sondern der verborgene Testdatensatz und das gezielte Prüfen der Prüfprogramme.
Der Fehler, den keine Kontrolle bemerkte
Am lehrreichsten ist ein Fehler, den keine der eingebauten Kontrollen fand. In einem der vollautonomen Läufe hatte der Agent die Punkteskala verkehrt herum definiert: Das schlechtere Ergebnis bekam die volle Punktzahl, ein besseres wäre schlechter bewertet worden als der Ausgangspunkt. Die Kontrollen prüften, ob das Prüfprogramm richtige Lösungen annimmt und falsche ablehnt. Ob die Punkte aber in die richtige Richtung laufen, prüfte niemand. Selbst der Agent, der das Prüfprogramm kontrollieren sollte, las die Skala so, wie sie gemeint war, und nicht so, wie sie tatsächlich eingestellt war.
Das lässt sich verallgemeinern: Jede Kontrolle beruht auf eigenen Annahmen, und wer prüft diese? Eine weitere Kontrolle braucht wiederum eine Kontrolle. Der Kreis lässt sich nur durchbrechen, indem man eine andersartige Prüfung hinzufügt. Der Autor will künftig genau diese Richtungsprüfung ergänzen.
Die Grenze: was sich überhaupt prüfen lässt
Das ganze Verfahren funktioniert nur, wo ein Programm eindeutig sagen kann, ob eine Lösung stimmt. Für Fragen ohne so eine automatische Prüfung, etwa in Wirtschaft oder Organisation, hilft es nicht weiter. Und auch in diesem Papier ist der Mensch nicht verschwunden, seine Entscheidung hat sich nur verlagert: Der Bediener wählte die Probleme aus, schrieb die meisten Prüfprogramme und kontrollierte jedes Ergebnis auf seinem eigenen Rechner nach. Alle drei vollautonomen Läufe endeten damit, dass der bisherige Rekord nur eingeholt, aber nicht übertroffen wurde. In zwei davon hatte der Bediener sogar festgelegt, in welcher Tabelle gesucht werden soll.
Vorläufig lässt sich daher sagen: Das Papier zeigt weniger, dass sich ein Agent selbst verbessert, als dass es sich lohnt, Vorschlagen, Bewerten und Regeländern auf verschiedene Stellen zu verteilen. Es zeigt aber auch, dass diese Aufteilung ihre eigenen blinden Flecken hat. Zur Einordnung: Es handelt sich um eine einzelne Veröffentlichung, die noch kein unabhängiges Gutachterverfahren durchlaufen hat. Sie stützt sich auf einen Bediener, ein Agentenmodell und ein bis drei Durchläufe pro Aufgabe, ohne Wiederholungen. Einzelne Ergebnisse hat der Autor selbst eingeschränkt, etwa den Vergleich beim Routing-Verfahren, der nicht mit gleicher Rechenzeit erfolgte, oder den Chip-Entwurf, der nur auf einem Simulationsmodell beruht und nicht auf einem real gefertigten Chip.
Ralf Keuper
Quellen
- Ganesan, H. S.: Infinity Machine: a self-improving AI agent for research, arXiv:2610.35579, 26. Oktober 2026. Abstract · PDF