Putting AI agents through their paces on general tasks

Kür­zlich auf den Markt gebrachte „Agen­ten“ mit kün­stlich­er Intel­li­genz (KI) kön­nen Com­put­er nutzen, indem sie die Kon­trolle über Tas­tatur und Maus übernehmen. Diese KI-Agen­ten kön­nen einen Com­put­er genau­so bedi­enen wie ein Men­sch und kön­nen Anweisun­gen in englis­ch­er Sprache emp­fan­gen. Es wird erwartet, dass diese KI-Agen­ten bis Ende 2025 alltäglich wer­den und die Art und Weise, wie wir arbeit­en und das Inter­net nutzen, verän­dern wer­den. Wir haben diese KI-Agen­ten auf die all­ge­meinen Fähigkeit­en geprüft, die zum Spie­len von Spie­len wie Wor­dle erforder­lich sind: Erken­nen, wenn Kacheln die Farbe wech­seln, Nutzung von Feed­back, um zu fundierten Ver­mu­tun­gen zu gelan­gen, und Eingabe dieser Ver­mu­tun­gen mit Hil­fe der Com­put­er­tas­tatur und Maus.

Beitrag

Eine Schlüs­sel­frage in Bezug auf die Rolle von KI-Agen­ten ist, ob sie die men­schlichen Fähigkeit­en verbessern, indem sie als „Co-Piloten“ dienen, oder ob sie gut genug sind, um zu autonomen Werkzeu­gen zu wer­den, die die men­schlichen Bedi­ener erset­zen kön­nen. Unser Test soll Licht in diese Frage brin­gen. KI-Agen­ten zeigen beein­druck­ende Fähigkeit­en bei eng definierten Auf­gaben wie stan­dar­d­isierten Tests in Math­e­matik, Medi­zin und Recht sowie anderen Tests, für die sie trainiert wer­den kön­nen. Für all­ge­meine Auf­gaben in der realen Welt ist jedoch mehr erforder­lich. Um reale Auf­gaben zu bewälti­gen, müssen KI-Agen­ten viele zusam­men­hän­gende Auf­gaben lösen, kom­plexe Sit­u­a­tio­nen ver­ste­hen, mit Unstim­migkeit­en umge­hen und vor allem in der Lage sein, sich selb­st zu bew­erten, zu exper­i­men­tieren und automa­tisch zu kor­rigieren. Wir haben KI-Agen­ten gebeten, mit Tas­tatur und Maus Spiele wie Wor­dle zu spie­len, um her­auszufind­en, wie sie sich im Ver­gle­ich zu Men­schen schla­gen.

Ergeb­nisse

Wir haben fest­gestellt, dass KI-Agen­ten in den wichtig­sten Aspek­ten unzure­ichend sind. Sie sind beein­druck­end bei eng umris­se­nen Auf­gaben. Aber es fehlt ihnen an Selb­sterken­nt­nis, um zu wis­sen, wann sie etwas falsch gemacht haben und ihren Kurs im Lichte der Beweise zu ändern, und es fehlt ihnen die Fähigkeit, auf opti­male Weise zu exper­i­men­tieren, um ihre Unwis­senheit zu beheben. Bei eini­gen sich wieder­holen­den Auf­gaben machen sie zu viele Fehler, was den Fortschritt bei der Lösung des Gesamt­prob­lems ver­langsamt. Auch Men­schen machen solche Fehler, aber sie sind in der Lage, sich von diesen Fehlern zu erholen. Im Gegen­satz dazu bleiben KI-Agen­ten steck­en, weil sie nicht exper­i­men­tieren und aus ihren Fehlern ler­nen kön­nen. Auch wenn kün­ftige Gen­er­a­tio­nen von KI-Agen­ten diese Män­gel über­winden kön­nen, wer­den KI-Agen­ten in naher Zukun­ft wahrschein­lich eher als Co-Piloten einge­set­zt, die die Arbeit men­schlich­er Bedi­ener ergänzen, als als autonome Agen­ten, die men­schliche Arbeit­skräfte ver­drän­gen.

Quelle: Putting AI agents through their paces on gen­er­al tasks