Probleme mit minimalem Textaufwand lösen

Ein Team von Forsch­ern bei Zoom Com­mu­ni­ca­tions hat eine Tech­nik entwick­elt, die die Kosten und den Rechenaufwand für KI-Sys­teme zur Lösung kom­plex­er Prob­leme erhe­blich senken kön­nte. Die Meth­ode, genan­nt “Chain of Draft” (CoD), ermöglicht es großen Sprach­mod­ellen (LLMs), Prob­leme mit min­i­malem Tex­taufwand zu lösen — in eini­gen Fällen nur 7,6% der benötigten Worte im Ver­gle­ich zu bish­eri­gen Meth­o­d­en, während die Genauigkeit beibehal­ten oder sog­ar verbessert wird¹Chain of Draft: Think­ing Faster by Writ­ing Less.

CoD ori­en­tiert sich an der men­schlichen Prob­lem­lö­sung, bei der nur wesentliche Infor­ma­tio­nen notiert wer­den. Die Forsch­er haben die Meth­ode in ver­schiede­nen Bere­ichen getestet und sig­nifikante Verbesserun­gen in der Effizienz fest­gestellt. Beispiel­sweise reduzierte CoD bei sport­be­zo­ge­nen Fra­gen die durch­schnit­tliche Aus­gabe von 189,4 Tokens auf nur 14,3 Tokens, was eine Reduk­tion um 92,4% darstellt, während die Genauigkeit von 93,2% auf 97,3% anstieg.

.. Chain of Draft ermutigt LLMs, bei jedem Schritt präg­nante, dichte Infor­ma­tion­saus­gaben zu erzeu­gen. Dieser Ansatz reduziert die Latenzzeit und die Rechenkosten ohne Ein­bußen bei der Genauigkeit, wodurch LLMs für reale Anwen­dun­gen, bei denen Effizienz von größter Bedeu­tung ist, prak­tis­ch­er wer­den.
Die Intu­ition, die hin­ter Chain of Draft ste­ht, ist in der Art und Weise ver­wurzelt, wie Men­schen Gedanken exter­nal­isieren. Beim Lösen kom­plex­er Auf­gaben — sei es beim Lösen math­e­ma­tis­ch­er Prob­leme, beim Ver­fassen von Auf­sätzen oder beim Pro­gram­mieren — notieren wir uns oft nur die entschei­den­den Infor­ma­tio­nen, die uns weit­er­brin­gen. Indem wir dieses Ver­hal­ten nachah­men, kön­nen sich LLMs auf die Entwick­lung von Lösun­gen konzen­tri­eren, ohne den Over­head ein­er aus­führlichen Argu­men­ta­tion.

Für Unternehmen, die monatlich 1 Mil­lion Anfra­gen bear­beit­en, kön­nte CoD die Kosten von 3.800 USD auf 760 USD senken und somit über 3.000 USD pro Monat eins­paren. CoD kann ein­fach mit beste­hen­den Mod­ellen imple­men­tiert wer­den, ohne dass eine kost­spielige Mod­ell­neu­train­ing oder architek­tonis­che Änderun­gen erforder­lich sind. Dies macht die Tech­nik beson­ders wertvoll für zeitkri­tis­che Anwen­dun­gen wie Kun­denser­vice oder Finanz­di­en­stleis­tun­gen.

Die Forschung zeigt, dass Effizienz bei der KI-Entwick­lung immer wichtiger wird, während gle­ichzeit­ig der Zugang zu fortschrit­tlichen KI-Fähigkeit­en für kleinere Organ­i­sa­tio­nen erle­ichtert wer­den kön­nte. Die Forschungs­dat­en sind öffentlich auf GitHub ver­füg­bar, sodass Organ­i­sa­tio­nen die Meth­ode in ihren eige­nen KI-Sys­te­men testen kön­nen.

Anmerkung

Im Prinzip wird bei dem Ver­fahren das Entschei­dungsver­hal­ten der Men­schen nachge­bildet, das auf Faus­tregeln bzw. Heuris­tiken beruht. Wie u.a. Gerd Gigeren­z­er gezeigt hat, reichen in den meis­ten Entschei­dungssi­t­u­a­tio­nen einige wichtige trennscharfe Infor­ma­tio­nen aus, um zu ein­er vali­den Entschei­dung zu gelan­gen.