Eine Übersicht über LLM-basierte Reasoning-Strategien

Große Sprach­mod­elle (Large Lan­guage Mod­els, LLMs) sind äußerst kom­pe­tent bei sprach­basierten Auf­gaben. Ihre sprach­lichen Fähigkeit­en haben sie an die Spitze des zukün­fti­gen AGI-Ren­nens (Arti­fi­cial Gen­er­al Intel­li­gence) gebracht. Bei näher­er Betra­ch­tung zeigen Valmeekam et al. (2024); Zecˇe­vic ́ et al. (2023); Wu et al. (2024) jedoch eine erhe­bliche Lücke zwis­chen ihren Sprachken­nt­nis­sen und ihren Schlussfol­gerungs­fähigkeit­en. Rea­son­ing in LLMs und Vi- sion Lan­guage Mod­els (VLMs) zielt darauf ab, diese Lücke zu schließen, indem diese Mod­elle in die Lage ver­set­zt wer­den, zu denken und ihre Aktio­nen und Reak­tio­nen neu zu bew­erten. Reagieren ist eine wesentliche Fähigkeit zur Lösung kom­plex­er Prob­leme und ein notwendi­ger Schritt zur Schaf­fung von Ver­trauen in die Kün­stliche Intel­li­genz (KI). Dadurch wird die KI für den Ein­satz in sen­si­blen Bere­ichen wie Gesund­heitswe­sen, Bankwe­sen, Recht, Vertei­di­gung, Sicher­heit usw. geeignet. In jüng­ster Zeit, mit dem Aufkom­men leis­tungs­fähiger Argu­men­ta­tion­s­mod­elle wie Ope­nAI O1 und DeepSeek R1, ist die Entwick­lung von Argu­menten zu einem wichti­gen Forschungs­the­ma in LLMs gewor­den. In diesem Beitrag geben wir einen detail­lierten Überblick und Ver­gle­ich beste­hen­der Rea­son­ing-Tech­niken und präsen­tieren eine sys­tem­a­tis­che Über­sicht über Rea­son­ing-gestützte Sprach­mod­elle. Wir unter­suchen auch aktuelle Her­aus­forderun­gen und stellen unsere Ergeb­nisse vor.

Quelle: Think­ing Machines: A Sur­vey of LLM based Rea­son­ing Strate­gies