Less is More: Komplexe Denkaufgaben ohne große Datensätze erlernen

Laut ein­er neuen Studie der Shang­hai Jiao Tong Uni­ver­si­ty kön­nen große Sprach­mod­elle (LLMs) kom­plexe Denkauf­gaben ohne große Daten­sätze erler­nen. Die Forsch­er zeigen, dass man mit ein­er kleinen Anzahl gut kuratiert­er Beispiele LLMs für Auf­gaben trainieren kann, für die zuvor zehn­tausende Train­ingsin­stanzen erforder­lich waren.  Dieses Prinzip wird als „Less is More“ (LIMO) beze­ich­net¹LIMO: Less is More for Rea­son­ing²Researchers find you don’t need a ton of data to train LLMs for rea­son­ing tasks.

Die Studie demon­stri­erte, dass ein LLM, das auf einem LIMO-Daten­satz mit eini­gen Hun­dert Beispie­len für math­e­ma­tis­che Denkauf­gaben trainiert wurde, eine hohe Erfol­gsquote erzielte. Beispiel­sweise erre­ichte das Mod­ell Qwen2.5–32B-Instruct mit 817 Beispie­len 57,1 % Genauigkeit beim AIME-Bench­mark und 94,8 % beim MATH-Bench­mark, was bess­er war als Mod­elle, die mit deut­lich mehr Beispie­len trainiert wur­den.

Die Forsch­er iden­ti­fizierten zwei Haupt­gründe, warum LLMs mit weniger Beispie­len kom­plexe Denkauf­gaben erler­nen kön­nen: Erstens haben mod­erne LLMs während der Vor­train­ing-Phase umfan­gre­iche math­e­ma­tis­che Inhalte und Code ver­ar­beit­et, was ihnen bere­its viel Wis­sen ver­lei­ht. Zweit­ens verbessern neue Nach­train­ingsmeth­o­d­en die Fähigkeit der Mod­elle, ihre vor­trainierten Ken­nt­nisse anzuwen­den, indem sie län­gere Denkprozesse zulassen.

Die Erken­nt­nisse haben weitre­ichende Imp­lika­tio­nen für den Ein­satz von KI in Unternehmen, da sie zeigen, dass auch anspruchsvolle Denk­fähigkeit­en mit min­i­malen, aber sorgfältig aus­gewählten Train­ing­sproben aktiviert wer­den kön­nen. Die Forsch­er pla­nen, das Konzept auf andere Bere­iche und Anwen­dun­gen auszuweit­en.