GEPA: Neuartige Optimierungsmethode für effizientere und kostengünstigere KI-Systeme

Forsch­er der Uni­ver­si­ty of Cal­i­for­nia, Berke­ley, Stan­ford Uni­ver­si­ty und Data­bricks haben mit GEPA (Genet­ic-Pare­to) eine neue Meth­ode zur Opti­mierung von großen Sprach­mod­ellen (LLMs) entwick­elt, die tra­di­tionelle Ver­stärkungslern­meth­o­d­en (RL) deut­lich über­trifft. GEPA erset­zt das übliche Tri­al-and-Error-Ver­fahren durch die Nutzung der Sprachver­ständ­nis­fähigkeit­en von LLMs, um Fehler zu analysieren und Anweisun­gen iter­a­tiv zu verbessern¹GEPA opti­mizes LLMs with­out cost­ly rein­force­ment learn­ing.

Wichtige Vorteile von GEPA:

• Effizienz: Bis zu 35-mal weniger Testläufe im Ver­gle­ich zu RL, bei gle­ichzeit­ig besser­er Genauigkeit.
• Kostenre­duk­tion: Reduzierung der Opti­mierungskosten um das 15-fache (z. B. $20 statt $300 GPU-Kosten).
• Schnellere Entwick­lung: Opti­mierungszeit wird um das 8‑fache verkürzt.

Wie GEPA funk­tion­iert:

• Genetis­che Prompt-Evo­lu­tion: Prompts wer­den als “Gen­pool” behan­delt und durch intel­li­gente Muta­tion verbessert.
• Sprach­basierte Reflex­ion: Das Mod­ell analysiert Feed­back in natür­lich­er Sprache (z. B. Fehler­mel­dun­gen) und gener­iert opti­mierte Prompts.
• Pare­to-basierte Selek­tion: Statt nur den besten Prompt zu wählen, wird eine diverse Auswahl an spezial­isierten Prompts erhal­ten, um opti­male Lösun­gen zu find­en.

Stärken gegenüber RL:

• Ver­wen­det reich­haltiges sprach­lich­es Feed­back anstatt ein­fach­er numerisch­er Beloh­nun­gen.
• Reduziert den “Gen­er­al­iza­tion Gap”, was zu robus­teren und anpas­sungs­fähigeren Sys­te­men führt.
• Kürzere Prompts reduzieren Latenz und Kosten in der Pro­duk­tion.

Prak­tis­che Anwen­dun­gen:

• Automa­tis­che Opti­mierung: GEPA kann in CI/CD-Pipelines inte­gri­ert wer­den, um kon­tinuier­lich opti­mierte Lösun­gen zu gener­ieren.
• Bre­it­ere Zugänglichkeit: End­nutzer ohne RL-Ken­nt­nisse kön­nen kom­plexe KI-Sys­teme effizient opti­mieren.

Ergeb­nisse:

GEPA erzielte in Tests bis zu 19% höhere Leis­tung, reduzierte Entwick­lungszeit­en erhe­blich und machte KI-Sys­teme zuver­läs­siger und kosten­ef­fizien­ter. Dies ist ein entschei­den­der Schritt hin zu nach­halti­gen und benutzer­fre­undlicheren KI-Entwick­lungsan­sätzen.