Chain-of-Experts für eine effizientere Modellarchitektur

Unternehmen set­zen zunehmend auf große Sprach­mod­elle (LLMs), um fort­geschrit­tene Dien­stleis­tun­gen anzu­bi­eten, haben jedoch Schwierigkeit­en, die hohen Rechenkosten für den Betrieb dieser Mod­elle zu bewälti­gen. Ein neuer Ansatz namens “Chain-of-Experts” (CoE) zielt darauf ab, LLMs ressourcenscho­nen­der zu gestal­ten und gle­ichzeit­ig die Genauigkeit bei logis­chen Auf­gaben zu erhöhen¹Chain-of-experts (CoE): A low­er-cost LLM frame­work that increas­es effi­cien­cy and accu­ra­cy.

Das CoE-Frame­work aktiviert „Experten“ – sep­a­rate Mod­el­lele­mente, die auf bes­timmte Auf­gaben spezial­isiert sind – sequen­ziell statt par­al­lel. Diese Struk­tur ermöglicht es den Experten, Zwis­chen­re­sul­tate auszu­tauschen und aufeinan­der aufzubauen.

Im Konzept von Chain-of-Experts (CoE) spielt das Mix­ture of Experts (MoE) — Mod­ell eine wichtige Rolle als Aus­gangspunkt, da CoE viele der Her­aus­forderun­gen adressiert, die bei der Ver­wen­dung von MoE auftreten.

Rolle von MoE im CoE-Konzept

1. Basis­ar­chitek­tur: MoE bietet eine Struk­tur, in der Experten spezial­isiert sind und nur ein Teil der Gesamt­pa­ra­me­ter während der Inferenz aktiviert wird. Diese Effizienz wird in CoE weit­er opti­miert.
2. Her­aus­forderun­gen: MoE hat einige Ein­schränkun­gen, wie die unab­hängige Arbeitsweise der Experten und hohe Spe­ich­ersparsamkeit, was die Leis­tung bei kon­textab­hängi­gen Auf­gaben beein­trächti­gen kann. CoE zielt darauf ab, diese Prob­leme zu über­winden.
3. Sequen­zielle Aktivierung: Während MoE Experten par­al­lel aktiviert, nutzt CoE eine sequen­zielle Aktivierung. Dadurch kön­nen Experten miteinan­der kom­mu­nizieren und auf vorherige Erken­nt­nisse auf­bauen, was die Genauigkeit und Effizienz erhöht.
4. Verbesserte Leis­tung: CoE demon­stri­ert, dass durch die Kom­bi­na­tion der Vorteile von MoE mit ein­er besseren Kom­mu­nika­tion­sstruk­tur zwis­chen den Experten die Gesamtleis­tung des Mod­ells sig­nifikant gesteigert wer­den kann.

Dies verbessert die Kon­textsen­si­tiv­ität und die Fähigkeit, kom­plexe logis­che Auf­gaben zu bear­beit­en. Tests zeigen, dass CoE mit gle­ichen Rechen­res­sourcen leis­tungs­fähiger ist als dichte LLMs und MoEs. Außer­dem reduziert es die Spe­icher­an­forderun­gen.

Die Forsch­er beto­nen, dass CoE eine effizien­tere Model­lar­chitek­tur ermöglicht und sig­nifikante Leis­tungsverbesserun­gen bei gerin­geren Kosten bietet. Diese Entwick­lun­gen kön­nten fortschrit­tliche KI für Unternehmen zugänglich­er und nach­haltiger machen.