Effizienz schlägt Intelligenz: Warum Open-Source-KI-Modelle teuer werden können

Eine neue Studie von Nous Research zeigt, dass Open-Source-KI-Mod­elle erhe­blich mehr Rechen­res­sourcen ver­brauchen als geschlossene Mod­elle wie die von Ope­nAI oder Anthrop­ic¹That ‘cheap’ open-source AI mod­el is actu­al­ly burn­ing through your com­pute bud­get.

Die zen­tralen Ergeb­nisse:

1. Token-Ver­brauch: Open-Source-Mod­elle benöti­gen 1,5 bis 4 Mal mehr Tokens, bei ein­fachen Wis­sens­fra­gen sog­ar bis zu 10 Mal mehr. Dies macht sie trotz niedriger­er Kosten pro Token in der Gesamt­be­tra­ch­tung oft teur­er.
2. Effizien­zun­ter­schiede: Geschlossene Mod­elle wie OpenAI’s o4-mini und gpt-oss sind beson­ders effizient, ins­beson­dere bei math­e­ma­tis­chen Prob­le­men. Open-Source-Optio­nen wie Nvidia’s llama‑3.3‑nemotron-super-49b-v1 zeigen jedoch auch Poten­zial.
3. Architek­turentschei­dun­gen: Geschlossene Mod­elle wur­den stärk­er auf Token-Effizienz opti­miert, während Open-Source-Mod­elle oft mehr Rechen­leis­tung für bessere Rea­son­ing-Fähigkeit­en investieren.
4. Rel­e­vanz für Unternehmen: Die Total Cost of Own­er­ship (TCO) für KI-Mod­elle hängt stark von ihrer Token-Effizienz ab. Unternehmen, die nur auf Genauigkeit und API-Preise schauen, kön­nten die tat­säch­lichen Nutzungskosten unter­schätzen.

Imp­lika­tio­nen

• Token-Effizienz sollte neben Genauigkeit ein zen­traler Opti­mierungs­fak­tor für zukün­ftige Mod­elle sein.
• Unternehmen müssen ihre KI-Strate­gien über­denken, um die Skalier­barkeit und Wirtschaftlichkeit sicherzustellen.
• Geschlossene Anbi­eter set­zen zunehmend auf kom­prim­ierte Rea­son­ing-Traces, während Open-Source-Mod­elle oft voll­ständi­ge Berech­nungss­chritte zeigen.

Die Studie hebt her­vor, dass Effizienz in der KI-Entwick­lung entschei­dend wird, da steigende Rechenkosten inef­fiziente Mod­elle langfristig untrag­bar machen kön­nten.