Deep Cogito entwickelt selbstlernende Sprachmodelle: Fokus auf effiziente Schlussfolgerungen und Open-Source-Ansätze

Das KI-Start­up Deep Cog­i­to aus San Fran­cis­co, gegrün­det von ehe­ma­li­gen Google-Mitar­beit­ern, hat vier neue Open-Source-Sprach­mod­elle (Cog­i­to v2) veröf­fentlicht. Diese Mod­elle (70B bis 671B Para­me­ter) sind darauf aus­gelegt, eigen­ständig bessere und effizien­tere Schlussfol­gerun­gen zu entwick­eln. Ihre Train­ingsmethodik, genan­nt iterierte Dis­til­la­tion und Ampli­fika­tion (IDA), inte­gri­ert die Fähigkeit zur Reflex­ion direkt in das Mod­ell­train­ing, wodurch die Mod­elle über Zeit effek­tiv­er ler­nen.

Mod­elle und Architek­tur:

• Dense-Mod­elle (70B, 405B): Aktivieren alle Para­me­ter bei jedem Durch­gang, ide­al für Hard­ware mit begren­zten Ressourcen.
• MoE-Mod­elle (109B, 671B): Nutzen spezial­isierte Sub­net­zw­erke, ermöglichen größere Skalierun­gen bei gerin­geren Rechenkosten.
• 671B MoE-Mod­ell: Flag­gschiff-Mod­ell mit kürz­eren Schlussfol­gerungs­ket­ten (60% effizien­ter) und leis­tungsstarkem “Machine Intuition”-Ansatz.

Vorteile:

• Effizienz: Kürzere und präzis­ere Schlussfol­gerungsp­fade, gerin­gere Infra­struk­turkosten.
• Flex­i­bil­ität: Mod­elle kön­nen lokal oder via APIs (Togeth­er AI, Hug­ging Face, etc.) genutzt wer­den.
• Anwen­dungs­fälle: Math­e­matik, juris­tis­che Logik, mehrschrit­tige Schlussfol­gerun­gen und ambigue Fra­gen.

Leis­tung:

• Über­trifft Bench­marks wie DeepSeek R1 und Qwen1.5–72B in Auf­gaben zu Strate­gie, Logik und Mehrsprachigkeit.
• Nutzung effizien­ter Train­ingsmeth­o­d­en für Kosten unter $3,5 Mio.

Zukun­ft:

Deep Cog­i­to set­zt auf einen iter­a­tiv­en Entwick­lung­sprozess, um Mod­elle kon­tinuier­lich zu verbessern. Die Mod­elle sind voll­ständig Open Source und bieten Entwick­lern Anreize, neue Ansätze für KI-Intel­li­genz zu erforschen.

Das Unternehmen zielt darauf ab, KI-Mod­elle zu entwick­eln, die nicht nur bess­er denken, son­dern ihre Denkprozesse eigen­ständig opti­mieren kön­nen.