Alibaba hat eine neue Version ihres Qwen-Sprachmodells namens Qwen with Questions (QwQ) veröffentlicht. Es handelt sich um ein großes Reasoning-Modell (LRM) mit 32 Milliarden Parametern und einem Kontext von 32.000 Token. QwQ verwendet zusätzliche Rechenzyklen während der Inferenz, um seine Antworten zu überprüfen und Fehler zu korrigieren, was es besonders geeignet für Aufgaben macht, die logisches Denken und Planung erfordern, wie Mathematik und Programmierung.
Laut Alibabas Tests übertrifft QwQ OpenAIs o1-preview-Modell bei den AIME- und MATH-Benchmarks für mathematisches Problemlösen sowie o1-mini beim GPQA-Benchmark für wissenschaftliches Denken. Bei den LiveCodeBench-Coding-Benchmarks ist QwQ o1 unterlegen, übertrifft aber andere führende Modelle wie GPT-4o und Claude 3.5 Sonnet.
QwQ wurde unter der Apache 2.0-Lizenz veröffentlicht, was bedeutet, dass es für kommerzielle Zwecke genutzt werden kann. Dies ist ein wichtiger Unterschied zu einigen anderen Qwen-Modellen, bei denen für die kommerzielle Nutzung besondere Vereinbarungen erforderlich sind.
Alibaba betont, dass der Prozess des sorgfältigen Nachdenkens und Selbsthinterfragens zu bemerkenswerten Durchbrüchen bei der Lösung komplexer Probleme führt. Dies ähnelt der Funktionsweise anderer Reasoning-Modelle, die durch die Generierung zusätzlicher Token und die Überprüfung vorheriger Antworten potenzielle Fehler korrigieren können.
Trotz seiner Fähigkeiten hat QwQ noch Einschränkungen, wie das Vermischen von Sprachen oder das Festfahren in zirkulären Denkschleifen. Das Modell ist auf Hugging Face zum Download verfügbar, und eine Online-Demo kann auf Hugging Face Spaces gefunden werden.
Die Veröffentlichung von QwQ und ähnlichen Modellen zeigt ein wachsendes Interesse an der Entwicklung von Large Reasoning Models (LRMs), die eine Alternative zur einfachen Skalierung von Modellen bieten und möglicherweise den nächsten Durchbruch in der Verbesserung der Fähigkeiten von KI-Modellen darstellen könnten.
Quelle:
Alibaba releases Qwen with Questions, an open reasoning model that beats o1-preview
Alibaba releases an ‘open’ challenger to OpenAI’s o1 reasoning model
Kommentar hinzufügen
Kommentare