Microsoft hat ein Modell für künstliche Intelligenz, GRIN-MoE (Gradient-Informed Mixture-of-Experts), vorgestellt, das die Skalierbarkeit und Leistung bei komplexen Aufgaben wie Programmierung und Mathematik verbessern soll. Das Modell verspricht, Unternehmensanwendungen neu zu gestalten, indem es jeweils nur eine kleine Teilmenge seiner Parameter selektiv aktiviert, was es sowohl effizient als auch leistungsstark macht.
GRIN-MoE, das in dem Forschungspapier „GRIN: GRadient-INformed MoE“ beschrieben wird, verwendet einen neuartigen Ansatz für die Mixture-of-Experts-Architektur (MoE). Durch die Weiterleitung von Aufgaben an spezialisierte „Experten“ innerhalb des Modells erreicht GRIN eine spärliche Rechenleistung, so dass weniger Ressourcen benötigt werden und gleichzeitig eine hohe Leistung erzielt wird. Die Schlüsselinnovation des Modells liegt in der Verwendung von SparseMixer-v2 zur Schätzung des Gradienten für das Experten-Routing, einer Methode, die herkömmliche Verfahren erheblich verbessert.
Quelle: Microsoft’s GRIN-MoE AI model takes on coding and math, beating competitors in key benchmarks