Vor wenigen Wochen sorgte der zweite jährliche Halluzinationsindex von Galileo für Aufsehen. Darin wurden 22 führende große Sprachmodelle hinsichtlich ihrer Tendenz, ungenaue Informationen zu generieren, bewertet. Zwar lagen die Closed-Source-Modelle insgesamt immer noch vorn, doch hatte sich der Abstand in nur acht Monaten deutlich verringert.
Claude 3.5 von Anthropic
Angeführt wurde der Index von Anthropic's Claude 3.5 als leistungsstärkstes Modell über alle Aufgaben hinweg. Damit zog es an den Angeboten von OpenAI vorbei, die bis dahin die Rangliste dominierten. Die Verschiebung wurde als Wachablösung im KI-Wettrüsten gedeutet, bei der neuere Marktteilnehmer die etablierten Marktführer herausfordern.
Qwen2-72B-Instruct von Alibaba
Unter den Open Source-Modellen schnitt Qwen2-72B-Instruct von Alibaba am besten ab und erzielte hohe Punktzahlen bei kurzen und mittellangen Eingaben; ein Beleg dafür, dass nicht-amerikanische Unternehmen bedeutende Fortschritte in der KI-Entwicklung machen und die Vorstellung von der amerikanischen Dominanz in diesem Bereich in Frage stellen.
Ein potenzieller Wendepunkt
Der Bericht kam zu dem Befund, dass Open-Source-Modelle besser und kostengünstiger werden. Unternehmen könnten damit leistungsstarke KI-Funktionen einsetzen, ohne auf teure proprietäre Dienste zurückgreifen zu müssen. Dies könnte zu einer weitreichenderen Integration von KI in allen Branchen führen, was die Produktivität und Innovation steigern könnte. Branchenexperten sehen in der Leistungssteigerung von Open Source KI-Modellen einen potenziellen Wendepunkt in der Geschichte der KI, vergleichbar mit den entscheidenden Momenten, die in der Vergangenheit technologische Revolutionen ausgelöst haben. Die Verfügbarkeit von Open-Source-Modellen auf hohem Niveau könne die KI-Entwicklung weltweit dramatisch beschleunigen und möglicherweise ganze Branchen umgestalten.
MINT-1T von Salesforce
Aufmerksamkeit zog auch MINT-1T von Salesforce auf sich. Dabei handelt es sich um einen Open-Source-Datensatz mit einer Billion Text-Token und 3,4 Milliarden Bildern. Der multimodale, verschachtelte Datensatz, der Text und Bilder in einem Format kombiniert, das reale Dokumente nachahmt, übertrifft bisherige öffentlich verfügbare Datensätze um das Zehnfache. Allein die schiere Größe von MINT-1T ist für die Weiterentwicklung des multimodalen Lernens von großer Bedeutung. Beim multimodalen Lernen geht es darum, dass Maschinen sowohl Text als auch Bilder gleichzeitig verstehen. Dank des Datensatzes haben kleine Labore und einzelne Forscher Zugang zu Daten, die mit denen großer Technologieunternehmen konkurrieren können.
LG Exaone 3.0
Fast zeitgleich präsentierte LG AI Research Exaone 3.0, Südkoreas erstes Open-Source-Modell für künstliche Intelligenz. Das 7,8-Milliarden-Parameter-Modell soll die KI-Forschung beschleunigen und zum Aufbau eines robusten KI-Ökosystems in Korea beitragen. Das Modell wurde mit 60 Millionen Fällen professioneller Daten aus den Bereichen Patente, Codes, Mathematik und Chemie trainiert und soll bis zum Jahresende auf 100 Millionen Fälle aus verschiedenen Bereichen erweitert werden.
LlAMA 3.1 und Mistral Large 2
Llama 3.1 von Meta hat inzwischen laut Mark Zuckerberg den Status eines „Frontier-Systems“ erreicht. Metas frei verfügbare KI sieht sich auf Augenhöhe mit den Systemen von Branchenführern wie OpenAI, Google und Anthropic. Das französische KI-Labor Mistral veröffentliche Mistral Large 2. Das Open-Source KI-Modell soll dem Vernehmen nach mit bestehenden Spitzensystemen mithalten oder diese sogar übertreffen.
ToolSandbox von Apple
Vergangene Woche stellten Forscher von Apple den neuen Benchmark ToolSandbox vor. Damit können die Fähigkeiten von KI-Assistenten in der realen Welt umfassender als je zuvor bewerten werden. Der Benchmark enthält drei Schlüsselelemente, die bei anderen Benchmarks oft fehlen: zustandsabhängige Interaktionen, Konversationsfähigkeiten und dynamische Bewertung.
Beim Test einer Reihe von KI-Modellen mit ToolSandbox stellten die Forscher einen erheblichen Leistungsunterschied zwischen proprietären und Open-Source-Modellen fest. So waren die proprietären Lösungen den Open-Source-Modellen weit überlegen.
Laut der Studie haben allerdings selbst modernste KI-Assistenten bei komplexen Aufgaben mit Zustandsabhängigkeiten, Kanonisierung (Konvertierung von Benutzereingaben in standardisierte Formate) und Szenarien Schwierigkeiten mit unzureichenden Informationen.
Quellen:
Open-source AI narrows gap with proprietary leaders, new benchmark reveals
Apple’s ToolSandbox reveals stark reality: Open-source AI still lags behind proprietary models
Silicon Valley shaken as open-source AI models Llama 3.1 and Mistral Large 2 match industry leaders
LG unleashes South Korea’s first open-source AI, challenging global tech giants
How Salesforce’s MINT-1T dataset could disrupt the AI industry
Kommentar hinzufügen
Kommentare