Der aktuelle AI Agent Stack #1

Die AI-Agen­ten-Land­schaft hat sich bis Ende 2024 erhe­blich weit­er­en­twick­elt und ist nun in drei Hauptschicht­en organ­isiert: Agent-Host­ing/Serv­ing, Agent-Frame­works und LLM-Mod­elle & Spe­ich­er.

Mod­ell-Serv­ing und Spe­ich­er

Im Bere­ich des Mod­ell-Serv­ings dominieren Ope­nAI und Anthrop­ic mit geschlosse­nen API-basierten Dien­sten, während Anbi­eter wie Together.AI und Fire­works offene Mod­elle hin­ter kostenpflichti­gen APIs anbi­eten. Für lokale Anwen­dun­gen sind vLLM für pro­duk­tion­sreife GPU-basierte Las­ten sowie Olla­ma und LM Stu­dio bei Pri­vat­en beliebt.

Für die Spe­icherung von “externem Gedächt­nis” der Agen­ten wer­den Vek­tor­daten­banken wie Chro­ma, Weav­i­ate und Pinecone einge­set­zt. Auch Post­gres mit der pgvec­tor-Erweiterung unter­stützt Vek­tor­suche, während Dien­ste wie Neon und Supabase Embed­ding-basierte Suche und Spe­icherung für Agen­ten anbi­eten.

Tools und Agent-Frame­works

Agen­ten rufen Tools über ein von Ope­nAI definiertes JSON-Schema auf. Com­po­sio ist eine beliebte Allzweck-Bib­lio­thek für Tools, während spezial­isierte Anbi­eter wie Browser­base und Exa Tools für Web­brows­ing und ‑suche bere­it­stellen.

Agent-Frame­works orchestri­eren LLM-Aufrufe und ver­wal­ten den Agen­ten­zu­s­tand. Sie unter­schei­den sich in der Ver­wal­tung des Agen­ten­zu­s­tands, der Struk­tur des Kon­textfen­sters, der agen­tenüber­greifend­en Kom­mu­nika­tion, den Ansätzen zum Gedächt­nis und der Unter­stützung offen­er Mod­elle.

Agent-Host­ing und ‑Serv­ing

Die Zukun­ft der Agen­ten liegt in ihrer Behand­lung als Dien­ste, die auf On-Premise- oder Cloud-Infra­struk­tur bere­it­gestellt wer­den. Das Bere­it­stellen von Agen­ten als Dienst ist auf­grund der Zus­tandsver­wal­tung und sicheren Tool-Aus­führung kom­plex­er als das Bere­it­stellen von LLMs.

Die Entwick­lung des Agent-Stacks befind­et sich noch in einem frühen Sta­di­um und wird sich voraus­sichtlich weit­er entwick­eln, wobei ins­beson­dere Fortschritte in den Bere­ichen Gedächt­nis, Tool-Nutzung, sichere Aus­führung und Bere­it­stel­lung zu erwarten sind.

Ein­schätzung 

Aus mein­er Sicht hinzuzufü­gen wären noch die Kat­e­gorien “Bench­mark/E­valuierungs-Tools”, “Indus­tri­al AI”, Mul­ti­a­gen­ten­sys­teme”, “Agen­ten­basierte Automa­tisierung”, “Orchestrierung” und “Sci­A­gents”, wobei es zu Über­schnei­dun­gen mit den anderen Kategorien/Schichten kom­men dürfte. Dem­nächst wahrschein­lich noch Neu­roa­gents.

Quellen:

The AI agents stack