Wie Delphi mit KI-Avataren die Zukunft des Lernens gestaltet

Das Start­up Del­phi erstellt per­son­al­isierte Chat­bots basierend auf Nutzer­dat­en. Eine Part­ner­schaft mit Pinecone löste kri­tis­che Skalierung­sprob­leme und ermöglicht den Betrieb tausender KI-Avatare par­al­lel.

Das San Fran­cis­co-basierte Start­up Del­phi entwick­elt “Dig­i­tal Minds” – KI-basierte Chat­bots, die auf den per­sön­lichen Dat­en ihrer Nutzer trainiert wer­den. Diese Sys­teme führen Gespräche im Stil und Ton­fall der jew­eili­gen Per­son und greifen dabei auf deren spez­i­fis­ches Wis­sen zurück. Die Ziel­gruppe umfasst haupt­säch­lich Coach­es, Berater und Experten, die ihre Reich­weite erweit­ern möcht­en¹How AI ‘dig­i­tal minds’ start­up Del­phi stopped drown­ing in user data and scaled up with Pinecone.

Tech­nis­che Her­aus­forderun­gen beim Wach­s­tum

Mit zunehmender Nutzer­ba­sis stieß Del­phi auf mehrere tech­nis­che Prob­leme. Die wach­sende Datenkom­plex­ität führte zu steigen­den Sys­tem­laten­zen. Der Wartungsaufwand für die ver­schiede­nen KI-Mod­elle nahm über­pro­por­tion­al zu. Gle­ichzeit­ig mussten Daten­schutz und Leis­tung für jeden einzel­nen Avatar gewährleis­tet bleiben.

Das Unternehmen benötigte eine Lösung, die sowohl die sichere Tren­nung der Nutzer­dat­en als auch schnelle Abfragezeit­en ermöglicht. Herkömm­liche Daten­banksys­teme erwiesen sich für diese Anforderun­gen als ungeeignet.

Imple­men­tierung der Vek­tor­daten­bank-Lösung

Del­phi entsch­ied sich für Pinecone, einen Anbi­eter ver­wal­teter Vek­tor­daten­banken. Diese Tech­nolo­gie spe­ichert Infor­ma­tio­nen als math­e­ma­tis­che Vek­toren und ermöglicht schnelle Ähn­lichkeitssuchen. Jede “Dig­i­tal Mind” erhält einen eige­nen Name­space, wodurch die Dat­en isoliert und gle­ichzeit­ig effizient ver­wal­tet wer­den kön­nen.

Das Sys­tem nutzt Retrieval-Aug­ment­ed Gen­er­a­tion (RAG), ein Ver­fahren, bei dem rel­e­vante Infor­ma­tio­nen in Echtzeit aus der Daten­bank abgerufen und in die Antwort­gener­ierung einge­bun­den wer­den. Dies ermöglicht kon­textbe­zo­gene Gespräche, ohne dass alle Infor­ma­tio­nen per­ma­nent im Arbeitsspe­ich­er vorge­hal­ten wer­den müssen.

Aktuelle Leis­tungs­dat­en

Die neue Architek­tur ver­wal­tet derzeit über 100 Mil­lio­nen Vek­toren in mehr als 12.000 Name­spaces. Das Sys­tem ver­ar­beit­et weltweit etwa 20 Abfra­gen pro Sekunde und bleibt auch bei Last­spitzen sta­bil. Die Antwortzeit­en liegen im akzept­ablen Bere­ich für inter­ak­tive Anwen­dun­gen.

Geplante Erweiterun­gen

Del­phi plant die Skalierung auf Mil­lio­nen von “Dig­i­tal Minds”. Ein in Entwick­lung befind­lich­er “Inter­view-Modus” soll es den KI-Sys­te­men ermöglichen, Wis­senslück­en zu iden­ti­fizieren und durch gezielte Fra­gen an die Nutzer zu schließen. Pinecone arbeit­et par­al­lel an adap­tiv­en Index­ierungs- und Spe­icher­lö­sun­gen für größere Daten­men­gen.

Bew­er­tung nach dem KI-Agen­ten — Frame­work