Wie Databricks synthetische Daten nutzt, um die Bewertung von KI-Agenten zu vereinfachen

Die Daten­tech­nolo­gie-Fir­ma Data­bricks hat eine bahn­brechende Lösung für die Entwick­lung von KI-Agen­ten vorgestellt: Eine neue Syn­thet­ic-Data-Gener­ierungs-API, die Unternehmen dabei hil­ft, die Leis­tung ihrer kün­stlichen Intel­li­genz effizien­ter zu bew­erten. Oder anders aus­ge­drückt: Data­bricks ermöglicht es Unternehmen, syn­thetis­che Dat­en zu erstellen, die reale Dat­en für ver­schiedene Anwen­dungs­fälle imi­tieren.

In der kom­plex­en Welt der KI-Sys­teme ste­hen Entwick­ler oft vor der Her­aus­forderung, die Funk­tion­al­ität ihrer Agen­ten umfassend zu testen. Tra­di­tionell bedeutete dies zeitaufwendi­ge Abstim­mungen mit Fach­ex­perten und manuelle Daten­satzer­stel­lung. Data­bricks vere­in­facht diesen Prozess nun grundle­gend.

Konkrete Prob­leme bei der Bew­er­tung der Leis­tung von AI-Agen­ten:

• Datenüber­flu­tung: AI-Agen­ten ver­ar­beit­en enorme Daten­men­gen, was beson­ders für kleinere Teams eine Her­aus­forderung darstellen kann.
• Nuan­cen und Kon­textver­ständ­nis: Selb­st fortschrit­tliche AI-Agen­ten haben Schwierigkeit­en, Kon­text oder Sarkas­mus kor­rekt zu inter­pretieren, was zu Fehlein­schätzun­gen führen kann.
• Daten­schutzbe­denken: Die umfan­gre­iche Daten­samm­lung durch AI-Agen­ten wirft Fra­gen zur Ein­hal­tung von Daten­schutzge­set­zen wie der GDPR auf.
• Notwendigkeit men­schlich­er Auf­sicht: Trotz der Automa­tisierung ist men­schliche Überwachung weit­er­hin erforder­lich, um kom­plexe Dat­en zu inter­pretieren und kri­tis­che Entschei­dun­gen zu tre­f­fen.
• Man­gel­nde Anpas­sungs­fähigkeit: Die Sys­teme kön­nen sich nur begren­zt an neue Sit­u­a­tio­nen anpassen und ver­fü­gen über keine echte Lern­fähigkeit.
• Begren­zte Zuver­läs­sigkeit: Wirk­lich zuver­läs­sige Ergeb­nisse liefern die Sys­teme nur in ihrem jew­eili­gen, eng begren­zten Auf­gaben­feld.
• Schwierigkeit­en bei der ROI-Bes­tim­mung: Unternehmen haben Prob­leme, den Return on Invest­ment klar zu definieren, was die Ein­führung erschw­ert.
• “Hal­luz­i­na­tio­nen” der KI: Die Nei­gung von Sprach­mod­ellen, falsche oder irreführende Antworten zu gener­ieren, stellt eine erhe­bliche Her­aus­forderung dar.

Die neue API ermöglicht es Entwick­lern, in kürzester Zeit hochw­er­tige kün­stliche Daten­sätze zu gener­ieren. In inter­nen Tests kon­nte Data­bricks beein­druck­ende Verbesserun­gen nach­weisen: Die Fähigkeit, rel­e­vante Doku­mente zu find­en, ver­dop­pelte sich nahezu, und die Genauigkeit der Agen­tenant­worten stieg sig­nifikant.

Sicherung der Qual­ität der durch Data­bricks APIs gener­ierten syn­thetis­chen Dat­en

• Inte­gri­ertes Schwach­stel­len­man­age­ment: Data­bricks führt täglich authen­tifizierte Schwach­stel­len­scans sowohl von eige­nen als auch von Drit­tan­bi­eter- und Open-Source-Paketen durch. Dies hil­ft, poten­zielle Sicher­heit­slück­en frühzeit­ig zu erken­nen und zu beheben.
• Sta­tis­che und dynamis­che Code­analy­sen: Vor der Pro­duk­tions­freiga­be von neuem Code oder Images wer­den SAST- und DAST-Analy­sen mit ver­trauenswürdi­gen Sicher­heits-Scan-Tools durchge­führt. Dies stellt sich­er, dass der Code, der die syn­thetis­chen Dat­en gener­iert, robust und sich­er ist.
• Externes Experten­feed­back: Data­bricks beschäftigt externe Experten zur Analyse ihrer öffentlich zugänglichen Web­sites und zur Mel­dung poten­zieller Risiken. Dies trägt zur kon­tinuier­lichen Verbesserung der Sicher­heit und Qual­ität bei.
• Pro­gramm zur Reak­tion auf Schwach­stellen: Data­bricks überwacht proak­tiv aufk­om­mende Schwach­stellen, bevor sie von Scan­ning-Anbi­etern gemeldet wer­den, und nutzt dafür ver­schiedene Quellen wie interne Tools, soziale Medi­en und Bedro­hungsin­for­ma­tio­nen.
  Daten­in­tegrität durch ACID-Transak­tio­nen: Data­bricks nutzt Delta Lake, ein Open-Source-Spe­icher­frame­work, das ACID-Transak­tio­nen unter­stützt und somit die Daten­in­tegrität und ‑kon­sis­tenz gewährleis­tet.
• Schemava­li­dierung und ‑erzwingung: Delta Lake bietet Funk­tio­nen zur Schemava­li­dierung und ‑erzwingung, die automa­tisch Schemavari­a­tio­nen behan­deln und das Ein­fü­gen fehler­hafter Daten­sätze ver­hin­dern.
• Automa­tis­che Ret­tung ungültiger Dat­en: Data­bricks imple­men­tiert Mech­a­nis­men, um ungültige oder nicht kon­forme Dat­en bei der Erfas­sung her­auszu­fil­tern und in ein­er sep­a­rat­en Spalte für gerettete Dat­en zu spe­ich­ern

Ein beson­der­er Vorteil der Lösung ist ihre naht­lose Inte­gra­tion in die Data­bricks-Plat­tform. Entwick­ler kön­nen mit nur ein­er Codezeile Evaluierungs­dat­en gener­ieren, ohne kom­plexe Datenüber­tra­gung­sprozesse durch­laufen zu müssen.

Für die Zukun­ft plant Data­bricks weit­ere Verbesserun­gen, wie eine Benutze­r­ober­fläche für Fach­ex­perten zum Über­prüfen und Bear­beit­en der syn­thetis­chen Dat­en sowie Werkzeuge zur Leben­szyk­lusver­wal­tung von Evaluierungssätzen.

Quellen und weit­ere Infor­ma­tio­nen:

How Data­bricks is using syn­thet­ic data to sim­pli­fy eval­u­a­tion of AI agents

Use Of Data­bricks to Gen­er­ate Syn­thet­ic Data with Gen­er­a­tive AI

Sicher­heits- und Ver­trauen­scen­ter. Ihre Daten­sicher­heit ist unsere Pri­or­ität

Bewährte Meth­o­d­en für Zuver­läs­sigkeit

Entwick­lung eines Daten­pro­duk­ts mit Data­bricks

Was ist die Auswer­tung von Mosa­ic AI Agents?

Daten­mod­el­lierung in Data­bricks: max­i­male Effizienz bei der Date­n­analyse