Sind generative KI-Agenten gute Finanzberater?

Agen­ten, die auf großen Sprach­mod­ellen basieren, wer­den als kostengün­stiger Mech­a­nis­mus zur Bere­it­stel­lung per­son­al­isiert­er Gesprächs­ber­atung immer beliebter und haben in rel­a­tiv ein­fachen Szenar­ien, wie z. B. Filmempfehlun­gen, beein­druck­ende Fähigkeit­en bewiesen. Aber wie ver­hal­ten sich diese Agen­ten in kom­plex­en Bere­ichen, in denen viel auf dem Spiel ste­ht, wo Fach­wis­sen uner­lässlich ist und Fehler ein erhe­blich­es Risiko darstellen? Diese Arbeit unter­sucht die Effek­tiv­ität von LLM-Beratern im Finanzbere­ich und konzen­tri­ert sich dabei auf drei ver­schiedene Her­aus­forderun­gen: (1) die Ermit­tlung von Benutzer­präferen­zen, wenn die Benutzer selb­st nicht genau wis­sen, was sie brauchen, (2) die Bere­it­stel­lung von per­son­al­isiert­er Beratung für unter­schiedliche Investi­tion­spräferen­zen und (3) die Nutzung der Per­sön­lichkeit des Beraters, um Beziehun­gen aufzubauen und Ver­trauen zu fördern. Anhand ein­er labor­basierten Nutzer­studie mit 64 Teil­nehmern zeigen wir, dass LLM-Berater bei der Ermit­tlung von Präferen­zen häu­fig mit der Leis­tung men­schlich­er Berater übere­in­stim­men, obwohl sie Schwierigkeit­en haben kön­nen, wider­sprüch­liche Nutzerbedürfnisse zu lösen. Bei der Bere­it­stel­lung von per­son­al­isierten Ratschlä­gen kon­nte das LLM das Nutzerver­hal­ten pos­i­tiv bee­in­flussen, zeigte aber auch klare Fehler­möglichkeit­en. Unsere Ergeb­nisse zeigen, dass eine genaue Erfas­sung der Präferen­zen von entschei­den­der Bedeu­tung ist, da der LLM-Berater andern­falls nur wenig Ein­fluss hat oder den Anleger sog­ar zu ungeeigneten Anla­gen führen kann.

Noch besorgnis­er­re­gen­der ist, dass die Nutzer offen­bar nicht auf die Qual­ität der erteil­ten Ratschläge acht­en, oder schlim­mer noch, dass diese in einem umgekehrten Ver­hält­nis ste­hen kön­nen. In der Tat berichteten die Nutzer über eine Präferenz für und eine erhöhte Zufrieden­heit sowie emo­tionales Ver­trauen mit LLMs, die eine extro­vertierte Per­sön­lichkeit annah­men, obwohl diese Agen­ten schlechtere Ratschläge gaben.

Quelle: Are Gen­er­a­tive AI Agents Effec­tive Per­son­al­ized Finan­cial Advi­sors?

Schlussfol­gerun­gen 

In diesem Beitrag haben wir eine laborgestützte Nutzer­studie durchge­führt, um zu unter­suchen, wie effek­tiv große Sprach­mod­elle als Finanzber­ater sind. Wir konzen­tri­eren uns auf drei zen­trale Her­aus­forderun­gen: Präferen­z­er­he­bung, Anlageper­son­al­isierung und Berater­per­sön­lichkeit.

Erstens zeigt unsere Analyse, dass LLMs effek­tive Werkzeuge für die Präferen­z­er­he­bung durch Kon­ver­sa­tion sind. In den meis­ten Fällen sind sie in der Lage, die Präferen­zen der Anleger mit ein­er Genauigkeit zu ermit­teln, die der eines erfahre­nen men­schlichen Beraters nahe kommt oder ihr entspricht. Allerd­ings gibt es auch einige ein­deutige Fehler, da LLMs anfäl­lig für wider­sprüch­liche Aus­sagen und Hal­luz­i­na­tio­nen sind, die bei kom­plex­en Anlegerpro­filen die Genauigkeit der Erhe­bung auf ein zufäl­liges Niveau senken kön­nen. Obwohl LLMs für die Erhe­bung vielver­sprechend sind, ver­ste­hen Inve­storen in einem kom­plex­en Bere­ich wie dem Finanzwe­sen ihre eige­nen Präferen­zen nicht immer voll­ständig (oder sie haben Schwierigkeit­en, sie auszu­drück­en). Daher soll­ten zukün­ftige Arbeit­en die Entwick­lung von LLM-Beratern unter­suchen, die in der Lage sind, wider­sprüch­liche Nutzerbedürfnisse zu lösen.

Zweit­ens kann die Per­son­al­isierung von LLMs zur Anlage­ber­atung die Entschei­dun­gen der Anleger verbessern, allerd­ings nur, wenn der per­son­al­isierte LLM-Berater genaue Infor­ma­tio­nen über die Präferen­zen des Anlegers erhält. Wenn die Präferen­z­er­he­bung nicht erfol­gre­ich ist, leit­et der Agent die Anleger aktiv zu den falschen Ver­mö­genswerten, in die sie investieren soll­ten. Dies unter­stre­icht, wie entschei­dend eine gute Präferen­z­er­he­bung für eine sin­nvolle Finanzber­atung ist.

Schließlich deuten unsere Ergeb­nisse darauf hin, dass die Anleger nicht unbe­d­ingt wis­sen, was eine gute Finanzber­atung aus­macht, und daher anfäl­lig dafür sind, auf schlechte Ratschläge von LLMs zu reagieren. Beim Ver­gle­ich zwis­chen einem nicht-per­son­al­isierten und einem per­son­al­isierten LLM-Berater führte das per­son­al­isierte Sys­tem zwar zu besseren Entschei­dun­gen, aber die Teil­nehmer waren nicht in der Lage, zwis­chen den Sys­te­men zu unter­schei­den. Noch besorgnis­er­re­gen­der war der Ver­gle­ich zwis­chen zwei per­son­al­isierten Beratern mit extro­vertierten und gewis­senhaften Per­sön­lichkeit­en: Obwohl der extro­vertierte Berater weniger gute Ratschläge gab, ver­traut­en die Teil­nehmer diesem Berater mehr als dem gewis­senhaften.

Anmerkung:

Die Anfäl­ligkeit der Kundin­nen und Kun­den für extro­vertierte LLM-Agen­ten lässt sich m.E. vol­lum­fänglich auf physis­chen Kun­den­ber­a­terin­nen und Kun­den­ber­ater, die mit ähn­lichen Charak­ter­merk­malen wie die extro­vertierten LLM-Agen­ten aus­ges­tat­tet sind, über­tra­gen.