Neue Forschungsergebnisse zeigen, dass generative KI-Modelle menschliche Codierer bei umfangreichen und komplexen Textanalysen übertreffen können. Eine Studie verglich moderne große Sprachmodelle (LLMs) mit ausgelagerten menschlichen Codierern bei der Analyse von 210 spanischen Nachrichtenartikeln über ein Haushaltskonsolidierungsprogramm. Die LLMs übertrafen die menschlichen Codierer durchgehend in fünf Aufgaben mit steigender Komplexität, von der Identifizierung erwähnter Gemeinden bis zur Erkennung von Kritik an Kommunalverwaltungen.
Im Gegensatz zu wörterbuchbasierten Methoden können LLMs kontextuelle Nuancen erfassen, und im Vergleich zu überwachten Lernmethoden benötigen sie keine umfangreichen technischen Kenntnisse oder große, gelabelte Datensätze. Diese Ergebnisse unterstreichen das Potenzial von LLMs als leistungsstarke und zugängliche Werkzeuge für fortschrittliche Textanalysen in der wirtschaftswissenschaftlichen Forschung und verwandten Bereichen, unabhängig vom technischen Fachwissen der Anwender.
Fortschrittlichere Modelle wie Claude 3.5 Sonnet und GPT-4-turbo erzielten die besten Gesamtergebnisse, wobei ihre Leistung auch bei schwierigeren Aufgaben und längeren Artikeln konstant blieb. Ein bedeutender Vorteil der LLMs lag in den Kosten: Die Analyse des gesamten Textkorpus kostete zwischen 0,20 und 8,53 Dollar, während die menschliche Codierung erhebliche Zeit- und Logistikkosten verursachte.
Zudem lieferten die LLMs ihre Ergebnisse innerhalb von Minuten, während die menschliche Codierung etwa 98 Tage in Anspruch nahm.
Diese Erkenntnisse unterstreichen das Potenzial moderner LLMs als leistungsstarke und kosteneffektive Werkzeuge für großangelegte Textanalysen in der wirtschaftswissenschaftlichen Forschung und verwandten Bereichen.