AT&T verarbeitet täglich acht Milliarden Token mit KI-Systemen. Diese Zahl ist mehr als ein Benchmark – sie ist ein Symptom für einen organisatorischen Reifeprozess, der in den meisten Unternehmen noch aussteht. Was AT&T dabei zeigt, ist kein technisches Wunder, sondern die Konsequenz einer unspektakulären Einsicht: Skalierbare KI ist primär ein Problem der Organisation und Ökonomie, nicht der Algorithmen.
Von der Experimentierphase zur Engineering-Disziplin
Die meiste Enterprise-KI befindet sich noch in einem Zustand produktiver Unklarheit: Pilotprojekte häufen sich, Ergebnisse bleiben schwer vergleichbar, und die Kosten steigen schneller als der Nutzen. AT&T hat diesen Zustand hinter sich gelassen – nicht durch einen großen strategischen Sprung, sondern durch die schrittweise Behandlung von KI als Infrastruktur18 billion tokens a day forced AT&T to rethink AI orchestration — and cut costs by 90%.
Der entscheidende konzeptuelle Schritt war die Anwendung von FinOps-Logik auf Token-Kosten. Token sind keine abstrakten Recheneinheiten, sondern Betriebskosten wie Bandbreite oder Serverkapazität. Sobald ein Unternehmen beginnt, sie so zu behandeln – zu messen, zu budgetieren, zu optimieren –, verändert sich die gesamte Steuerungslogik. Nicht jede Anfrage braucht ein großes Modell. Nicht jede Aufgabe rechtfertigt den gleichen Ressourceneinsatz. Effizienz wird kalkulierbar.
Viele kleine Modelle statt eines großen
AT&Ts Chief Data Officer Andy Markus formuliert das Kernprinzip direkt: Viele kleine, domänenspezifisch trainierte Modelle sind in ihrem jeweiligen Bereich präziser und erheblich günstiger als ein generalistisches Großmodell. Das klingt trivial, ist aber organisatorisch voraussetzungsreich.
Es erfordert erstens eine klare Aufgabenanalyse:
Erstens, welche Prozesse sind repetitiv genug, um ein spezialisiertes Modell zu rechtfertigen?
Zweitens eine Architekturentscheidung: Wie werden diese Modelle koordiniert?
AT&T setzt auf eine hierarchische Struktur – sogenannte Super-Agents orchestrieren spezialisierte Worker-Agents und übernehmen das Routing eingehender Aufgaben.
LangChain dient dabei als technische Basis, ist aber letztlich austauschbar. Was nicht austauschbar ist: die organisatorische Disziplin, diese Schichten sauber zu trennen und zu pflegen.
Das Ergebnis sind Kostensenkungen von bis zu 90 % gegenüber einem Ansatz, der alle Anfragen durch dasselbe Modell leitet. Diese Zahl ist beeindruckend, aber sie ergibt sich nicht aus der Technologie selbst – sie ergibt sich aus der Entscheidung, Komplexität zu organisieren statt zu verwalten.
„Ask AT&T” als institutionelle Infrastruktur
Der interne Assistent „Ask AT&T” wird täglich von mehr als 100.000 Mitarbeitern genutzt. Das ist keine Adoption im Sinne von Begeisterung – das ist Nutzung im Sinne von Normalität. Die Plattform ist Teil des Arbeitsalltags geworden, nicht weil sie besonders elegant ist, sondern weil sie verlässlich und breit verfügbar ist.
Netzwerk-Engineers lösen damit eigenständig technische Probleme, erstellen Tickets und erhalten Code-Vorschläge – unter menschlicher Aufsicht, aber ohne ständige Eskalation. Entwicklungszyklen, die früher sechs Wochen dauerten, wurden auf zwanzig Minuten verkürzt. Diese Zahlen markieren nicht die Grenze des technisch Möglichen, sondern die Grenze des organisatorisch Gereiften.
Was AT&T hier aufgebaut hat, ist eine Form institutioneller Infrastruktur: ein System, das nicht auf Einzelleistungen einzelner Mitarbeiter angewiesen ist, sondern organisationales Wissen reproduzierbar und skalierbar macht.
Der pragmatische, nicht der ideale Weg
Es wäre falsch, AT&Ts Ansatz als Blaupause für alle zu verstehen. Die Voraussetzungen sind spezifisch: eine zentralisierte CDO-Funktion mit realem Entscheidungsmandat, eine bereits vorhandene Datenstrategie, eine homogene Mitarbeiterbasis auf einer Plattform, und – nicht zuletzt – die schiere Größe, die Investitionen in spezialisierte Modelle überhaupt rechtfertigt.
Was AT&T gefunden hat, ist kein idealer Weg. Es ist ein pragmatischer: eine Architektur, die unter realen Bedingungen funktioniert, Kosten kontrolliert, und schrittweise ausgebaut werden kann. Kein Konzern-KI-Labor, sondern Ingenieursdisziplin im Betrieb.
Was bleibt
Die eigentliche Lektion ist nicht technischer, sondern ökonomischer Natur: Skalierbare KI entsteht dort, wo Token-Kosten wie Betriebskosten behandelt werden, wo Aufgaben klar klassifiziert sind, und wo Orchestrierung als organisatorische Aufgabe verstanden wird – nicht als Feature eines Modells.
AT&T zeigt, dass der Übergang von Experimenten zu diszipliniertem Engineering möglich ist. Er ist nicht automatisch, nicht schnell, und nicht voraussetzungslos. Aber er ist machbar – und das ist die eigentlich interessante Nachricht.
Ralf Keuper