Ausgangslage
Die Agentur betreut ein breites Kundenportfolio und stand unter dem Eindruck, Sprachmodelle möglichst überall einsetzen zu müssen. Der Druck kam von zwei Seiten: aus dem Markt, in dem Mitbewerber entsprechend warben, und von Kunden, die danach fragten, ohne einen konkreten Anwendungsfall zu benennen.
Die Gefahr in dieser Lage ist nicht, zu wenig zu tun. Sie besteht darin, Vorführbares zu bauen, das im Tagesgeschäft niemand benutzt — und das trotzdem gepflegt werden muss.
Aufgabe
Leitung der digitalen Produktentwicklung mit dem Auftrag, den Einsatz von Sprachmodellen über das Portfolio hinweg zu verantworten. Ausdrücklich eingeschlossen war die Entscheidung, wo nicht.
Vorgehen
Grundlage war ein einfacher Prüfmaßstab, angewandt auf jeden vorgeschlagenen Anwendungsfall: Ist das Ergebnis überprüfbar, und was kostet ein Fehler?
Daraus ergaben sich drei Gruppen. Erstens Fälle, in denen ein Mensch das Ergebnis ohnehin liest und freigibt — Entwurfsfassungen, Zusammenfassungen, Varianten von Texten. Hier ist ein Fehler billig, weil er auffällt, bevor er wirkt. Diese Fälle wurden umgesetzt.
Zweitens Fälle, in denen das Ergebnis unmittelbar nach außen wirkt und niemand mehr draufschaut. Hier ist ein Fehler teuer, und die Prüfung des Ergebnisses ist regelmäßig aufwendiger als die Arbeit selbst. Diese Fälle wurden nicht umgesetzt, und diese Entscheidung war der wertvollste Teil des Auftrags.
Drittens Fälle, die sich als Sortier-, Zuordnungs- oder Suchaufgaben entpuppten und für die es seit Jahren zuverlässigere und billigere Verfahren gibt. Sie wurden auf diese Verfahren zurückgeführt. Ein Sprachmodell an einer Stelle einzusetzen, an der eine Regel genügt, kostet dauerhaft Geld und bringt zusätzlich Unschärfe.
Für die umgesetzten Fälle entstand eine gemeinsame Anbindung statt einer je Kundenprojekt. Der Anbieterwechsel bleibt damit eine Konfigurationsfrage — bei der Geschwindigkeit, mit der sich dieser Markt bewegt, ist das keine Vorsichtsmaßnahme, sondern eine Bedingung.
Ergebnis
Im Einsatz sind die Fälle mit menschlicher Freigabe. Sie werden benutzt, weil sie Arbeit abnehmen, die vorher tatsächlich anfiel, und weil niemand ihnen blind vertrauen muss.
Die Fälle der zweiten Gruppe sind schriftlich festgehalten, samt Begründung. Diese Liste hat sich als das nützlichste Dokument des Vorhabens erwiesen: Sie beantwortet die Frage, die in Kundengesprächen regelmäßig aufkommt, mit einer Erklärung statt mit einer Ablehnung.