Der Ablauf ist erstaunlich einheitlich: Ein Werkzeug wird vorgeführt, alle sind beeindruckt, ein Pilot wird beschlossen. Nach acht Wochen funktioniert er im Wesentlichen. Dann passiert nichts mehr. Das Projekt taucht in keiner Sitzung mehr auf, das Werkzeug läuft noch auf einem Rechner, und ein Jahr später erzählt man, dass „das mit der KI bei uns nicht funktioniert hat".
Die Ursachen sind selten technischer Natur. Sieben davon tauchen immer wieder auf, jede mit einem Signal, das vorher sichtbar war.
Die Kurzfassung:
- Der häufigste Bruch liegt nicht zwischen Idee und Pilot, sondern zwischen Pilot und Alltag.
- Die entscheidende Frage lautet: „Wer arbeitet damit am Montag um 8 Uhr?"
- Ohne vorab festgelegte Abbruchkriterien endet ein Vorhaben nicht, es versandet.
1. Es gab nie eine Zahl, an der sich Erfolg messen ließ
„Wir wollen mal schauen, was KI für uns tun kann" ist ein legitimer Einstieg und ein garantierter Weg ins Versanden. Ohne Zielgröße gibt es keinen Moment, an dem jemand sagen kann: Es hat funktioniert, wir rollen aus.
Frühwarnsignal: Auf die Frage „Woran merken wir in acht Wochen, dass es geklappt hat?" folgt eine allgemeine Antwort.
Gegenmaßnahme: Eine einzige, überprüfbare Kennzahl vor dem Start. „Die Bearbeitungszeit je Anfrage sinkt von durchschnittlich 12 auf unter 5 Minuten" ist prüfbar. „Effizienzsteigerung" ist es nicht.
2. Getestet wurde mit den schönen Fällen
Für den Pilot werden Beispiele ausgesucht, meist unbewusst die klaren. Der Alltag besteht aber aus dem handschriftlichen Vermerk auf dem Lieferschein, dem schief eingescannten Formular und der Anfrage, in der drei Sachen gleichzeitig stehen.
Frühwarnsignal: Die Testdaten wurden für den Pilot zusammengestellt statt aus dem laufenden Betrieb genommen.
Gegenmaßnahme: Testen Sie mit dem unsortierten Stapel des letzten Monats. Nehmen Sie ausdrücklich die Fälle mit, bei denen auch ein Mensch zweimal hinschaut. Die Trefferquote fällt dann, und genau diese Zahl ist die ehrliche.
3. Niemand hat geklärt, was bei einem Fehler passiert
Ein Sprachmodell liefert plausible Ergebnisse, auch wenn sie falsch sind. Solange nicht geregelt ist, wer prüft, was bei Unsicherheit passiert und wie ein Fehler zurückgemeldet wird, entsteht ein Werkzeug, dem niemand traut. Und ein Werkzeug, dem niemand traut, wird doppelt geprüft, womit es keine Zeit mehr spart.
Frühwarnsignal: Es gibt keinen definierten Weg für den Fall „das Ergebnis stimmt nicht".
Gegenmaßnahme: Legen Sie drei Dinge fest: eine Schwelle, ab der ein Mensch entscheidet, wer diese Prüfung macht, und wie eine Korrektur festgehalten wird. Ein Vorschlag, den ein Mensch bestätigt, ist in fast allen Fällen der bessere Entwurf als eine vollautomatische Entscheidung.
4. Der Pilot lief neben dem Prozess, nicht darin
Die häufigste stille Ursache. Im Pilot wurden Daten von Hand exportiert, durch das Werkzeug geschickt und das Ergebnis von Hand zurückgetragen. Das funktioniert, aber es ist keine Vorstufe der Produktion, sondern eine Umgehung davon.
Der Weg in den echten Ablauf ist danach das eigentliche Projekt, und für das war weder Budget noch Zeit eingeplant.
Frühwarnsignal: Im Pilot exportiert jemand regelmäßig eine Datei von Hand.
Gegenmaßnahme: Binden Sie schon im Pilot an die echte Quelle an, auch wenn nur ein Teilbereich abgedeckt wird. Lieber ein kleiner Ausschnitt richtig verbunden als der gesamte Prozess per Kopie.
5. Die Person, die damit arbeiten soll, war nicht dabei
Wenn Geschäftsführung und externe Beratung das Vorhaben führen und die Sachbearbeitung erst zur Einführung dazukommt, entsteht eine Lösung für einen Ablauf, den es so nicht gibt. Die Menschen, die den Prozess täglich ausführen, kennen die Ausnahmen, und die Ausnahmen sind bei KI-Projekten der ganze Aufwand.
Frühwarnsignal: Im Projektteam sitzt niemand, der den Prozess selbst ausführt.
Gegenmaßnahme: Eine Person aus der täglichen Ausführung ist fest im Team, von Anfang an, mit echter Zeit dafür. Das ist keine Beteiligungsgeste, sondern die wichtigste Informationsquelle.
6. Der Zugriff auf die Daten war nie geklärt
Sehr oft steht das Vorhaben nicht wegen des Modells, sondern weil die benötigten Daten in einem System liegen, aus dem sie niemand automatisiert herausbekommt: keine Schnittstelle, der Hersteller lässt sich Zugriff bezahlen, oder es gibt keinen Ansprechpartner mehr.
Frühwarnsignal: Auf die Frage nach der Schnittstelle heißt es „das klären wir dann".
Gegenmaßnahme: Klären Sie den Zugriff, bevor Sie über Werkzeuge sprechen. Zwei Fragen genügen: Gibt es eine Schnittstelle oder wenigstens einen regelmäßigen Export? Und wer im Betrieb darf sie freischalten?
7. Betrieb und Verantwortung waren nicht eingeplant
Nach dem Pilot beginnt der Teil, für den es keine Begeisterung gibt: Wer betreibt das? Wer bezahlt die laufenden Kosten? Wer schaut hin, wenn sich die Ergebnisse mit der Zeit verschlechtern, weil sich die Eingangsdaten verändert haben?
Ohne benannte Zuständigkeit bleibt das Werkzeug im Zustand „läuft noch beim Kollegen" und wird beim nächsten Geräteumzug abgeschaltet.
Frühwarnsignal: Es gibt keine Person mit Namen, die nach dem Pilot verantwortlich ist.
Gegenmaßnahme: Vor dem Start festlegen: Wer betreibt es, welches Budget läuft dafür monatlich, und wann wird die Qualität überprüft. Zwei Sätze reichen, aber sie müssen geschrieben sein.
Die Rechnung, die vor dem Piloten fehlt
Ein Vorhaben ohne Zahl ist auch nicht abbrechbar, weil niemand sagen kann, was verloren geht. Rechnen Sie deshalb vorher grob:
Beispielrechnung (Werte anpassen): Die Vorqualifizierung von Anfragen dauert heute im Schnitt 12 Minuten, bei 300 Anfragen im Monat sind das 60 Stunden. Sinkt der Aufwand auf 5 Minuten, bleiben 25 Stunden, also eine Ersparnis von 35 Stunden monatlich. Bei angesetzten 45 € Vollkosten je Stunde entspricht das rund 1.575 € im Monat, also 18.900 € im Jahr.
Liegen die laufenden Kosten für Betrieb und Modellnutzung bei 250 € monatlich und die einmalige Einrichtung bei einem mittleren vierstelligen Betrag, ist die Größenordnung klar, und die Zahl, an der der Pilot gemessen wird, steht ebenfalls fest.
Das ist eine Modellrechnung, kein zugesagtes Ergebnis. Aber sie liefert die Kennzahl aus Grund 1 gleich mit.
Zwölf Punkte, die vor dem Start geklärt sein sollten
Wenn Sie mehr als drei davon nicht beantworten können, ist es zu früh für einen Piloten.
- Welcher eine Prozess wird verändert, mit Anfang und Ende?
- Welche Kennzahl entscheidet über Erfolg, gemessen wie?
- Wie ist der heutige Wert dieser Kennzahl?
- Woher kommen die Testdaten, und sind sie unsortiert?
- Wer prüft die Ergebnisse, und ab welcher Unsicherheit?
- Was passiert bei einem falschen Ergebnis?
- Gibt es eine Schnittstelle zu den Quelldaten?
- Wer im Betrieb darf diesen Zugriff freischalten?
- Wer aus der täglichen Ausführung ist im Team?
- Welche Daten verlassen den Betrieb, und ist das geprüft?
- Wer betreibt die Lösung nach dem Piloten, mit welchem Budget?
- Bei welchem Ergebnis brechen wir ab?
Punkt 12 ist der unbequemste und der wertvollste. Ein Vorhaben mit vereinbartem Abbruchkriterium endet entweder in der Produktion oder in einer klaren Entscheidung. Beides ist besser als das übliche dritte Ergebnis: keiner spricht mehr darüber.
Der Zuschnitt, der funktioniert
Ein Prozess. Vier bis sechs Wochen. Eine Kennzahl. Eine verantwortliche Person aus der Ausführung. Anbindung an die echten Daten, auch wenn nur ein Ausschnitt abgedeckt wird. Und ein vereinbarter Termin, an dem entschieden wird: ausrollen oder beenden.
Das klingt kleiner, als die meisten Vorhaben starten. Genau deshalb kommt es häufiger in den Alltag.
Wie Sie diesen Zuschnitt beschreiben, ohne technisch zu werden, steht in Das Lastenheft auf einer Seite. Wenn Ihr Vorhaben aus einer gewachsenen Automatisierung heraus entsteht, lohnt vorher der Blick auf die Grenzen von n8n, Make und ähnlichen Werkzeugen. Dort steckt die Ursache öfter, als es zunächst aussieht.