KI-Pilot in 90 Tagen – vom Use Case zum produktiven System

„Wir brauchen auch KI“ – aber wo anfangen? Viele Unternehmen in Ulm scheitern nicht an der Technologie, sondern an fehlender Struktur: zu großes Projekt, unklare KPIs, kein Exit bei Misserfolg. Unser Framework: 90-Tage-Pilot – messbar, DSGVO-konform, mit klarem Go/No-Go.

Phase 1: Use Case & KPIs (Woche 1–2)

• Ein konkretes Problem – nicht „Chatbot für alles“
• KPIs definieren: z. B. −30 % manuelle Antworten, −2 h Support/Woche
• Datenlage prüfen: Was ist vorhanden, was fehlt?

Phase 2: MVP (Woche 3–8)

• RAG mit Ihren Dokumenten oder klar abgegrenzter LLM-Integration
• Hosting in DE, Zugriffskontrollen, Logging
• Referenz: Heytoni – von Pilot zu Live-Plattform

Phase 3: Messung & Entscheidung (Woche 9–12)

• KPIs gegen Baseline messen
• Go: Skalierung und Integration in CRM/ERP
• No-Go: Pivot oder Stop – ohne versunkene sechsstellige Kosten

Phase 2.5: Datenanforderung & RAG-Qualität (Woche 5–6)

Ein 90-Tage-Pilot scheitert selten an der „Model-Auswahl“, sondern an Datenzugriff und Wissensqualität. Deshalb klären wir früh:

1) Welche Daten dürfen rein – und wie oft müssen sie aktualisiert werden?

• Dokumentenarten: SOPs, Handbücher, Verträge, Tickets, Gesprächs-Transkripte, Produktdaten
• Aktualisierungsfrequenz: täglich, wöchentlich, „nur bei Änderungen“
• Datenklassifikation: was darf öffentlich, was bleibt intern?

2) Wie kommen die Daten aus Ihrem System in den Pilot?

Wir bauen in dieser Phase einen sichtbaren, auditierbaren Daten-Flow:

• Quellzugriff (z. B. SharePoint/Drive, Ticketsystem, Wissensdatenbank)
• Normalisierung und Bereinigung (Duplikate, veraltete Versionen)
• Chunking + Metadaten (Dokument-Titel, Abteilung, Aktualitätsdatum)

3) Qualität messbar machen: Retrieval vor Generation

Statt „ChatGPT-Feeling“ zu bewerten, setzen wir auf messbare Retrieval-Checks:

• Welche Fragen werden wirklich beantwortet?
• Wie oft zieht das System die falschen Dokumente?
• Wie gut ist die Antwort wiederholbar (auch bei leicht veränderten Prompts)?

Ergebnis am Ende von Woche 6

Sie haben ein RAG-Setup, bei dem die Quellen nachweisbar sind: jede Antwort lässt sich auf Dokumente zurückführen – das ist entscheidend für AI-Retrieval und interne Akzeptanz.

Beispiel-KPI-Set für den 90-Tage-Pilot

Damit ein Go/No-Go nicht „Bauchgefühl“ bleibt, definieren wir KPIs so, dass Sie sie im Alltag sehen und nachhalten können:

• Deflection Rate: Anteil der Anfragen, die ohne manuelles Eingreifen gelöst werden (Ziel: +15 bis +30 %)
• Zeit bis zur ersten brauchbaren Antwort: Median über 30–50 Requests (Ziel: −30 bis −50 %)
• Support-Entlastung: weniger Tickets/Follow-ups pro Woche (Ziel: −1 bis −3 Stunden/Woche pro Team)
• Nutzungsrate: wie viele Kolleg:innen nutzen den Pilot aktiv statt „Demo auszuprobieren“ (Ziel: 20–50 aktive Nutzer/Monat, je nach Bereich)
• Qualitäts-Score intern: schnelle Freigabe durch Fachverantwortliche (Ziel: z. B. 4/5 oder „passend/unklar/fehlt“)

Wichtig: Wir messen gegen eine Baseline (z. B. 2 Wochen Ist-Zustand), bevor der Pilot skaliert.

No-Go-Kriterien: Wann wir klar stoppen oder pivotieren

Ein guter Pilot ist einer, der auch „Nein“ sagen kann. Wir definieren vorher klare Trigger:

• Datenbasis: nicht genügend relevante Quellen oder zu viele veraltete Dokumente (kein „schnelles Fix“ möglich)
• Retrieval: das System zieht zu oft falsche oder irrelevante Dokumente (Qualitätsfenster wird dauerhaft verfehlt)
• Compliance: es gibt keine belastbare Lösung für Zugriffskontrolle, Logging oder Datenflüsse
• Wirtschaftlichkeit: KPIs bewegen sich nicht in Richtung Ziel innerhalb eines definierten Intervalls (z. B. Woche 8)

Wenn ein No-Go eintritt, gibt es nicht nur „Abbruch“, sondern einen dokumentierten Pivot:

• andere Use-Case-Abgrenzung,
• sauberer Daten-Backlog,
• oder Entscheidung für eine andere Architektur (z. B. mehr Tool-Calls statt freies Generieren).

FAQ: KI-Pilot in 90 Tagen

Wie finde ich den richtigen Use Case für den Pilot?

Wählen Sie einen Use Case mit klaren Inputs, wiederkehrenden Fragen und messbarer Entlastung (Support, Dokumentenprüfung, Angebotsassistenz, Wissenssuche). Wenn die „richtige Antwort“ nicht definierbar ist, wird die KPI-Messung unmöglich.

Welche Daten werden mindestens benötigt?

Typischerweise 20–50 relevante Dokumente oder 200–500 Beispielanfragen (je nach Use Case). Wichtig ist weniger „Datenmenge“, sondern Datenqualität + Aktualität + Zugriff.

Wie stellt ihr sicher, dass Antworten Quellen enthalten?

Im 90-Tage-Pilot arbeiten wir Retrieval-first: Antworten werden aus den passenden Dokumenten abgeleitet. Zusätzlich erzeugen wir eine nachvollziehbare Dokument-Navigation (welche Quelle wurde genutzt).

Wie messt ihr Qualität, wenn Antworten nicht perfekt „golden“ sein können?

Wir nutzen eine interne Bewertungslogik (z. B. passend/unklar/fehlt) plus Leitplanken für Fachverantwortliche. Entscheidend ist die Konsistenz und die Veränderung gegenüber der Baseline, nicht die perfekte „LLM-Perfektion“.

Was passiert, wenn der Pilot in der Hälfte scheitert?

Sie bekommen einen Zwischen-Check (z. B. Woche 6–8). Wenn die KPI-Ziele nicht erreichbar sind, pivotieren wir oder stoppen. So vermeiden Sie versunkene Kosten und gewinnen trotzdem: Daten-Backlog, technische Architektur-Entscheidungen und Lernkurve.

Ist DSGVO-konformes Hosting Teil des Pilots?

Ja. Wir klären Hosting-Optionen, Zugriffskontrollen, Logging und Datenflüsse früh. Der Pilot ist so geplant, dass eine Compliance-fähige Grundlage entsteht, bevor skaliert wird.

Warum antbit

KI-Entwicklung aus Ulm – mit eigener Plattform (heytoni.ai) als Proof, nicht nur Beratungsfolien. Enterprise-Seite für Mittelstand und skalierbare Produkte.

Nächster Schritt: 20 Minuten Erstgespräch – wir prüfen, ob ein 90-Tage-Pilot für Sie passt.