Warum die meisten RAG-Pilotprojekte in Unternehmen in der dritten Woche scheitern
Das Demo funktioniert mit einer Handvoll sauberer PDFs, das Publikum ist beeindruckt, und dann trifft die echte Dokumentensammlung ein: Scans, zusammengeführte Zellen, zehn Jahre alte Verträge und drei Sprachen. Hier ist der Punkt, an dem die meisten Pilotpro…
Was passiert ist
Das Muster ist konsistent über alle von uns verfolgten Bereitstellungen hinweg. In der ersten Woche findet ein Demo mit kuratierten Dokumenten statt. In der zweiten Woche erfolgt die Integration mit dem Identitäts- und Berechtigungsmodell des Kunden. In der dritten Woche zeigt jemand das System auf den tatsächlichen Dokumentenspeicher - und die Antwortqualität bricht zusammen.
Warum es für Bereitstellungsteams wichtig ist
Das Versagen liegt fast nie am Modell. Es liegt am Parsing: Tabellen werden zu unlesbarer Text flachgelegt, gescannte Seiten liefern nichts und Teile, die einen Satz von seinen Ausnahmen trennen. Die Rückgewinnung liefert dann zuversichtlich falschen Kontext und das Modell tut, was es angewiesen wurde.
Was dagegen unternommen werden kann
Budgetieren Sie den Piloten für Dokumente, nicht für Modelle. Parsen Sie eine repräsentative Stichprobe von 200 echten Dateien, bevor Sie etwas versprechen, messen Sie die Kontextgenauigkeit in dieser Stichprobe und machen Sie das Chunking zu einem sichtbaren, korrigierbaren Schritt anstelle eines Bibliotheksstandards.
Was daraus folgt
- Analysieren Sie 200 reale Dokumente, bevor Sie sich auf ein Datum festlegen
- Machen Sie das Chunking überprüfbar, nicht zu einer Bibliotheksstandard
- Messen Sie die Treue, nicht die Stimmung