Por qué la mayoría de los pilotos de RAG empresariales se estancan en la tercera semana
La demo funciona con un puñado de PDFs limpios, la sala queda impresionada, y luego llega el conjunto de documentos reales: escaneos, celdas fusionadas, contratos de diez años de antigüedad y tres idiomas. Este es el punto en el que la mayoría de los pilotos…
Qué sucedió
El patrón es consistente en todos los despliegues que hemos rastreado. La semana uno es una demostración con documentos curados. La semana dos es la integración con el modelo de identidad y permisos del cliente. La semana tres es cuando alguien apunta el sistema al almacenamiento de documentos real — y la calidad de las respuestas se desploma.
Por qué es importante para los equipos de despliegue
El fallo casi nunca es el modelo. Es el análisis: tablas aplanadas en texto ilegible, páginas escaneadas que no producen nada, y fragmentos que separan una cláusula de sus excepciones. La recuperación de información devuelve entonces un contexto confiadamente incorrecto, y el modelo hace lo que se le ordenó.
Qué hacer al respecto
Presupuestar el piloto para documentos, no para modelos. Analizar una muestra representativa de 200 archivos reales antes de prometer nada, medir la precisión del contexto en esa muestra, y hacer que la fragmentación sea un paso visible y corregible en lugar de una configuración predeterminada de la biblioteca.
Qué hacer con esto
- Analiza 200 documentos reales antes de comprometerte con una fecha
- Haz que el chunking sea inspeccionable, no una opción predeterminada de la biblioteca
- Mide la fidelidad, no las vibraciones