Todas las notas
La autohospedación supera al API en costo por token solo por encima de un umbral de utilización que casi nadie alcanza. Por debajo de él, estás pagando por silicio inactivo y la a…
El ajuste fino codifica el comportamiento; la recuperación suministra hechos. Preguntar cuál es mejor es hacer la pregunta equivocada — pregúntate con qué frecuencia cambia el con…
Cada RAG multi-tenant eventualmente descubre lo mismo: filtrar resultados después de la recuperación no es aislamiento. El filtro debe restringir la búsqueda, no recortar su salid…
Las tablas de benchmarks publicadas comparan la recuperación en conjuntos de datos públicos, que no son tus datos, tus filtros ni tu distribución de consultas. Cuatro preguntas op…
El riesgo no es que el modelo diga algo incorrecto, sino que el agente haga algo incorrecto — con credenciales, en un sistema que no tiene una función de deshacer
Durante dos años, el consejo era escribir instrucciones mejores. Este consejo dejó de ser efectivo en algún momento en que el modelo se volvió confiablemente bueno para seguir ins…
La demo funciona con un puñado de PDFs limpios, la sala queda impresionada, y luego llega el conjunto de documentos reales: escaneos, celdas fusionadas, contratos de diez años de…
La demostración sale bien. Los usuarios están satisfechos. Luego, el departamento legal pregunta adónde fue a parar la información, el equipo de seguridad pregunta quién puede ver…
Los equipos que miden tienden a medir los casos fáciles, porque son aquellos donde alguien ya conoce la respuesta. Las preguntas que te costarán dinero son aquellas que nadie se m…
La calidad de recuperación es un problema resuelto en gran medida. Los permisos son la razón por la que los proyectos de RAG empresarial se detienen: no porque sean difíciles, sin…
"El autoalojamiento es más barato" solo es cierto por encima de un cierto nivel de utilización. Por debajo de este, estás pagando por una GPU inactiva y la atención de un ingenier…
Una solicitud de RAG se siente lenta mucho antes de que realmente lo sea. Saber cuál de los cinco estados es el responsable marca la diferencia entre una solución dirigida y tres…
El enrutamiento es el control de costos de mayor impacto en un sistema LLM, y casi siempre se implementa al final, después de dieciocho meses de pagar precios premium por pregunta…
Cada equipo que ejecuta un agente en producción eventualmente construye lo mismo: una suite de escenarios que no deben retroceder. La única pregunta es si lo construyes antes o de…
El título suena a investigación, pero el trabajo consiste principalmente en manejo de datos, cuestionarios de seguridad y convencer a un jefe de departamento de que el piloto no l…
Aquí todavía no hay nada. El próximo rastreo lo llenará.