Ajustar o recuperar: la decisión se basa en qué cambia, no en lo que prefieres

Dos mecanismos que se confunden entre sí

El ajuste fino cambia los pesos. La recuperación cambia la solicitud. A menudo se discuten como técnicas competidoras para el mismo trabajo, por lo que muchos equipos eligen uno por instinto y luego pasan un trimestre descubriendo por qué no encaja.

Resuelven problemas diferentes. El ajuste fino es bueno en forma: tono, forma de salida, adherencia a la tarea, idioma de dominio. La recuperación es buena en contenido: hechos específicos, documentos que no existían en el momento del entrenamiento, cualquier cosa que necesites citar.

La regla de decisión

Comience con dos preguntas. Primero: ¿con qué frecuencia cambia este conocimiento? Cualquier cosa con un ciclo más corto que su ciclo de reentrenamiento pertenece a la recuperación, porque un modelo ajustado fino se vuelve obsoleto silenciosamente y no lo notará hasta que un usuario lo haga. Segundo: ¿necesita mostrar de dónde provino la respuesta? Si es así, la recuperación no es opcional: una actualización de peso no puede producir una cita.

Solo después de que ambas preguntas den un resultado favorable, debe considerar el ajuste fino. El caso restante es estrecho pero real: necesita un comportamiento o formato estable que la solicitud no pueda producir de manera fiable, con un presupuesto de tokens o latencia que la recuperación empeora.

El modo de fallo de cada uno

El ajuste fino falla silenciosamente. El modelo se vuelve fluido en el vocabulario de su dominio mientras sigue estando confiadamente equivocado sobre hechos actuales, y porque suena bien, nadie lo verifica. También crea una obligación de mantenimiento: cada actualización del modelo base significa repetir el entrenamiento y volver a ejecutar la evaluación.

La recuperación falla visiblemente, lo que es una característica. La recuperación deficiente produce un contexto obviamente irrelevante, y puede medirla. El costo es que ahora es dueño de una canalización: análisis, división en trozos, incrustación, frescura del índice y filtrado de permisos. La mayoría de los problemas de calidad en los sistemas RAG están en esa canalización, no en el modelo.

Lo que suele funcionar

Recuperación primero, para casi todo, porque es medible y reversible. Luego, ajuste fino de forma estrecha, una vez que tenga trazas que muestren una brecha de comportamiento consistente que la solicitud y los ejemplos de pocos disparos no pueden cerrar. Hacerlo en ese orden significa que tendrá el conjunto de evaluación listo antes de que lo necesite, lo que es lo que la mayoría de los equipos carecen cuando comienzan.