La ingeniería de contexto es la nueva ingeniería de instrucciones
Durante dos años, el consejo era escribir instrucciones mejores. Este consejo dejó de ser efectivo en algún momento en que el modelo se volvió confiablemente bueno para seguir instrucciones. Lo que todavía no puede hacer es inferir información que nunca se le…
Qué ha cambiado
La ingeniería de solicitudes optimizó la solicitud. La ingeniería de contexto optimiza qué hay en la sala cuando llega la solicitud. Una vez que los modelos pudieron seguir instrucciones de manera fiable, los fallos restantes dejaron de ser sobre la redacción y comenzaron a ser sobre la ausencia: el archivo relevante no se cargó, la salida de la herramienta se truncó, la decisión de veinte turnos atrás ya no estaba en la ventana.
Por qué es importante para los equipos de implementación
El contexto es un presupuesto con un techo duro, y es el único presupuesto en la pila que se gasta por accidente. Nadie escribe código que filtre tokens a propósito; escriben código que agrega un resultado de herramienta más, y luego otro, hasta que la mitad útil de la ventana ha sido expulsada. Los fallos que produce son del peor tipo: no errores, solo respuestas que se volvieron peores de manera silenciosa.
Qué hacer al respecto
Comience midiendo. Registre tokens por solicitud con un desglose por fuente: sistema de solicitud, fragmentos recuperados, salida de herramienta, historial. La mayoría de los equipos descubren que una categoría domina y que se equivocaron al respecto de cuál. Luego aplique las tres palancas en orden. Primero, deje de enviar lo que no es necesario: sandbox de salida de herramienta verbose y devuelva referencias en lugar de contenidos. Segundo, comprima lo que debe ser enviado: resuma giros antiguos, elimine fragmentos superpuestos. Tercero, solo entonces considere pagar por una ventana más larga, que es la más costosa y la menos efectiva de las tres.
La parte que los equipos saltan
Persista la memoria fuera de la ventana. Una sesión que muere con el contexto es una sesión que el usuario tiene que reconstruir a mano. Escriba un estado duradero en una tienda que el agente pueda consultar, y pase al modelo un puntero en lugar de la carga. Es la misma idea que la paginación, y es lo que separa una demostración de algo que un colega usará dos veces.