Un libro de ejecución para un servicio LLM

Señales que la monitorización clásica pasa por alto

La latencia, la tasa de errores y la saturación detectan los fallos que parecen ser de infraestructura. Un servicio LLM tiene una segunda familia de fallos que no producen errores ni solicitudes lentas.

• Decadencia de la calidad. Una muestra mensual de elementos de evaluación, puntuados y tendencia. Sin ella, la degradación se informa a los usuarios semanas después, en forma de desconfianza.
• Tasa de rechazo. Un aumento en la tasa de rechazo es a menudo el primer signo visible de un problema de recuperación o análisis, y es más barato investigar que una queja.
• Tamaño del contexto por solicitud. Crecer silenciosamente a medida que se acumulan corpora y el historial de conversaciones, y mueve el costo y la latencia al mismo tiempo.
• Número de tokens de salida. Un cambio en la distribución aquí suele significar un cambio en la invitación o el modelo, y se muestra en la factura antes de que aparezca en cualquier otro lugar.
• Salud del proveedor. La tasa de errores es solo una señal de un proveedor; los cambios de latencia no explicados y los cambios en la forma de la respuesta también importan, y son el borde líder de un incidente en el lado del proveedor.

Escribirlo para que se pueda seguir a las tres de la mañana

Una entrada de runbook tiene cuatro partes: la señal, la primera acción, la condición de escalada y el valor de respaldo. La primera acción debe ser mecánica y específica — no investigar, sino: verificar esta página, comparar este número con su valor de la semana anterior, y si el delta supera el umbral registrado, hacer esto.

Los valores de respaldo pertenecen al runbook porque son decisiones, no improvisaciones. Los valores de respaldo posibles incluyen enrutamiento a un proveedor diferente, reducción a un modelo más pequeño, acortamiento del contexto, deshabilitación de la reordenación y desactivación de la función por completo. Cada uno necesita un desencadenante preacordado y una persona nombrada que pueda autorizarlo.

Modos degradados que vale la pena tener

• Contexto más corto. Menos pasajes recuperados, menor calidad, mucho menor costo y latencia. Barato de implementar y generalmente el primero en alcanzar.
• Modelo más pequeño. La calidad disminuye de manera desigual en los diferentes tipos de tareas; saber de antemano qué tareas se degradan de manera aceptable y cuáles deben fallar en lugar de responder mal.
• Solo caché. Servir respuestas previamente calculadas y declinar cualquier cosa nueva. Rara vez aplicable, pero decisivo cuando el corpus es principalmente preguntas estables.
• Función desactivada. El valor de respaldo final, y el único que siempre debe estar disponible. Si desactivar la función requiere una implementación, el runbook no está terminado.

Práctica que cuesta una hora cada trimestre

Ejercitar los caminos degradados y el interruptor de la función durante las horas de oficina, y registrar cuánto tiempo tomó cada uno. Los interruptores no probados no funcionan cuando se necesitan, y el fallo suele ser trivial — un permiso que solo tiene el sistema de implementación, o una configuración que nunca se ejercitó en el entorno donde importa. Una hora cada trimestre es el costo total de conocer la respuesta.