Enrutamiento de modelos: enviar preguntas sencillas a modelos económicos
El enrutamiento es el control de costos de mayor impacto en un sistema LLM, y casi siempre se implementa al final, después de dieciocho meses de pagar precios premium por preguntas que un modelo más pequeño responde de manera idéntica.
Qué sucedió
Un equipo ejecuta todo en el modelo más fuerte disponible porque era la opción segura al principio y nadie lo revisó. Dieciocho meses después, la factura es el artículo más grande del proyecto, y un análisis muestra que la mayoría de las consultas son búsquedas, reescrituras y clasificaciones que un modelo un orden de magnitud más pequeño maneja de manera idéntica.
Por qué es importante para los equipos de implementación
La selección de modelo uniforme es un impuesto a la precaución. La diferencia de costo entre niveles es a menudo de diez a treinta veces, mientras que la diferencia de calidad en tareas simples es frecuentemente indistinguible. La enrutamiento recupera la mayoría de esa diferencia sin tocar los casos difíciles, por lo que supera a todos los demás controles de costo en retorno por hora de trabajo.
Cómo construirlo
No comience con un modelo de enrutador — eso agrega latencia y un modo de fallo. Comience con reglas, porque ya conoce las categorías: búsquedas factuales cortas, clasificación y extracción van al modelo pequeño; cualquier cosa multi-paso, cualquier cosa que requiera síntesis a través de documentos, y cualquier cosa donde la confianza del modelo pequeño sea baja va al modelo grande. Luego mida. Enrute una muestra de tráfico en vivo a ambos niveles, puntuación ambos con su conjunto de evaluación, y promueva una categoría al modelo pequeño solo donde la puntuación se mantenga.
Barandillas
Mantenga un piso: nunca enrute una solicitud que el modelo pequeño rechace dos veces. Registre qué nivel atendió cada solicitud, para que una queja de calidad pueda ser rastreada a una decisión de enrutamiento en lugar de adivinarse. Y vuelva a ejecutar la comparación cada vez que se actualice alguno de los modelos — una tabla de enrutamiento construida contra los modelos del último trimestre es una tabla de enrutamiento que describe modelos que ya no se utilizan.