LiteLLM
Una interfaz con forma de OpenAI para más de 100 proveedores de modelos, además de un proxy que rastrea el gasto por clave.
LiteLLM normaliza las API de los proveedores detrás de un solo SDK y distribuye un servidor proxy con presupuestos, límites de velocidad y reenvíos automáticos. Es la forma más económica de evitar codificar un proveedor en un aplicación que tendrá que migrar más adelante.
Ideal para: Enrutamiento multi-proveedor, control de gastos, reenvíos
Despliegue: Autoalojable