部署与推理 ★ 24.0k

LiteLLM

用一套 OpenAI 接口对接 100+ 模型厂商,附带按 key 统计花费的代理。

LiteLLM 把各家厂商的 API 统一成一套 SDK,并提供带预算、限流与自动降级的代理服务器。想避免把一个厂商写死在代码里、日后不得不迁移,这是成本最低的做法。

适合场景:多厂商路由、成本管控、故障降级

部署方式:可自托管