LiteLLM
Eine OpenAI-ähnliche Schnittstelle für über 100 Modelanbieter, plus ein Proxy, der den Ausgaben pro Schlüssel nachverfolgt.
LiteLLM standardisiert die APIs der Anbieter hinter einer einzigen SDK und liefert einen Proxy-Server mit Budgets, Rate-Limits und automatischen Fallbacks. Es ist der günstigste Weg, um das Hartcodieren eines Anbieters in einer Anwendung zu vermeiden, die später migriert werden muss.
Am besten für: Routing mit mehreren Anbietern, Ausgabenkontrolle, Fallbacks
Deployment: Selbst hostbar