LiteLLM ist ein Proxy-Server und SDK, das die Nutzung von über 100 LLM APIs im OpenAI-Format vereinfacht. Es ermöglicht konsistente Ausgaben und verfügt über eine Logik zur Wiederholung/fallback über mehrere Bereitstellungen hinweg. Die v1.0.0 von LiteLLM erfordert openai>=1.0.0. Die Hauptmerkmale umfassen auch Budget- und Ratenlimits pro Projekt. Weitere unterstützte Anbieter sind unter anderem Azure, HuggingFace und Anthropic.