LiteLLM
开源 Python SDK 和 AI 网关，通过统一的 OpenAI 兼容接口调用 100+ 个 LLM
仍在活跃开发：最近 90 天有 13,173 次提交，最近一次提交在 2026-10-01。
GitHub 星数
6 万
近 30 天涨星
+2,999
近 90 天提交
13,173
近 6 个月发版
10
LiteLLM 是一个强大的 Python SDK 和 AI 网关代理服务器，为开发者提供统一的接口来调用 100 多个 LLM API。它最大的价值在于标准化了不同 AI 提供商的调用方式，让开发者可以使用 OpenAI 格式的代码调用 Anthropic Claude、Google VertexAI、AWS Bedrock、Azure OpenAI 等各种模型。该工具不仅提供模型调用功能，还集成了成本追踪、安全护栏、负载均衡和详细日志记录等企业级特性。LiteLLM 支持聊天补全、嵌入向量、图像生成、音频处理等多种 AI 功能端点，是构建多模型 AI 应用的理想选择。拥有超过 4 万 GitHub 星标，属于 Y Combinator W23 批次公司，在 AI 基础设施领域具有较高声誉和活跃的开发社区。
和同类工具的区别
与 OpenRouter（仅提供托管式路由）不同，LiteLLM 可自托管，并提供完整的网关，支持按用户追踪支出、虚拟密钥以及 A2A/MCP 协议，成为企业级 LLM 流量控制器
主要能力
- 面向 100+ 个 LLM 提供商（Bedrock、Azure、Anthropic、Groq 等）的统一 OpenAI 格式 API
- AI 网关代理服务器，支持身份验证、速率限制以及按项目/用户追踪支出
- 支持跨多个部署执行重试/回退逻辑的路由器
- 为 LangGraph、Vertex AI、Bedrock 的 Agent 提供 A2A（Agent-to-Agent）协议支持
- 将 MCP 服务器桥接到任意 LLM 的 MCP（模型上下文协议）网关
- 启用负载均衡时，在 1000 RPS 下 P95 延迟为 8ms
适合
- 通过集中式成本追踪和身份验证来管理多提供商 LLM 访问的 ML 平台团队
- 在不更改应用代码的情况下切换 LLM 提供商的开发者
不太适合
- 简单的单提供商应用——直接使用 SDK 更简单、更快
- 独立构建 Agent——请改用 LangGraph 或 CrewAI
局限
- SDK 仅支持 Python——无原生 JavaScript/Go 客户端
- 对于简单的直接调用场景，代理服务器会增加一次网络跳转，并可能增加延迟
- 企业功能（SSO、高级分析）需要付费套餐
LiteLLM 的替代品
- AI Gateway（1.3 万星）
- Bifrost AI Gateway：最快的企业级 AI 网关（比 LiteLLM 快 50x），具备自适应负载均衡器、集群模式、安全护栏，支持 1000+ 模型，在 5k RPS 下开销 <100 µs。（8,498星）
- OmniRoute：兼容 OpenAI 的网关，支持多提供商路由、重试、回退、缓存和可观测性（7.2 万星）
- TensorZero（1.2 万星）
- OpenLM（368星）
- NadirClaw（656星）
常见问题
- LiteLLM 是做什么的？
- LiteLLM 是一个强大的 Python SDK 和 AI 网关代理服务器，为开发者提供统一的接口来调用 100 多个 LLM API。它最大的价值在于标准化了不同 AI 提供商的调用方式，让开发者可以使用 OpenAI 格式的代码调用 Anthropic Claude、Google VertexAI、AWS Bedrock、Azure OpenAI 等各种模型。该工具不仅提供模型调用功能，还集成了成本追踪、安全护栏、负载均衡和详细日志记录等企业级特性。LiteLLM 支持聊天补全、嵌入向量、图像生成、音频处理等多种 AI 功能端点，是构建多模型 AI 应用的理想选择。拥有超过 4 万 GitHub 星标，属于 Y Combinator W23 批次公司，在 AI 基础设施领域具有较高声誉和活跃的开发社区。
- LiteLLM 还在维护吗？
- 仍在活跃开发：最近 90 天有 13,173 次提交，最近一次提交在 2026-10-01。
- LiteLLM 有哪些替代品？
- 和 LiteLLM 最接近的开源替代品有 AI Gateway、Bifrost AI Gateway、OmniRoute、TensorZero、OpenLM、NadirClaw。
星数、提交和发版数据来自 GitHub API，每天自动刷新。介绍文字由 AI 从英文翻译，并经过第二个模型的回译校对。 项目地址：github.com/BerriAI/litellm