免费/低价 全覆盖(600+) 自托管部署,无境内外节点概念;上游供应商可达性取决于你自己的网络环境

LiteLLM 怎么样?测评与对比

开源AI网关的事实标准:自托管免费,把140+供应商、1800+模型统一成OpenAI协议

最后核实日期:2026-10-15 · 访问官网 →

它不是中转站,而是中转站可以用来自建的东西

先把定位说清楚:LiteLLM(litellm.ai)是一个开源 AI 网关(Python SDK + proxy 服务),外加一个付费企业版。官网网关页自己写的是「Self-hosted, on-prem, or in your cloud」,标签是 On-prem / Multi-Cloud / Kubernetes / Helm——它没有托管 SaaS 版本,你部署在自己或自己的云上。

这意味着它和中转站解决的是完全不同的问题:中转站解决「我没有官方账号/渠道,或者官方渠道在国内不好用」;LiteLLM 解决「我有很多官方 Key,怎么统一成一套接口,并做限流、重试、成本核算和权限管理」。如果你的痛点是前者,LiteLLM 帮不上忙;如果是后者,它基本是这个品类的默认答案。

规模:1800+ 模型、6.1 万 star

官网首页写的是「一个 OpenAI 兼容 API 对接 140+ 供应商、1800+ 模型」,网关页给的是 1892 个模型;文档里能直接看到 Bedrock、Azure OpenAI、OpenAI、Anthropic、Vertex AI、vLLM、NVIDIA NIM 等具体清单。

这些数字里有一项可以独立核实:GitHub 仓库 BerriAI/litellm 有 6.1 万+ star、1000+ 贡献者,而且在我们核实的当天仓库仍有提交。另外它维护了一个公开的模型价格数据库(models.litellm.ai),可以直接用来做成本核算——对需要做预算的人很实用。

需要说明的是,官网自身的规模数字前后并不一致(100+ 与 140+ 供应商、53K/58.8K/61.2K star 混着出现),对一个主打治理的产品来说,这些细节不够严谨。

价格:开源免费,企业版按容量报价

- 开源版:$0,官网标注「Free forever · self-hosted」
- 企业版:不公开标价。官网原话是“按年度网关请求容量、部署架构与支持需求定价,绝不按 token 计费”,
  需联系销售,或经 AWS Marketplace / 经销商采购
- 企业版支持响应 SLA:Sev 0 = 1 小时、Sev 1 = 6 小时、Sev 2-3 = 24 小时
  (太平洋时间周一至周六 7:00-19:00)、漏洞修复 = 72 小时
- 试用:官网可申请 30 天企业版试用 Key(邮件发放)

官方另宣称 SOC 2 Type 2 与 ISO 27001(trust.litellm.ai)。性能类宣称(比如「每美元请求量提升约 4.5 倍」、客户案例里的降本比例)属于厂商或客户自述,本站未做独立验证。

适合谁

适合已经在用多家官方 API、需要一层统一网关(密钥管理、虚拟 Key 与预算、限流重试、日志与成本看板)的团队,也适合把它当成自建「中转站」的地基——本站收录的不少中转站本身就是基于 One API / New API 二次开发的,而 LiteLLM 是同一思路里最主流的开源实现。

不适合:完全没有上游 Key、只想要「买额度直接用」的用户;以及不愿维护服务器的个人开发者。这两类需求,下面的托管方案更合适。

本文信息核实日期:2026-10-15,定价、模型数量与 SLA 窗口以 litellm.ai 官网、企业版页面及 GitHub 仓库当日状态为准。

相关推荐

  • Cloudflare AI Gateway:免费AI流量控制层,缓存/限速/监控,边缘加速
  • Portkey:LLMOps全套件,1600+模型覆盖,50+护栏规则,生产级AI网关
  • OpenRouter:跨厂商多模型聚合平台,200-300+ 模型,一个 API Key 横向调用 OpenAI/Anthropic/Google/Meta/Mistral 等
  • Vercel AI Gateway:0%加价,$5免费额度,ZDR零数据驻留,前端开发者首选

快速信息卡

定价模式开源版自托管免费(官网标注“Free forever · self-hosted”,$0);企业版不公开标价,官方说明“按年度网关请求容量、部署架构与支持需求定价,绝不按token计费”,需联系销售或经AWS Marketplace采购;官方公布的支持响应SLA为Sev 0 1小时、Sev 1 6小时、Sev 2-3 24小时(太平洋时间周一至周六7:00-19:00)、漏洞修复72小时
模型覆盖官网自述一个OpenAI兼容API对接140+供应商、1800+模型(网关页写1892个模型);文档明确点名Bedrock、Azure OpenAI、OpenAI、Anthropic、Vertex AI、vLLM、NVIDIA NIM等,并提供公开的模型价格数据库(models.litellm.ai)
延迟/SLA开源版不含SLA;企业版按严重级别公布响应窗口(Sev 0为1小时、Sev 1为6小时),并提供30天企业版试用Key;性能类宣称(“每美元请求量提升约4.5倍”、客户案例中的降本比例)为厂商或客户自述
国内直连自托管部署,无境内外节点概念;上游供应商可达性取决于你自己的网络环境
适用场景开发者 / 企业
邀请/返利计划未发现公开联盟/返利计划。

优点

  • 真正的开源免费:自托管网关不抽任何加价,Key与流量不经过第三方(官网FAQ明确“我们不接触你的数据与流量”)
  • 项目活跃度可独立核实:GitHub仓库6.1万+ star、1000+贡献者,核实当天仓库仍有提交,且维护公开的模型价格数据库
  • 企业版把支持响应时间按严重级别写成了明文SLA(Sev 0为1小时),新模型支持速度也是这个品类里最快的之一

缺点

  • 它是基础设施不是中转站:需要你自己的上游API Key和一台服务器,因此完全不能解决“官方账号或渠道拿不到”的问题
  • 企业版不公开价格,完全按销售报价,预算不可预估
  • 官网自身的规模数字前后不一致(100+与140+供应商、53K/58.8K/61.2K star混用),对一个主打治理的产品来说不够严谨

对比更多AI API中转站

查看完整对比表,按价格档位、模型覆盖、是否国内直连快速筛选。

返回测评榜 →