LiteLLM
統一されたOpenAI互換インターフェースで100+のLLMを呼び出すためのオープンソースPython SDKおよびAIゲートウェイ
現在も活発に開発中：直近 90 日間のコミットは 13,173 件、最新コミットは 2026-10-01。
LiteLLMは強力なPython SDKおよびAIゲートウェイプロキシサーバーで、100を超えるLLMのAPIを呼び出すための統一インターフェースを開発者に提供します。最大の価値は、異なるAIプロバイダーの呼び出し方法を標準化し、OpenAI形式のコードでAnthropic Claude、Google VertexAI、AWS Bedrock、Azure OpenAIなどのさまざまなモデルを呼び出せることです。モデル呼び出し機能だけでなく、コスト追跡、安全ガードレール、負荷分散、詳細なログ記録などのエンタープライズ向け機能も統合しています。LiteLLMはチャット補完、埋め込みベクトル、画像生成、音声処理などのさまざまなAI機能のエンドポイントをサポートしており、複数モデルを使用するAIアプリケーションの構築に最適です。GitHubで4万を超えるスターを獲得し、Y CombinatorのW23バッチに属する企業で、AIインフラ分野で高い評価と活発な開発コミュニティを有しています。
他ツールとの違い
OpenRouter（ホステッド環境のみのルーティング）とは異なり、LiteLLMはセルフホストが可能で、ユーザーごとの支出追跡、仮想キー、A2A/MCPプロトコル対応を備えたフル機能のゲートウェイを提供し、エンタープライズ向けのLLMトラフィック制御を担います。
主な機能
- 100+のLLMプロバイダー（Bedrock、Azure、Anthropic、Groqなど）に対応する統一されたOpenAI形式のAPI
- 認証、レート制限、プロジェクト／ユーザーごとの支出追跡を備えたAIゲートウェイプロキシサーバー
- 複数のデプロイメントにまたがるリトライ／フォールバックロジックを備えたルーター
- LangGraph、Vertex AI、BedrockのAgent向けA2A（Agent-to-Agent）プロトコル対応
- MCPサーバーを任意のLLMに接続するMCP（Model Context Protocol）ゲートウェイ
- 負荷分散使用時に1000 RPSで8msのP95レイテンシ
向いている用途
- コスト追跡と認証を一元化し、複数プロバイダーのLLMアクセスを管理するMLプラットフォームチーム
- アプリケーションコードを変更せずにLLMプロバイダーを切り替える開発者
向いていない用途
- 単一プロバイダーのシンプルなアプリ — SDKの直接利用のほうがシンプルかつ高速
- 自己完結型のAgent構築 — 代わりにLangGraphまたはCrewAIを使用
制限事項
- Python専用SDK — ネイティブのJavaScript/Goクライアントなし
- シンプルな直接呼び出しのユースケースでは、プロキシサーバーによるネットワークホップの追加とレイテンシ増加の可能性
- エンタープライズ向け機能（SSO、高度な分析）には有料プランが必須
LiteLLM の代替ツール
- AI Gateway（1.3万スター）
- Bifrost AI Gateway：適応型ロードバランサー、クラスターモード、ガードレール、1000+モデルのサポートを備え、5k RPSでのオーバーヘッドが<100 µsの最速のエンタープライズ向けAIゲートウェイ（LiteLLMより50倍高速）です。（8,498スター）
- OmniRoute：複数プロバイダーへのルーティング、リトライ、フォールバック、キャッシュ、オブザーバビリティに対応するOpenAI互換ゲートウェイ（7.2万スター）
- TensorZero（1.2万スター）
- OpenLM（368スター）
- NadirClaw（656スター）
よくある質問
- LiteLLM とは？
- LiteLLMは強力なPython SDKおよびAIゲートウェイプロキシサーバーで、100を超えるLLMのAPIを呼び出すための統一インターフェースを開発者に提供します。最大の価値は、異なるAIプロバイダーの呼び出し方法を標準化し、OpenAI形式のコードでAnthropic Claude、Google VertexAI、AWS Bedrock、Azure OpenAIなどのさまざまなモデルを呼び出せることです。モデル呼び出し機能だけでなく、コスト追跡、安全ガードレール、負荷分散、詳細なログ記録などのエンタープライズ向け機能も統合しています。LiteLLMはチャット補完、埋め込みベクトル、画像生成、音声処理などのさまざまなAI機能のエンドポイントをサポートしており、複数モデルを使用するAIアプリケーションの構築に最適です。GitHubで4万を超えるスターを獲得し、Y CombinatorのW23バッチに属する企業で、AIインフラ分野で高い評価と活発な開発コミュニティを有しています。
- LiteLLM は現在もメンテナンスされていますか？
- 現在も活発に開発中：直近 90 日間のコミットは 13,173 件、最新コミットは 2026-10-01。
- LiteLLM の代替ツールは？
- LiteLLM に近いオープンソースの代替ツール：AI Gateway、Bifrost AI Gateway、OmniRoute、TensorZero、OpenLM、NadirClaw。
スター数・コミット・リリースのデータは GitHub API から毎日自動更新しています。紹介文は AI が英語から翻訳し、別のモデルで逆翻訳チェックを行っています。 リポジトリ：github.com/BerriAI/litellm