gateway
A blazing fast AI Gateway with integrated guardrails. Route to 200+ LLMs, 50+ AI Guardrails with 1 fast & friendly API.
open-sourcetool-integration
11.1k
Stars
+923
Stars/month
9
Releases (6m)
Overview
Gateway是一个开源的AI网关，专为快速、可靠和安全地路由到1600+语言、视觉、音频和图像模型而设计。作为一个轻量级的企业级解决方案，Gateway每天处理超过100亿个tokens，提供低于1ms的延迟和仅122kb的占用空间。该工具支持250+大语言模型的统一API访问，具备自动重试、故障转移、负载均衡等企业级功能。Gateway不仅是开源项目（11K+ GitHub星标），还提供托管服务和企业部署选项。其核心价值在于简化多模型集成，让开发者可以在2分钟内集成任何语言模型，同时通过内置的可靠性机制防止服务中断。工具正在向2.0版本演进，将Portkey的企业级网关核心合并到开源版本中，为AI应用提供更强大的基础设施支持。
Pros
- + 支持1600+模型的大规模路由能力，覆盖主流AI提供商
- + 超高性能表现：<1ms延迟，122kb轻量级架构，日处理100亿tokens验证
- + 企业级可靠性：自动重试、故障转移、负载均衡等生产环境必需功能
Cons
- - 企业级功能可能对简单用例过于复杂
- - 文档信息不完整，可能存在学习曲线
- - 高级配置和企业部署可能需要技术专业知识
Use Cases
- • 多模型AI应用需要统一API接口和智能路由选择
- • 企业级AI服务要求高可用性、自动故障转移和负载均衡
- • 大规模AI应用需要成本优化和性能监控的网关层
Getting Started
1. 通过npm安装Gateway包或部署到AWS EC2/自托管环境；2. 配置API密钥和要使用的AI模型提供商；3. 通过统一API接口开始调用各种LLM模型