openlit
Open source platform for AI Engineering: OpenTelemetry-native LLM Observability, GPU Monitoring, Guardrails, Evaluations, Prompt Management, Vault, Playground. 🚀💻 Integrates with 50+ LLM Providers,
2.3k
Stars
+194
Stars/month
10
Releases (6m)
Overview
OpenLIT 是一个开源的 AI 工程平台，专为生成式 AI 和大语言模型(LLM)开发而设计。该平台基于 OpenTelemetry 标准，提供原生的可观测性能力，支持 LLM、向量数据库和 GPU 的全栈监控。通过一行代码即可启用完整的监控功能，帮助开发者从测试环境平滑过渡到生产环境。平台集成了 50+ LLM 提供商，包含分析仪表板、提示词管理、API 密钥保管库、实验场地等功能。OpenLIT 遵循并维护 OpenTelemetry 社区的语义约定，提供厂商中立的 SDK（支持 Python、TypeScript、Go），内置 11 种评估类型，支持护栏、评估和规则引擎等高级功能，为 AI 应用的开发、监控和优化提供一站式解决方案。
Pros
- + OpenTelemetry 原生支持，厂商中立，可与现有可观测性工具无缝集成
- + 一行代码集成，提供从 LLM 到 GPU 的全栈监控能力
- + 功能丰富的一体化平台，包含监控、评估、提示词管理、实验场地等完整工具链
Cons
- - 作为综合性平台，对于简单用例可能过于复杂
- - 开源项目需要自行部署和维护基础设施
Use Cases
- • LLM 应用的性能监控和成本跟踪
- • 多 LLM 提供商的实验和对比测试
- • AI 开发工作流的统一管理和版本控制
Getting Started
安装对应语言的 SDK（pip install openlit 或 npm install openlit），在代码中添加一行初始化代码启用监控，访问仪表板查看应用性能指标和分析数据