Ollama
快速上手并运行 Kimi-K2.5、GLM-5、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma 等模型。
仍在活跃开发：最近 90 天有 295 次提交，最近一次提交在 2026-09-30。
Ollama 是一个强大的本地语言模型运行平台，让开发者能够在本地环境中轻松部署和使用开源大语言模型，如 Kimi-K2.5、GLM-5、MiniMax、DeepSeek、Qwen、Gemma 等。作为一个跨平台解决方案，Ollama 支持 macOS、Windows、Linux 和 Docker 环境，为不同操作系统的用户提供了统一的模型运行体验。该工具基于 llama.cpp 项目构建，提供了简洁的 CLI 界面和完整的 REST API，使得模型集成变得简单直接。Ollama 的核心优势在于其丰富的生态系统集成能力，支持与 Claude Code、Codex、OpenClaw 等多种 AI 工具的无缝连接，能够将本地模型转化为跨平台 AI 助手，覆盖 WhatsApp、Telegram、Slack、Discord 等多个通讯平台。通过官方的 Python 和 JavaScript 库，开发者可以快速构建基于本地模型的应用程序，而无需依赖外部 API 服务，确保数据隐私和成本控制。
和同类工具的区别
不同于侧重生产服务器的 vLLM 或以 GUI 为先的 LM Studio，Ollama 是运行本地 LLM 最简单的 CLI 优先工具，支持一条命令完成设置，提供兼容 OpenAI 的 API，并拥有包含 100+ 社区集成的最大生态系统。
主要能力
- 一条命令启动本地 LLM 服务，自动从 ollama.com/library 下载模型
- 兼容 OpenAI 的 REST API，可在现有应用中直接替换使用
- 通过 GGUF 格式原生支持 Gemma、Llama、Qwen、Mistral、Phi 以及 100+ 开放模型
- 通过 'ollama launch' 命令与编程 Agent（Claude Code、Codex、OpenCode）集成
- 提供覆盖全部 API 的 Python 和 JavaScript 客户端库
- 跨平台支持：macOS、Windows、Linux、Docker，支持 GPU 加速
适合
- 希望零配置在本地运行开源 LLM 的开发者
- 需要完全离线进行 LLM 推理的隐私敏感场景
不太适合
- 支持自动扩缩容的生产规模云端推理——请改用 vLLM、TGI 或云端 API
- 模型微调或训练——请改用 Unsloth 或 Axolotl
局限
- 不提供云端托管推理——仅在本地硬件上运行
- 模型质量受可用显存限制；大型模型需要高端 GPU
- 单一后端（llama.cpp）——不支持 vLLM 或 TensorRT-LLM
- 无内置模型微调功能
Ollama 的替代品
常见问题
- Ollama 是做什么的？
- Ollama 是一个强大的本地语言模型运行平台，让开发者能够在本地环境中轻松部署和使用开源大语言模型，如 Kimi-K2.5、GLM-5、MiniMax、DeepSeek、Qwen、Gemma 等。作为一个跨平台解决方案，Ollama 支持 macOS、Windows、Linux 和 Docker 环境，为不同操作系统的用户提供了统一的模型运行体验。该工具基于 llama.cpp 项目构建，提供了简洁的 CLI 界面和完整的 REST API，使得模型集成变得简单直接。Ollama 的核心优势在于其丰富的生态系统集成能力，支持与 Claude Code、Codex、OpenClaw 等多种 AI 工具的无缝连接，能够将本地模型转化为跨平台 AI 助手，覆盖 WhatsApp、Telegram、Slack、Discord 等多个通讯平台。通过官方的 Python 和 JavaScript 库，开发者可以快速构建基于本地模型的应用程序，而无需依赖外部 API 服务，确保数据隐私和成本控制。
- Ollama 还在维护吗？
- 仍在活跃开发：最近 90 天有 295 次提交，最近一次提交在 2026-09-30。
- Ollama 有哪些替代品？
- 和 Ollama 最接近的开源替代品有 llama-cpp-python、OpenLLM、TextGen、llama.cpp、MLC LLM、vLLM。
- Ollama 是开源的吗？
- 是的，Ollama 是开源项目，代码托管在 GitHub 上。
星数、提交和发版数据来自 GitHub API，每天自动刷新。介绍文字由 AI 从英文翻译，并经过第二个模型的回译校对。 项目地址：github.com/ollama/ollama