llama.cpp
使用 C/C++ 进行 LLM 推理
仍在活跃开发：最近 90 天有 1,467 次提交，最近一次提交在 2026-10-01。
GitHub 星数
13 万
近 30 天涨星
+4,859
近 90 天提交
1,467
近 6 个月发版
10
llama.cpp 是一个用 C/C++ 编写的高性能 LLM 推理引擎，仅需极少依赖即可在本地运行大语言模型。凭借近 100,000 个 GitHub 星标，它已成为本地 AI 推理的事实标准。该项目专注于使用 GGUF 格式高效运行模型，支持广泛的模型架构和量化级别。llama.cpp 包含命令行工具和 REST API 服务器（llama-server），便于集成到应用中。近期进展包括面向视觉模型的多模态支持、与 Hugging Face 生态系统的原生集成，以及为 NVIDIA 合作提供的 MXFP4 等专用模型格式支持。该工具包提供多种部署选项，从简单的 CLI 使用到 Docker 容器，并为 VS Code 和 Vim/Neovim 等常用代码编辑器提供用于代码补全任务的官方扩展。其 C/C++ 基础确保了在不同硬件配置下的最优性能，因此在基于 Python 的替代方案可能过于消耗资源的边缘部署场景中尤其有价值。
和同类工具的区别
与针对数据中心吞吐量优化的 vLLM 不同，llama.cpp 旨在实现从 Raspberry Pi 到多 GPU 服务器的最大硬件兼容性，并提供最广的量化范围（1.5 位至 8 位）
主要能力
- 纯 C/C++ LLM 推理，零外部依赖
- 1.5 位至 8 位整数量化，减少内存占用并加快推理
- 通过 ARM NEON、Accelerate 和 Metal 框架针对 Apple Silicon 进行优化
- 通过自定义 CUDA 内核实现 NVIDIA GPU 加速，通过 HIP 支持 AMD，通过 MUSA 支持 Moore Threads
- 为超出显存容量的模型提供 CPU+GPU 混合推理
- 兼容 OpenAI 的 REST API 服务器（llama-server）
- 为视觉语言模型提供多模态支持
- 用于 FIM 代码补全的 VS Code 和 Vim/Neovim 扩展
适合
- 通过激进量化（1.5 位至 8 位）在消费级硬件上运行 LLM
- 在边缘设备或笔记本电脑上部署兼容 OpenAI 的本地 API 服务器
不太适合
- 生产规模的高吞吐量推理服务——请改用带有 PagedAttention 的 vLLM
- 训练或微调模型——请使用 Hugging Face Transformers 或 Axolotl
局限
- 主要针对 GGUF 格式优化——其他格式需要转换
- 高级功能（推测解码、分块预填充）需要手动配置
- 不内置模型微调功能——仅支持推理
llama.cpp 的替代品
- vLLM：面向 LLM 的高吞吐量、内存高效的推理与服务引擎（9.3 万星）
- MLC LLM（2.3 万星）
- PowerInfer（9,814星）
- Mistral Inference（1.1 万星）
- Text Generation Inference（1.1 万星）
- Ollama（18.2 万星）
常见问题
- llama.cpp 是做什么的？
- llama.cpp 是一个用 C/C++ 编写的高性能 LLM 推理引擎，仅需极少依赖即可在本地运行大语言模型。凭借近 100,000 个 GitHub 星标，它已成为本地 AI 推理的事实标准。该项目专注于使用 GGUF 格式高效运行模型，支持广泛的模型架构和量化级别。llama.cpp 包含命令行工具和 REST API 服务器（llama-server），便于集成到应用中。近期进展包括面向视觉模型的多模态支持、与 Hugging Face 生态系统的原生集成，以及为 NVIDIA 合作提供的 MXFP4 等专用模型格式支持。该工具包提供多种部署选项，从简单的 CLI 使用到 Docker 容器，并为 VS Code 和 Vim/Neovim 等常用代码编辑器提供用于代码补全任务的官方扩展。其 C/C++ 基础确保了在不同硬件配置下的最优性能，因此在基于 Python 的替代方案可能过于消耗资源的边缘部署场景中尤其有价值。
- llama.cpp 还在维护吗？
- 仍在活跃开发：最近 90 天有 1,467 次提交，最近一次提交在 2026-10-01。
- llama.cpp 有哪些替代品？
- 和 llama.cpp 最接近的开源替代品有 vLLM、MLC LLM、PowerInfer、Mistral Inference、Text Generation Inference、Ollama。
- llama.cpp 是开源的吗？
- 是的，llama.cpp 是开源项目，代码托管在 GitHub 上。
星数、提交和发版数据来自 GitHub API，每天自动刷新。介绍文字由 AI 从英文翻译，并经过第二个模型的回译校对。 项目地址：github.com/ggml-org/llama.cpp