vLLM对比SGLang与llama.cpp：2026年10月九大推理引擎

同一个问题，仅由 Claude 回答。上方的最终榜单综合了所有 AI。

1. 1
   vLLM

   其插件模式让 Ascend、英特尔 Gaudi、沐曦集成电路、Rebellions 和 IBM Spyre 都能接入，而 Ascend 的插件正是这一模式的参考案例。

   来源 ↗
2. 2
   SGLang

   它把 Ascend 当作共享模型代码的一部分，主文件中有 _is_npu 分支，此外还有超威半导体、TPU 和 Gaudi 的路径。

   来源 ↗
3. 3
   llama.cpp

   这里芯片支持最广的引擎：Metal、CUDA、HIP、Vulkan、SYCL、CANN（Ascend）和 MUSA 都在同一个代码库中，但它是为单用户速度而设计，而非数据中心批处理。

4. 4
   xLLM（京东，现归开放原子开源基金会）

   专为中国加速器设计，据其作者称，在相同 TPOT 下于 Qwen 上比 MindIE 快1.7倍，比 vLLM-Ascend 快2.2倍，这一说法出自作者本人。

5. 5
   DeepInfer（深度求索）

   发布仅一天，已被描述为每天处理约155万亿 tokens，但它只支持一款模型、两种芯片。

6. 6
   TensorRT-LLM（英伟达参考实现）

   速度基准：在一项对比中于 H100 上约为 2,400 tok/s，且不支持任何非英伟达芯片。

7. 7
   Ollama

   最容易安装，但有一份报告称其在负载下停滞在约41 tok/s，而 vLLM 的峰值接近793。

   来源 ↗
8. 8
   MLC LLM

   面向边缘设备、移动端和 WebGPU，GitHub 星标约2.16万。

   来源 ↗
9. 9
   Hugging Face TGI

   一款生产级服务器，支持自动量化和 LoRA，但我没有找到非英伟达或 DeepSeek-R1 的数据。

10. 10
    MindIE（华为）

    在 Atlas 800 A2 和 300I Duo 上为官方支持，但有一篇基准测试文章称其部署门槛较高。

    来源 ↗

同一个问题，仅由 ChatGPT 回答。上方的最终榜单综合了所有 AI。

1. 1
   vLLM（2026）

   一次可复现的 H200 测试中，在1,000输入/2,000输出 tokens 的条件下，vLLM 输出速度为1,137 tok/s，SGLang 为1,041；但另一次测试的结果正相反。

   来源 ↗
2. 2
   SGLang（2026）

   在200个提示词时，于所引的1k/2k H200 工作负载上，SGLang 领先 vLLM 约31%；提示词较少时，则落后。

   来源 ↗
3. 3
   llama.cpp（2026）

   同一代码库可覆盖苹果公司的 Metal、超威半导体、英特尔 SYCL、Vulkan 等后端，使它成为此处实用性最广的摆脱特定硬件的途径。

   来源 ↗
4. 4
   DeepInfer（2026）

   它把极为重要的 Ascend 950 目标，与一个发布当天仅有三次公开提交、未公布 Ascend 吞吐量的代码库放在一起。

   来源 ↗
5. 5
   TensorRT-LLM（英伟达参考实现，2026）

   它仍是以英伟达为核心的速度基准，但作为摆脱英伟达的途径，其价值实际上为零。

   来源 ↗
6. 6
   LMDeploy（2026）

   一个规模可观的推理选项，并有据可查的非英伟达方向，但这里收集的证据并未使它与 vLLM 和 SGLang 处于同等的基准测试水平。

   来源 ↗
7. 7
   Hugging Face TGI（2026）

   一个成熟且文档完备的部署项目，但所引测量数据未能建立相应的跨芯片速度对比。

   来源 ↗
8. 8
   MLC-LLM（2026）

   它以编译器为导向的可移植性拓宽了设备选择，但现有证据未提供同一模型、同一硬件下的吞吐量对比。

   来源 ↗
9. 9
   Ollama（2026）

   它简单的本地分发覆盖了许多用户，但用户便利性和后端可移植性并不能替代受控的推理基准测试。

   来源 ↗
10. 10
    Aphrodite Engine（2026）

    一个社区推理替代方案，但这里收集的公开证据在跨厂商支持和可比吞吐量上，都比领先者薄弱。

    来源 ↗

同一个问题，仅由 Grok 回答。上方的最终榜单综合了所有 AI。

1. 1
   SGLang

   一份 README 把超威半导体、TPU、英特尔、苹果公司和华为与英伟达并列；一次 H100 测试中，它达到16,215 tokens/s，而 vLLM 为12,553。

   来源 ↗
2. 2
   vLLM

   在唯一一张经过审计的表格中，以原始吞吐量为目标时，vLLM 领先 TensorRT-LLM 8%；以延迟上限为目标时，则落后22%。

   来源 ↗
3. 3
   llama.cpp

   CANN、HIP、Metal、Vulkan 和 SYCL 都在同一代码库中。在一篇关于 A100 的文章里，同一代码库运行700亿参数模型时，批处理速率仅约为 vLLM 的三分之一。

4. 4
   DeepInfer

   刚发布一天，星标1.41万，同一仓库支持两个芯片系列，但只运行一款模型，缓存问题则留给用户自己解决。

5. 5
   TensorRT-LLM

   英伟达的标尺：在 MLPerf 的延迟上限下达到87,444 tokens/s，且不支持任何非英伟达芯片系列。

   来源 ↗
6. 6
   Ollama

   18.4万星标，安装只需一行命令。它是披着更友好外衣的 llama.cpp，而不是整个 GPU 集群的第二种答案。

   来源 ↗
7. 7
   vLLM Ascend

   10月11日的候选版本已列出深度求索 V4.1、GLM-5.3 和 Qwen3.8-27B；而且它是独立的第二个仓库，而不是 vLLM 内部的一个选项。

   来源 ↗
8. 8
   Text Generation Inference（Hugging Face）

   在一场70B模型对比中仍排第三：约2,100–2,600 tokens/s，落后于 vLLM 的2,800–3,400，领先于 llama.cpp。

   来源 ↗
9. 9
   llamafile

   一个文件，适用于任何主流桌面操作系统。它是 Mozilla 对 llama.cpp 的打包，因此继承了同样的芯片列表，也继承了速度上限。

   来源 ↗
10. 10
    Triton Inference Server

    围绕 TensorRT-LLM 的开放外壳：一个真正的服务器，采用 BSD 许可，但依然属于英伟达。

    来源 ↗

同一个问题，仅由 Gemini 回答。上方的最终榜单综合了所有 AI。

1. 1
   vLLM（2026）

   毫无争议的生产级 AI 支柱，在单一的连续批处理引擎下原生统一了英伟达 CUDA、超威半导体 ROCm、华为 Ascend 和英特尔 Gaudi。

   来源 ↗
2. 2
   SGLang（2026）

   借助 RadixAttention 大幅降低智能体和多轮对话的延迟，在共享前缀的工作负载上比标准运行时快最多3倍，同时原生支持 ROCm。

   来源 ↗
3. 3
   llama.cpp（2026）

   摆脱企业 GPU 垄断的终极便携途径，无需任何 CUDA 依赖，即可在苹果公司的 Metal、CPU AVX-512 和 ROCm 上无缝运行700亿参数模型。

   来源 ↗
4. 4
   DeepInfer（2026）

   深度求索经受过实战检验的每天155万亿 tokens 引擎，采用定制的 FlashMLA 和 DeepGEMM 内核，面向英伟达 SM100 和华为 Ascend 950。

   来源 ↗
5. 5
   TensorRT-LLM（英伟达参考实现，2026）

   英伟达的专有速度王冠：在 H100 和 Blackwell 上原始吞吐量无与伦比，但完全锁定在英伟达硬件生态内。

   来源 ↗
6. 6
   LMDeploy（2026）

   上海人工智能实验室出品的轻量级强者，TurboMind C++ 的 token 生成速度极快，并官方支持华为 Ascend 加速。

   来源 ↗
7. 7
   TGI - Text Generation Inference（2026）

   Hugging Face 久经考验的企业级服务器，可在英特尔 Gaudi、超威半导体 ROCm 和英伟达 GPU 上稳定部署多种加速器。

   来源 ↗
8. 8
   Ollama（2026）

   把 llama.cpp 和定制运行器打包成一条命令行指令，让本地的非英伟达工作站即插即用，变成 AI 服务器。

   来源 ↗
9. 9
   Aphrodite Engine（2026）

   PygmalionAI 的社区引擎，专注于在超威半导体 ROCm 和多样的消费级硬件上进行大规模无约束 MoE 推理。

   来源 ↗
10. 10
    MLC-LLM（2026）

    借助 Apache TVM 把深度学习模型编译为独立的可执行机器码，可在高通、苹果公司 Metal 和 Vulkan 设备上运行。

    来源 ↗

同一个问题，仅由 Kimi 回答。上方的最终榜单综合了所有 AI。

1. 1
   vLLM（PyTorch基金会）

   约9.1万星标，每隔几周就发布一次版本（v0.30.0，9月22日）；主代码已支持英伟达、超威半导体和英特尔，Gaudi、Ascend 和 TPU 则通过插件接入，是摆脱英伟达的默认途径。

   来源 ↗
2. 2
   SGLang（RadixArk / LMSYS 起源）

   RadixAttention 使它成为智能体循环的专家，其 Ascend 移植版官方支持的前沿开放模型比任何其他引擎都多，包括 DeepSeek V4.1、GLM-5.3、Kimi K3、MiniMax-M3 和 Hy4。

   来源 ↗
3. 3
   llama.cpp（ggml）

   一个 C++ 代码库承载 CUDA、ROCm、Vulkan、Metal、SYCL 和 MUSA 后端——它在8块超威半导体 MI300X GPU 上运行完整的6710亿参数 DeepSeek-R1，输出速度约为37 tok/s，且没有厂商分支。

   来源 ↗
4. 4
   TensorRT-LLM（英伟达）

   英伟达平台上的速度之王：在100个并发请求下，Llama-3.3-70B 达到2,780 tok/s，vLLM 为2,400；代价是需要28分钟的引擎编译，且完全不支持非英伟达芯片。

   来源 ↗
5. 5
   DeepInfer（deepseek-ai）

   发布仅一天，却已是唯一与前沿模型共同设计的引擎：深度求索自家的生产技术栈，从发布起就针对英伟达 SM100 和华为 Ascend 950 上的 V4.1-Flash 做了调优。

   来源 ↗
6. 6
   KTransformers（KVCache.AI）

   一个学术上的异类，其 CPU 卸载设计（SOSP'25 论文）让6710亿参数级 MoE 模型能在24GB 级 GPU 显存上运行，其内核现在已集成到 SGLang 中。

   来源 ↗
7. 7
   Ollama

   开发者的入门之选：一个包裹 llama.cpp 的二进制程序，支持 CUDA、ROCm 和 Metal；自 0.19 版起还提供预览版 MLX 后端，在苹果芯片上的解码速度快1.6至2倍。

   来源 ↗
8. 8
   LMDeploy / TurboMind（InternLM）

   在自家地盘上胜过 vLLM 的 C++ 引擎：在7B 模型、H100 上为1,980 tok/s，vLLM 为1,850；同时，其 PyTorch 引擎补上了 TurboMind 核心缺少的华为 Ascend 官方支持。

   来源 ↗
9. 9
   MLX / mlx-lm（苹果公司）

   苹果公司的 MIT 许可数组框架，是唯一原生适配统一内存的严肃引擎：vllm-mlx 在 M4 Max 上达到525 tok/s，比 llama.cpp 高21%至87%。

   来源 ↗
10. 10
    Hugging Face TGI（text-generation-inference）

    Hugging Face 自家的 Rust 服务器现已进入维护模式，并建议用户转向 vLLM 或 SGLang，这正式表明推理技术栈已向两个 Apache-2.0 领先者集中。

    来源 ↗

同一个问题，仅由 Wenxin 回答。上方的最终榜单综合了所有 AI。

1. 1
   vLLM（全球，2023年至今）

   占开放模型部署的70%，是默认选择——如今也原生运行在华为 Ascend 上

   来源 ↗
2. 2
   SGLang（全球，2024年至今）

   在同样的 GPU 上正面对比快于 vLLM——并且比它更早支持 Ascend

   来源 ↗
3. 3
   DeepInfer（深度求索，中国，2026）

   2026年10月20日诞生即开放——在英伟达和 Ascend 上同样运行深度求索自家的155万亿 tokens 工作负载

   来源 ↗
4. 4
   llama.cpp（全球，2023年至今）

   能在一台 MacBook 上运行700亿参数模型——是大众的引擎，即使它并非最快

   来源 ↗
5. 5
   TensorRT-LLM（英伟达，2023年至今）

   英伟达自家的速度之王——在 H100/B200 上最快，但若想脱离英伟达就毫无用处

   来源 ↗
6. 6
   Ollama（全球，2023年至今）

   不是原始引擎，而是包裹在 llama.cpp 外的精致外壳，让非技术人员也能轻松使用本地 AI

   来源 ↗
7. 7
   TGI / Text Generation Inference（Hugging Face，2022年至今）

   Hugging Face 的生产级封装——在云端广泛使用，但在芯片多样性上停滞不前

   来源 ↗
8. 8
   OpenVINO / OpenVINO GenAI（英特尔，2023年至今）

   英特尔针对 Gaudi 和 CPU 的答案——在英特尔硬件上很快，但模型支持落后

   来源 ↗
9. 9
   TabbyML / Tabby（全球，2023年至今）

   正在成长的小众引擎，对 Ascend 和超威半导体的支持比大厂更认真

   来源 ↗
10. 10
    PowerInfer（小米集团，中国，2024年至今）

    Mi 的平价服务器引擎——单块 GPU 即可运行700亿参数模型，但在 Ascend 上尚未经过实战检验