आज के ट्रेंड पर वापस: चीन की DeepSeek अपने AI को चलाने वाला इंजन मुफ़्त दे रही है

Poly रेटिंग · आज के ट्रेंड से

vLLM बनाम SGLang बनाम llama.cpp: अक्टूबर 2026 के शीर्ष 9 इंजन

एक ही 8× H200 सर्वर पर DeepSeek-R1 चलाने पर एक प्रकाशित परीक्षण में vLLM आगे है (1,137 बनाम 1,041 टोकन/सेकंड), और अगले में SGLang आगे है (1,329 बनाम 1,042), इसलिए “कौन तेज़ है” इस पर निर्भर है कि आप कैसे परखते हैं।

नंबर 1: SGLang
9 स्थान
21 अक्टूबर 2026, 01:15 EDT तक

01अंतिम सूची

अग्रणी AI ने स्वतंत्र रूप से अपनी-अपनी दस स्थानों की सूची बनाई। यहाँ एक आसानी से जाँचा जा सकने वाला नतीजा है: हर स्थान का कारण, स्रोत और उसे शामिल करने वाले AI की सूची है।

क्रम: सबसे अधिक AI सहमति से सबसे कम तक।

चमकीला बैज: इस AI ने प्रविष्टि अपनी सूची में रखी। फीका बैज: नहीं रखी।

1
SGLang
मुख्य प्रोजेक्ट में हुआवेई Ascend, AMD, TPU और Apple समर्थन रखता है। प्रॉम्प्ट संख्या के आधार पर DeepSeek-R1 पर vLLM को हराता या पीछे रहता है (200 प्रॉम्प्ट पर 3,276 बनाम 2,499 टोक/सेकंड)।
शामिल किया: Claude, ChatGPT, Grok, Gemini, Kimi, Wenxin. शामिल नहीं किया: Meta.
उनकी सूचियों में: Claude: 2 · ChatGPT: 2 · Grok: 1 · Gemini: 2 · Kimi: 2 · Wenxin: 2
हर AI ने क्या नोट किया 6
- Claudeस्थान 2
  यह Ascend को साझा मॉडल कोड का हिस्सा मानता है, मुख्य फ़ाइलों में _is_npu शाखाओं के साथ, और ऊपर AMD, TPU और Gaudi के रास्ते हैं।
  स्रोत ↗
- ChatGPTस्थान 2
  200 प्रॉम्प्ट पर SGLang उद्धृत 1k/2k H200 काम पर vLLM से लगभग 31% आगे है; कम प्रॉम्प्ट पर वह पीछे रहता है।
  स्रोत ↗
- Grokस्थान 1
  एक README इसे Nvidia के साथ AMD, TPU, Intel, Apple और हुआवेई नामित करता है, और एक H100 परीक्षण में इसका 16,215 टोकन/सेकंड है, जबकि vLLM का 12,553।
  स्रोत ↗
- Geminiस्थान 2
  RadixAttention के ज़रिए एजेंटिक और मल्टी-टर्न विलंब को तेज़ करता है, साझा प्रीफ़िक्स कामों पर मानक रनटाइम से 3 गुना तक आगे, और मूल ROCm समर्थन भी देता है।
  स्रोत ↗
- Kimiस्थान 2
  RadixAttention इसे एजेंट-लूप विशेषज्ञ बनाता है, और इसका Ascend पोर्ट DeepSeek V4.1, GLM-5.3, Kimi K3, MiniMax-M3, Hy4 जैसे फ़्रंटियर ओपन मॉडल आधिकारिक रूप से सपोर्ट करता है — किसी और इंजन से ज़्यादा।
  स्रोत ↗
- Wenxinस्थान 2
  एक ही GPU पर सीधी तुलना में vLLM से तेज़ — और Ascend समर्थन में उससे आगे
  स्रोत ↗
6 AI ने इसे यहाँ रखा
स्रोत ↗
2
llama.cpp
सबसे व्यापक एकल कोड ट्री: CUDA, HIP, Metal, Vulkan, SYCL, CANN (Ascend), MUSA। AMD के अनुसार 8 AMD MI300X पर पूरा DeepSeek-R1 डिकोड 37 टोक/सेकंड पर चला।
शामिल किया: Claude, ChatGPT, Grok, Gemini, Kimi, Wenxin. शामिल नहीं किया: Meta.
उनकी सूचियों में: Claude: 3 · ChatGPT: 3 · Grok: 3 · Gemini: 3 · Kimi: 3 · Wenxin: 4
हर AI ने क्या नोट किया 6
- Claudeस्थान 3
  यहाँ किसी भी इंजन की सबसे व्यापक चिप सूची: एक ट्री में Metal, CUDA, HIP, Vulkan, SYCL, CANN (Ascend) और MUSA, पर यह एकल-उपयोगकर्ता गति के लिए बना है, डेटासेंटर बैच के लिए नहीं।
- ChatGPTस्थान 3
  एक कोडबेस Apple Metal, AMD, Intel SYCL, Vulkan और दूसरे बैकएंड तक पहुँचता है, जिससे यह यहाँ सबसे व्यावहारिक गैर-Nvidia रास्ता बनता है।
  स्रोत ↗
- Grokस्थान 3
  CANN, HIP, Metal, Vulkan और SYCL एक ही ट्री में हैं — वही ट्री, जो एक A100 रिपोर्ट के अनुसार 70B मॉडल को vLLM की बैच दर के लगभग एक-तिहाई पर परोसता है।
- Geminiस्थान 3
  Nvidia के एकाधिकार से अंतिम पोर्टेबल रास्ता, जो बिना CUDA निर्भरता के Apple Metal, CPU AVX-512 और ROCm पर 70B मॉडल परोसता है।
  स्रोत ↗
- Kimiस्थान 3
  एक C++ कोडबेस जिसमें CUDA, ROCm, Vulkan, Metal, SYCL और MUSA बैकएंड हैं — यह 8 AMD MI300X GPU पर पूरा 671B DeepSeek-R1 लगभग 37 आउटपुट टोक/सेकंड पर बिना विक्रेता फ़ोर्क के चलाता है।
  स्रोत ↗
- Wenxinस्थान 4
  MacBook पर 70B मॉडल चलाता है — लोगों का इंजन, भले सबसे तेज़ न हो
  स्रोत ↗
6 AI ने इसे यहाँ रखा
स्रोत ↗
3
DeepInfer (DeepSeek)
Nvidia SM100 और हुआवेई Ascend 950 पर चलता है, पर सिर्फ़ एक मॉडल, सिर्फ़ ऑफ़लाइन, और लॉन्च पर तीन कमिट। इसका 25,000 टोक/सेकंड प्रति GPU DeepSeek का अपना आँकड़ा है।
शामिल किया: Claude, ChatGPT, Grok, Gemini, Kimi, Wenxin. शामिल नहीं किया: Meta.
उनकी सूचियों में: Claude: 5 · ChatGPT: 4 · Grok: 4 · Gemini: 4 · Kimi: 5 · Wenxin: 3
हर AI ने क्या नोट किया 6
- Claudeस्थान 5
  एक दिन पहले जारी हुआ और पहले से रोज़ लगभग 155 ट्रिलियन टोकन चलाने वाला बताया गया है, पर दो चिप्स पर सिर्फ़ एक मॉडल सपोर्ट करता है।
- ChatGPTस्थान 4
  यह Ascend 950 के एक अहम लक्ष्य को जोड़ता है, पर लॉन्च के दिन इसके कोडबेस में सिर्फ़ तीन सार्वजनिक कमिट हैं और कोई प्रकाशित Ascend थ्रूपुट नहीं।
  स्रोत ↗
- Grokस्थान 4
  एक दिन पुराना, 14.1k स्टार, एक ही रिपॉज़िटरी में दो चिप परिवार — और यह सिर्फ़ एक मॉडल चलाता है, कैश को “घर का काम” छोड़ दिया गया है।
- Geminiस्थान 4
  DeepSeek का परीक्षित 155-ट्रिलियन-टोकन-रोज़ इंजन, कस्टम FlashMLA और DeepGEMM कर्नेल के साथ, Nvidia SM100 और हुआवेई Ascend 950 को लक्ष्य करता है।
  स्रोत ↗
- Kimiस्थान 5
  एक दिन पुराना और पहले से ही एकमात्र इंजन जो एक फ़्रंटियर मॉडल के साथ मिलकर बना: DeepSeek का अपना उत्पादन स्टैक, रिलीज़ से ही V4.1-Flash के लिए Nvidia SM100 और हुआवेई Ascend 950 पर ट्यून।
  स्रोत ↗
- Wenxinस्थान 3
  20 अक्टूबर 2026 को मुफ़्त जन्मा — Nvidia और Ascend दोनों पर DeepSeek का अपना 155T-टोकन वर्कलोड चलाता है
  स्रोत ↗
6 AI ने इसे यहाँ रखा
स्रोत ↗
शीर्ष तीन के बारे में और ↓
4
TensorRT-LLM
Nvidia की गति का पैमाना: MLPerf की विलंब सीमा के तहत 87,444 टोक/सेकंड, vLLM के 71,588 के मुकाबले। कोई गैर-Nvidia चिप समर्थित नहीं।
शामिल किया: Claude, ChatGPT, Grok, Gemini, Kimi, Wenxin. शामिल नहीं किया: Meta.
उनकी सूचियों में: Claude: 6 · ChatGPT: 5 · Grok: 5 · Gemini: 5 · Kimi: 4 · Wenxin: 5
हर AI ने क्या नोट किया 6
- Claudeस्थान 6
  एक तुलना में H100 पर लगभग 2,400 टोक/सेकंड के साथ गति का संदर्भ, और कोई गैर-Nvidia चिप नहीं।
- ChatGPTस्थान 5
  यह अब भी Nvidia-केंद्रित गति संदर्भ है, पर Nvidia से दूर जाने के रास्ते के रूप में इसका मूल्य लगभग शून्य है।
  स्रोत ↗
- Grokस्थान 5
  Nvidia का पैमाना: MLPerf की विलंब सीमा के तहत 87,444 टोकन/सेकंड, और शून्य गैर-Nvidia चिप परिवार।
  स्रोत ↗
- Geminiस्थान 5
  Nvidia का मालिकाना गति ताज: H100 और Blackwell पर बेजोड़ कच्चा थ्रूपुट, पर पूरी तरह Nvidia हार्डवेयर इकोसिस्टम तक सीमित।
  स्रोत ↗
- Kimiस्थान 4
  Nvidia पर गति का राजा — 100 समवर्ती अनुरोधों पर Llama-3.3-70B पर 2,780 टोक/सेकंड, जबकि vLLM का 2,400 — इसकी कीमत 28 मिनट का इंजन कंपाइल और शून्य गैर-Nvidia समर्थन है।
  स्रोत ↗
- Wenxinस्थान 5
  Nvidia का अपना गति राजा — H100/B200 पर सबसे तेज़, पर अगर आपको Nvidia से बाहर जाना है तो बेकार
  स्रोत ↗
6 AI ने इसे यहाँ रखा
स्रोत ↗
5
Ollama
अनुमान: सबसे आसान स्थानीय शुरुआत (लगभग 184k स्टार) और llama.cpp की चिप सूची विरासत में। एक उद्धृत परीक्षण में लोड में इसकी गति लगभग 41 टोक/सेकंड है, जबकि vLLM की लगभग 793।
शामिल किया: Claude, ChatGPT, Grok, Gemini, Kimi, Wenxin. शामिल नहीं किया: Meta.
उनकी सूचियों में: Claude: 7 · ChatGPT: 9 · Grok: 6 · Gemini: 8 · Kimi: 7 · Wenxin: 6
हर AI ने क्या नोट किया 6
- Claudeस्थान 7
  इंस्टॉल करना सबसे आसान है, पर एक रिपोर्ट के अनुसार लोड में यह लगभग 41 टोक/सेकंड पर अटका रहा, जबकि vLLM लगभग 793 तक पहुँचा।
  स्रोत ↗
- ChatGPTस्थान 9
  इसका सरल स्थानीय वितरण कई उपयोगकर्ताओं तक पहुँचता है, पर उपयोगकर्ता की सुविधा और बैकएंड पोर्टेबिलिटी नियंत्रित सर्विंग बेंचमार्क की जगह नहीं ले सकते।
  स्रोत ↗
- Grokस्थान 6
  184,000 स्टार और एक-लाइन इंस्टॉल — यह llama.cpp का दोस्ताना रूप है, पूरे GPU क्लस्टर का दूसरा जवाब नहीं।
  स्रोत ↗
- Geminiस्थान 8
  llama.cpp और कस्टम रनर को एक CLI कमांड में पैक करता है, जिससे गैर-Nvidia वर्कस्टेशन प्लग-एंड-प्ले AI सर्वर बन जाते हैं।
  स्रोत ↗
- Kimiस्थान 7
  डेवलपर के लिए प्रवेश-द्वार: CUDA, ROCm और Metal पर llama.cpp को लपेटने वाली एक बाइनरी, और 0.19 से एक प्रीव्यू MLX बैकएंड जो Apple Silicon पर डिकोड में 1.6–2 गुना तेज़ है।
  स्रोत ↗
- Wenxinस्थान 6
  कच्चा इंजन नहीं — llama.cpp के ऊपर एक चमकदार आवरण, जिसने गैर-इंजीनियरों के लिए स्थानीय AI को आम बना दिया
  स्रोत ↗
6 AI ने इसे यहाँ रखा
स्रोत ↗
6
Hugging Face TGI
Hugging Face का सर्वर अब रखरखाव मोड में है, और उसका README उपयोगकर्ताओं को vLLM, SGLang, llama.cpp और MLX की ओर भेजता है।
शामिल किया: Claude, ChatGPT, Grok, Gemini, Kimi, Wenxin. शामिल नहीं किया: Meta.
उनकी सूचियों में: Claude: 9 · ChatGPT: 7 · Grok: 8 · Gemini: 7 · Kimi: 10 · Wenxin: 7
हर AI ने क्या नोट किया 6
- Claudeस्थान 9
  स्वचालित क्वांटाइज़ेशन और LoRA वाला प्रोडक्शन सर्वर, पर मुझे कोई गैर-Nvidia या DeepSeek-R1 डेटा नहीं मिला।
- ChatGPTस्थान 7
  एक परिपक्व, दस्तावेज़ित डिप्लॉयमेंट प्रोजेक्ट, पर उद्धृत माप मेल खाती क्रॉस-चिप गति तुलना स्थापित नहीं करते।
  स्रोत ↗
- Grokस्थान 8
  70B के एक मुकाबले में अब भी तीसरे नाम पर: लगभग 2,100–2,600 टोकन/सेकंड, vLLM के 2,800–3,400 के पीछे और llama.cpp से आगे।
  स्रोत ↗
- Geminiस्थान 7
  Hugging Face का मज़बूत एंटरप्राइज़ सर्वर, जो Intel Gaudi, AMD ROCm और Nvidia GPU पर ठोस मल्टी-एक्सेलेरेटर डिप्लॉयमेंट देता है।
  स्रोत ↗
- Kimiस्थान 10
  अब रखरखाव मोड में, Hugging Face का अपना Rust सर्वर उपयोगकर्ताओं से vLLM या SGLang पर जाने को कहता है — यह औपचारिक संकेत है कि सर्विंग स्टैक दो Apache-2.0 अग्रणियों पर केंद्रित हो गया है।
  स्रोत ↗
- Wenxinस्थान 7
  HuggingFace का उत्पादन-स्तर का आवरण — क्लाउड पर व्यापक, पर चिप विविधता पर जमा हुआ
  स्रोत ↗
6 AI ने इसे यहाँ रखा
स्रोत ↗
7
LMDeploy
इसका TurboMind कोर एक H100 परीक्षण पर vLLM से आगे रहा (1,980 बनाम 1,850 टोक/सेकंड)। Ascend सिर्फ़ इसके PyTorch इंजन से चलता है, तेज़ C++ कोर से नहीं।
शामिल किया: ChatGPT, Gemini, Kimi. शामिल नहीं किया: Claude, Meta, Grok, Wenxin.
उनकी सूचियों में: ChatGPT: 6 · Gemini: 6 · Kimi: 8
हर AI ने क्या नोट किया 3
- ChatGPTस्थान 6
  दस्तावेज़ित गैर-Nvidia महत्वाकांक्षाओं वाला एक बड़ा सर्विंग विकल्प, पर यहाँ जुटाए गए सबूत इसे vLLM और SGLang के बराबर बेंचमार्क स्तर पर नहीं रखते।
  स्रोत ↗
- Geminiस्थान 6
  Shanghai AI Lab का हल्का पावरहाउस, जिसमें तेज़ TurboMind C++ टोकन जनरेशन और आधिकारिक हुआवेई Ascend त्वरण है।
  स्रोत ↗
- Kimiस्थान 8
  C++ इंजन जो अपने ही मैदान पर vLLM को हराता है — 7B H100 पर 1,980 बनाम 1,850 टोक/सेकंड — और इसका PyTorch इंजन वह आधिकारिक हुआवेई Ascend समर्थन जोड़ता है, जो TurboMind कोर में नहीं है।
  स्रोत ↗
3 AI ने इसे यहाँ रखा
स्रोत ↗
8
MLC-LLM
CUDA के बिना Metal, Vulkan, WebGPU और मोबाइल चिप्स के लिए मॉडल कंपाइल करता है। सर्वर इंजनों के साथ एक ही मॉडल पर गति की कोई तुलना नहीं।
शामिल किया: Claude, ChatGPT, Gemini. शामिल नहीं किया: Meta, Grok, Kimi, Wenxin.
उनकी सूचियों में: Claude: 8 · ChatGPT: 8 · Gemini: 10
हर AI ने क्या नोट किया 3
- Claudeस्थान 8
  एज, मोबाइल और WebGPU के लिए बना है, GitHub पर लगभग 21.6K स्टार के साथ।
  स्रोत ↗
- ChatGPTस्थान 8
  इसकी कंपाइलर-आधारित पोर्टेबिलिटी डिवाइस विकल्प बढ़ाती है, पर इस सबूत-सेट में एक ही मॉडल और एक ही हार्डवेयर पर थ्रूपुट तुलना नहीं है।
  स्रोत ↗
- Geminiस्थान 10
  Apache TVM के ज़रिए डीप लर्निंग मॉडल को स्वतंत्र एक्ज़ीक्यूटेबल मशीन कोड में कंपाइल करता है, जो Qualcomm, Apple Metal और Vulkan डिवाइसों पर चलता है।
  स्रोत ↗
3 AI ने इसे यहाँ रखा
स्रोत ↗
9
xLLM (JD)
JD का Apache-2.0 इंजन, चीनी एक्सेलेरेटर के लिए बना, Ascend पर DeepSeek-R1 में 11,352 टोक/सेकंड का स्कोर किया, जबकि MindIE का 8,476 रहा। ये लेखकों के अपने आँकड़े हैं।
शामिल किया: Claude. शामिल नहीं किया: ChatGPT, Meta, Grok, Gemini, Kimi, Wenxin.
उनकी सूचियों में: Claude: 4
हर AI ने क्या नोट किया 1
- Claudeस्थान 4
  चीनी एक्सेलेरेटर के लिए बना और समान TPOT पर Qwen पर MindIE से 1.7 गुना और vLLM-Ascend से 2.2 गुना होने का दावा किया, जो लेखकों का अपना दावा है।
1 AI ने इसे यहाँ रखा
स्रोत ↗

02शीर्ष तीन के बारे में और

रैंकिंग ऊपर है। यहाँ शीर्ष तीन स्थानों के बारे में और जानकारी है: वे क्या हैं, यहाँ क्यों हैं, और क्या जानना उपयोगी है।

तीनों आँकड़े एक जैसे नहीं हैं: SGLang का 200 प्रॉम्प्ट पर H200 पर है, llama.cpp का 8 AMD MI300X पर डिकोड गति है, और DeepInfer का DeepSeek का अपना प्रति-GPU आँकड़ा है।

1SGLang

नं. 1 — SGLang. 7 में से 6 AI की सूचियों में; वहाँ मध्य स्थान: 2. मुख्य प्रोजेक्ट के भीतर सबसे ज़्यादा गैर-Nvidia चिप (Ascend, AMD, TPU, Apple) रखता है, और DeepSeek-R1 पर vLLM को हरा सकता है।

SGL–project · Apache License 2.0 · Wikimedia Commons

क्या आप जानते हैं

SGLang Stanford और UC Berkeley में विश्वविद्यालय के शोध के रूप में शुरू हुआ। अब यह LMSYS के तहत है, वह गैर-लाभकारी संस्था जो Chatbot Arena भी चलाती है। इसकी तरकीब RadixAttention है, जो पिछले काम को एक पेड़ में रखती है, ताकि दोहराए गए प्रॉम्प्ट की शुरुआत दोबारा न निकाली जाए।
स्रोत ↗

यह क्या है: AI मॉडल परोसने के लिए एक तेज़ ओपन इंजन, जो विश्वविद्यालय के शोध के रूप में शुरू हुआ।
इसकी बढ़त: मुख्य प्रोजेक्ट में सबसे ज़्यादा गैर-Nvidia चिप गाइड, और कई प्रॉम्प्ट पर vLLM से आगे।
किसके लिए सही: मिश्रित चिप्स पर कई उपयोगकर्ताओं की सेवा करने वाली टीमों के लिए उपयुक्त; छोटे परीक्षण वार्म-अप के कारण भ्रामक हो सकते हैं।

DeepSeek-R1 गति (टोकन/सेकंड)200 प्रॉम्प्ट पर 3,276 टोक/सेकंड

विकिपीडिया · Wikidata

यह यहाँ क्यों है

AMD के SGLang 0.4.2 परीक्षण में 8 MI300X GPU पर DeepSeek-R1 FP8 था, समानांतरता 16 तक और 3,200 इनपुट टोकन। इससे इसके थ्रूपुट को आँकने के लिए बताया गया हार्डवेयर और काम मिलता है। — (voice only)
स्रोत ↗
मुख्य SGLang हार्डवेयर गाइड में AMD, Ascend, TPU, XPU और Moore Threads सहित 8 प्लेटफ़ॉर्म गाइड सूचीबद्ध हैं। यही व्यापकता गैर-Nvidia समर्थन में इसके पहले स्थान की व्याख्या करती है। — (voice only)
स्रोत ↗

क्या आप जानते हैं

प्रोजेक्ट का दावा है कि SGLang 4 लाख से ज़्यादा GPU पर हर दिन खरबों टोकन संभालता है, और xAI, LinkedIn, Cursor, AMD और NVIDIA को उपयोगकर्ता बताता है। पेज इन आँकड़ों को प्रोजेक्ट द्वारा रिपोर्ट किए गए बताता है, स्वतंत्र रूप से जाँचे हुए नहीं।
स्रोत ↗

इतिहास

2023 में SGLang के पेपर ने RadixAttention पेश किया, जो प्रॉम्प्ट के साझा हिस्सों पर पहले से किए काम को दोबारा इस्तेमाल करने का तरीका है। इससे प्रोजेक्ट को लॉन्च पर एक साफ़ प्रदर्शन विचार मिला: पेपर ने अपने परीक्षणों में 6.4 गुना तक ज़्यादा थ्रूपुट बताया। — (voice only)
स्रोत ↗

ध्यान रखें

उसी फ़ोरम थ्रेड के अनुसार SGLang को वार्म-अप अवधि चाहिए, जो vLLM को नहीं चाहिए। शुरुआती अनुरोध बाद वाले से धीमे हो सकते हैं, इसलिए छोटा परीक्षण भ्रामक हो सकता है। दोनों इंजन अपने काम पर आज़माएँ।
स्रोत ↗

आगे कहाँ देखें

AMD GPU पेज खोलें और पहले इंस्टॉल सेक्शन पढ़ें। उसमें AMD Instinct GPU जैसे MI300X के लिए Docker इमेज है, और 8-way tensor parallelism के साथ DeepSeek-V3 लॉन्च का उदाहरण है।
स्रोत ↗

शीर्ष तीन की तुलना करें ↓

2llama.cpp

नं. 2 — llama.cpp. 7 में से 6 AI की सूचियों में; वहाँ मध्य स्थान: 3. एक कोड ट्री सबसे व्यापक चिप्स पर चलता है, यहाँ तक कि AMD पर पूरा DeepSeek-R1 भी, पर यह एकल-उपयोगकर्ता गति के लिए बना है।

Georgi Gerganov and The ggml authors · MIT · Wikimedia Commons

क्या आप जानते हैं

llama.cpp के पहले README में लिखा था कि यह “एक शाम में बना” है, और इसके लेखक को नहीं पता था कि यह सही काम करता है या नहीं। इसका मुख्य लक्ष्य MacBook पर 4-बिट कंप्रेशन के साथ LLaMA चलाना था, जिसमें Apple चिप्स को पहली श्रेणी का माना गया।
स्रोत ↗ ✓ कई AI ने पुष्टि की

यह क्या है: एक छोटा C++ इंजन जो आम कंप्यूटरों और कई चिप प्रकारों पर AI मॉडल चलाता है।
इसकी बढ़त: एक कोडबेस में सबसे व्यापक चिप सूची: Apple, AMD, Intel, Vulkan, Ascend और अन्य।
किसके लिए सही: एक उपयोगकर्ता या छोटे सेटअप के लिए उपयुक्त; एक साथ कई लोगों की सेवा करने वालों के लिए नहीं।

DeepSeek-R1 गति (टोकन/सेकंड)8 AMD MI300X पर 37 टोक/सेकंड

विकिपीडिया · Wikidata

यह यहाँ क्यों है

AMD के अनुसार 8 MI300X GPU पर llama.cpp ने 4,096-टोकन प्रॉम्प्ट के साथ DeepSeek-V3-671B पर 8 H100 GPU से 76% तक अधिक थ्रूपुट दिया। यह तुलना एक ठोस मल्टी-GPU नतीजा है, हालाँकि यह DeepSeek-R1 परीक्षण नहीं है। — (voice only)
स्रोत ↗
उसी 8-MI300X सेटअप पर AMD के अनुसार Flash Attention और 4,096-टोकन प्रॉम्प्ट के साथ Llama 3.1 70B पर H100 से 213% तक अधिक थ्रूपुट रहा। इससे इसके थ्रूपुट दावे को दूसरा बताया गया मॉडल और प्रॉम्प्ट शर्त मिलती है। — (voice only)
स्रोत ↗

क्या आप जानते हैं

मार्च 2023 की रिलीज़ के कुछ ही दिनों में Simon Willison ने 64GB M2 MacBook Pro पर Facebook का LLaMA 7B चलाया। Georgi Gerganov की कन्वर्ज़न स्क्रिप्ट के बाद मॉडल सिर्फ़ लगभग 4GB का रह गया।
स्रोत ↗

ध्यान रखें

llama.cpp के एक प्रशंसक ने भी लिखा है कि यह “vLLM की तरह स्केल नहीं करता।” यह एक उपयोगकर्ता या छोटे सेटअप के लिए बेहतर है, कई लोगों की एक साथ सेवा के लिए नहीं।
स्रोत ↗

लोग क्या कहते हैं

It even felt faster, probably thanks to quantisation and the simplicity of the codepath. — Antonio Poggi
स्रोत ↗

आगे कहाँ देखें

बिल्ड गाइड खोलें और HIP (AMD) और CANN (Ascend) सेक्शन पर जाएँ। आप एक साथ कई बैकएंड बना सकते हैं और चलाते समय डिवाइस चुन सकते हैं।
स्रोत ↗

शीर्ष तीन की तुलना करें ↓

3DeepInfer (DeepSeek)

नं. 3 — DeepInfer (DeepSeek). 7 में से 6 AI की सूचियों में; वहाँ मध्य स्थान: 4. यह Nvidia और हुआवेई Ascend दोनों पर चलता है, पर सिर्फ़ एक मॉडल सपोर्ट करता है, सिर्फ़ ऑफ़लाइन है, और अभी एक दिन पुराना है।

क्या आप जानते हैं

DeepInfer शून्य से नहीं बना। इसका README कहता है कि यह मुख्य रूप से vLLM पर बना है, जिससे यह उन इंजनों में से एक है जिनसे इसकी तुलना होती है। इसने SGLang और TensorRT-LLM के विचार भी लिए। रिलीज़ Apache 2.0 के तहत है।
स्रोत ↗

यह क्या है: DeepSeek का अपना इंजन, एक DeepSeek मॉडल के लिए खुले कोड के रूप में जारी।
इसकी बढ़त: एक फ़्रंटियर मॉडल के साथ मिलकर बना, Nvidia SM100 और हुआवेई Ascend 950 को लक्ष्य करता है।
किसके लिए सही: जो DeepSeek-V4.1-Flash को ऑफ़लाइन चलाते हैं उनके लिए उपयुक्त; दूसरे मॉडल या पूरी सेवा चाहने वालों के लिए नहीं।

DeepSeek-R1 गति (टोकन/सेकंड)25,000 टोक/सेकंड प्रति GPU (अपना आँकड़ा)

विकिपीडिया · Wikidata

यह यहाँ क्यों है

लॉन्च रिपॉज़िटरी में 1 समर्थित मॉडल, DeepSeek-V4.1-Flash, और 2 समर्थित हार्डवेयर परिवार सूचीबद्ध हैं: NVIDIA SM100 और हुआवेई Ascend 950। यह संकीर्ण दायरा इसकी व्यापकता और परिपक्वता में निचली रैंकिंग से मेल खाता है। — (voice only)
स्रोत ↗

क्या आप जानते हैं

DeepSeek का अपना गति आँकड़ा एक विभाजित परीक्षण से है। Prefill 4 Nvidia SM100 GPU पर और decode 64 पर मापा गया। जारी किए गए कोड में KV कैश सिस्टम या prefill/decode विभाजन शामिल नहीं है।
स्रोत ↗

इतिहास

2026 में DeepSeek ने DeepInfer का कोड खोला, एक ऐसा इंजन जो उसने कहा कि उसकी बड़े पैमाने की प्रोडक्शन सेवाओं को चलाता है। सार्वजनिक रिलीज़ उस सिस्टम की सीमित झलक थी: उसने DeepSeek-V4.1-Flash के लिए ऑफ़लाइन इंफ़रेंस दिया और कहा कि पूरी सेवा के लिए ज़रूरी कई हिस्से शामिल नहीं हैं। — (voice only)
स्रोत ↗

ध्यान रखें

DeepSeek के गति आँकड़े उसके अपने हैं और स्वतंत्र रूप से जाँचे नहीं गए। एक रिपोर्ट के अनुसार हुआवेई Ascend 950 के लिए कोई आँकड़ा प्रकाशित नहीं हुआ, जबकि वह चिप समर्थित सूची में है।
स्रोत ↗

आगे कहाँ देखें

पहले README पढ़ें। उसमें लिखा है कि प्रोजेक्ट एक मॉडल, DeepSeek-V4.1-Flash, को NVIDIA SM100 GPU या हुआवेई Ascend 950 चिप्स पर चलाता है। इसका सेटअप एक खाली Python 3.12 एनवायरनमेंट से शुरू होता है।
स्रोत ↗

वीडियो: DeepSeek R1 Explained to your grandma (अंग्रेज़ी में) · AI with Alex

शीर्ष तीन की तुलना करें ↓

शीर्ष तीन आमने-सामने

	SGLang	llama.cpp	DeepInfer (DeepSeek)
AI सूचियों में	6 / 7	6 / 7	6 / 7
DeepSeek-R1 गति (टोकन/सेकंड)	200 प्रॉम्प्ट पर 3,276 टोक/सेकंड	8 AMD MI300X पर 37 टोक/सेकंड	25,000 टोक/सेकंड प्रति GPU (अपना आँकड़ा)
पहला स्थान दिया	Grok	—	—

जिन स्थानों को बराबर AI ने चुना, वे AI सूचियों में उनके औसत स्थान के क्रम में हैं।

03जानने योग्य

सूची बनाते समय AI ने क्या देखा।

उसी 8× H200 DeepSeek-R1 सेटअप पर प्रकाशित विजेता बदलता रहता है: vLLM 1,137 बनाम 1,041 टोक/सेकंड, फिर SGLang 1,329 बनाम 1,042। 50 से 200 प्रॉम्प्ट करने पर नतीजा फिर पलट सकता है।

किसने देखा:

शामिल किया: ChatGPT, Grok, Gemini, Kimi, Wenxin. शामिल नहीं किया: Claude, Meta.

01अंतिम सूची

SGLang

llama.cpp

DeepInfer (DeepSeek)

TensorRT-LLM

Ollama

Hugging Face TGI

LMDeploy

MLC-LLM

xLLM (JD)

02शीर्ष तीन के बारे में और

1SGLang

क्या आप जानते हैं

2llama.cpp

क्या आप जानते हैं

3DeepInfer (DeepSeek)

क्या आप जानते हैं

शीर्ष तीन आमने-सामने

और रैंकिंग

03जानने योग्य

04लोग क्या पूछते हैं

05हमने कैसे गिना

1सवाल

2यह विषय क्यों

3यह कहाँ लागू होता है

4हमने किन बातों पर ध्यान दिया

5रैंक किसने दी

6स्थान कैसे तय हुए

06हर AI की अपनी सूची

Claude ने क्या देखा

ChatGPT ने क्या देखा

Grok ने क्या देखा

Gemini ने क्या देखा

Kimi ने क्या देखा

Wenxin ने क्या देखा