Retour à la tendance du jour: DeepSeek, en Chine, offre gratuitement le moteur qui fait tourner son IA
Classement Poly · tiré de la tendance du jour

vLLM contre SGLang contre llama.cpp : les 9 meilleurs moteurs, oct. 2026

Sur le même serveur 8 H200 qui fait tourner DeepSeek-R1, une mesure publiée donne vLLM en tête (1 137 contre 1 041 jetons/s), et la suivante donne SGLang en tête (1 329 contre 1 042) : « lequel est le plus rapide » dépend donc de la façon de tester.

  • N° 1 : SGLang
  • 9 places

01Liste finale

Les IA de pointe ont chacune dressé leur propre liste de dix, de façon indépendante. Voici un résultat facile à vérifier : chaque place a une raison, une source et la liste des IA qui l'ont retenue.

Ordre : du plus grand au plus faible accord entre les IA.

Une pastille vive signifie que cette IA a mis l'élément dans sa liste. Une pastille terne, qu'elle ne l'a pas fait.

  1. 1

    SGLang

    Garde la prise en charge de Huawei Ascend, AMD, TPU et Apple dans le projet principal. Devance ou suit vLLM sur DeepSeek-R1 selon le nombre de requêtes (3 276 contre 2 499 jetons/s à 200 requêtes).

    L’ont inclus: Claude, ChatGPT, Grok, Gemini, Kimi, Wenxin. Ne l’ont pas inclus: Meta.

    Dans leurs listes: Claude: 2 · ChatGPT: 2 · Grok: 1 · Gemini: 2 · Kimi: 2 · Wenxin: 2

    Ce qu'a noté chaque IA 6
    • Claudeplace 2

      Il traite Ascend comme une partie du code de modèle partagé, avec des branches _is_npu dans les fichiers principaux, et des chemins AMD, TPU et Gaudi par-dessus.

      Source ↗
    • ChatGPTplace 2

      À 200 requêtes, SGLang devance vLLM d'environ 31 % sur la charge 1k/2k H200 citée ; avec moins de requêtes, il perd.

      Source ↗
    • Grokplace 1

      Un README cite AMD, TPU, Intel, Apple et Huawei à côté de Nvidia, et un test H100 le donne à 16 215 jetons/s contre 12 553 pour vLLM.

      Source ↗
    • Geminiplace 2

      Réduit fortement la latence des tâches agentiques et multi-tours grâce à RadixAttention, jusqu'à 3 fois plus rapide que les environnements standards sur les charges à préfixe partagé, tout en offrant un support natif de ROCm.

      Source ↗
    • Kimiplace 2

      RadixAttention en fait le spécialiste des boucles d'agents, et son portage Ascend prend officiellement en charge davantage de modèles ouverts de pointe (DeepSeek V4.1, GLM-5.3, Kimi K3, MiniMax-M3, Hy4) que tout autre moteur.

      Source ↗
    • Wenxinplace 2

      Plus rapide que vLLM en confrontation directe sur les mêmes GPU, et arrivé avant lui sur Ascend

      Source ↗
    6 IA l’ont placé ici
    Source ↗
  2. 2

    llama.cpp

    Arbre de code le plus large : CUDA, HIP, Metal, Vulkan, SYCL, CANN (Ascend), MUSA. A fait tourner DeepSeek-R1 complet sur 8 AMD MI300X à 37 jetons/s en décodage, selon AMD.

    L’ont inclus: Claude, ChatGPT, Grok, Gemini, Kimi, Wenxin. Ne l’ont pas inclus: Meta.

    Dans leurs listes: Claude: 3 · ChatGPT: 3 · Grok: 3 · Gemini: 3 · Kimi: 3 · Wenxin: 4

    Ce qu'a noté chaque IA 6
    • Claudeplace 3

      La liste de puces la plus large de tous les moteurs ici : Metal, CUDA, HIP, Vulkan, SYCL, CANN (Ascend) et MUSA dans un seul arbre, mais conçu pour la vitesse d'un seul utilisateur plutôt que pour les lots de centres de données.

    • ChatGPTplace 3

      Une seule base de code atteint Apple Metal, AMD, Intel SYCL, Vulkan et d'autres backends, ce qui en fait la plus large porte de sortie pratique hors de Nvidia ici.

      Source ↗
    • Grokplace 3

      CANN, HIP, Metal, Vulkan et SYCL se trouvent dans un seul arbre, le même qui, dans un test sur un A100, sert un modèle de 70 milliards à environ un tiers du débit par lots de vLLM.

    • Geminiplace 3

      L'issue portable ultime aux monopoles des GPU d'entreprise : il sert des modèles de 70 milliards sur Apple Metal, CPU AVX-512 et ROCm sans aucune dépendance à CUDA.

      Source ↗
    • Kimiplace 3

      Une base de code C++ unique qui porte CUDA, ROCm, Vulkan, Metal, SYCL et MUSA : il fait tourner le DeepSeek-R1 complet de 671 milliards sur 8 GPU AMD MI300X à environ 37 jetons/s en sortie, sans fork de fournisseur.

      Source ↗
    • Wenxinplace 4

      Fait tourner des modèles de 70 milliards sur un seul MacBook : le moteur du grand public, même s'il n'est pas le plus rapide

      Source ↗
    6 IA l’ont placé ici
    Source ↗
  3. 3

    DeepInfer (DeepSeek)

    Tourne sur Nvidia SM100 et Huawei Ascend 950, mais ne prend en charge qu'un modèle, hors ligne seulement, avec trois validations au lancement. Ses 25 000 jetons/s par GPU sont le chiffre de DeepSeek lui-même.

    L’ont inclus: Claude, ChatGPT, Grok, Gemini, Kimi, Wenxin. Ne l’ont pas inclus: Meta.

    Dans leurs listes: Claude: 5 · ChatGPT: 4 · Grok: 4 · Gemini: 4 · Kimi: 5 · Wenxin: 3

    Ce qu'a noté chaque IA 6
    • Claudeplace 5

      Publié il y a un jour et déjà décrit comme traitant environ 155 billions de jetons par jour, mais il ne prend en charge qu'un modèle sur deux puces.

    • ChatGPTplace 4

      Il associe une cible Ascend 950 d'une importance singulière à une base de code du jour du lancement ne comptant que trois validations publiques et aucun débit Ascend publié.

      Source ↗
    • Grokplace 4

      Publié il y a un jour, 14 100 étoiles, deux familles de puces dans un seul dépôt, et il ne fait tourner qu'un modèle, le cache restant un devoir à faire soi-même.

    • Geminiplace 4

      Le moteur de DeepSeek, éprouvé à 155 billions de jetons par jour, construit avec des noyaux FlashMLA et DeepGEMM sur mesure pour Nvidia SM100 et Huawei Ascend 950.

      Source ↗
    • Kimiplace 5

      Un jour d'existence et déjà le seul moteur conçu en commun avec un modèle de pointe : la pile de production de DeepSeek lui-même, réglée pour V4.1-Flash sur Nvidia SM100 et Huawei Ascend 950 dès la sortie.

      Source ↗
    • Wenxinplace 3

      Né libre le 20 octobre 2026 : il fait tourner la charge de 155 billions de jetons de DeepSeek sur Nvidia comme sur Ascend

      Source ↗
    6 IA l’ont placé ici
    Source ↗
  4. Plus sur le trio de tête ↓
  5. 4

    TensorRT-LLM

    La référence de vitesse Nvidia : 87 444 jetons/s sous la limite de latence de MLPerf, contre 71 588 pour vLLM. Ne prend en charge aucune puce non Nvidia.

    L’ont inclus: Claude, ChatGPT, Grok, Gemini, Kimi, Wenxin. Ne l’ont pas inclus: Meta.

    Dans leurs listes: Claude: 6 · ChatGPT: 5 · Grok: 5 · Gemini: 5 · Kimi: 4 · Wenxin: 5

    Ce qu'a noté chaque IA 6
    • Claudeplace 6

      La référence de vitesse, à environ 2 400 jetons/s sur H100 dans une comparaison, sans aucune puce non Nvidia.

    • ChatGPTplace 5

      Il reste la référence de vitesse axée sur Nvidia, mais sa valeur comme voie de sortie de Nvidia est pratiquement nulle.

      Source ↗
    • Grokplace 5

      La référence Nvidia : 87 444 jetons/s sous la limite de latence de MLPerf, et zéro famille de puces non Nvidia.

      Source ↗
    • Geminiplace 5

      La couronne de vitesse propriétaire de Nvidia : débit brut inégalé sur H100 et Blackwell, mais entièrement lié à l'écosystème matériel Nvidia.

      Source ↗
    • Kimiplace 4

      Le roi de la vitesse sur Nvidia : 2 780 jetons/s sur Llama-3.3-70B avec 100 requêtes simultanées, contre 2 400 pour vLLM, payé par une compilation de 28 minutes et zéro prise en charge hors Nvidia.

      Source ↗
    • Wenxinplace 5

      Le roi de la vitesse de Nvidia : le plus rapide sur H100/B200, mais inutile si vous voulez vous passer de Nvidia

      Source ↗
    6 IA l’ont placé ici
    Source ↗
  6. 5

    Ollama

    Estimation : démarrage local le plus simple (environ 184 000 étoiles) et hérite de la liste de puces de llama.cpp. Un test cité le donne à environ 41 jetons/s sous charge, contre environ 793 pour vLLM.

    L’ont inclus: Claude, ChatGPT, Grok, Gemini, Kimi, Wenxin. Ne l’ont pas inclus: Meta.

    Dans leurs listes: Claude: 7 · ChatGPT: 9 · Grok: 6 · Gemini: 8 · Kimi: 7 · Wenxin: 6

    Ce qu'a noté chaque IA 6
    • Claudeplace 7

      Le plus facile à installer, mais un rapport le montre stagnant autour de 41 jetons/s sous charge, alors que vLLM a culminé vers 793.

      Source ↗
    • ChatGPTplace 9

      Sa distribution locale simple atteint beaucoup d'utilisateurs, mais la commodité pour l'utilisateur et la portabilité des backends ne remplacent pas un test de service contrôlé.

      Source ↗
    • Grokplace 6

      184 000 étoiles et une installation en une ligne : c'est llama.cpp dans un habillage plus agréable, pas une seconde réponse pour une grappe de GPU complète.

      Source ↗
    • Geminiplace 8

      Empaquette llama.cpp et des exécuteurs maison dans une seule commande CLI, et transforme les postes de travail non Nvidia en serveurs d'IA prêts à l'emploi.

      Source ↗
    • Kimiplace 7

      La porte d'entrée des développeurs : un seul binaire qui enveloppe llama.cpp pour CUDA, ROCm et Metal, et depuis la version 0.19 un backend MLX en aperçu, de 1,6 à 2 fois plus rapide au décodage sur Apple Silicon.

      Source ↗
    • Wenxinplace 6

      Pas un moteur brut, mais une enveloppe soignée autour de llama.cpp qui a rendu l'IA locale courante pour les non-ingénieurs

      Source ↗
    6 IA l’ont placé ici
    Source ↗
  7. 6

    Hugging Face TGI

    Le serveur de Hugging Face est désormais en mode maintenance, et son README renvoie les utilisateurs vers vLLM, SGLang, llama.cpp et MLX.

    L’ont inclus: Claude, ChatGPT, Grok, Gemini, Kimi, Wenxin. Ne l’ont pas inclus: Meta.

    Dans leurs listes: Claude: 9 · ChatGPT: 7 · Grok: 8 · Gemini: 7 · Kimi: 10 · Wenxin: 7

    Ce qu'a noté chaque IA 6
    • Claudeplace 9

      Un serveur de production avec quantification et LoRA automatiques, mais je n'ai trouvé aucune donnée hors Nvidia ni sur DeepSeek-R1.

    • ChatGPTplace 7

      Un projet de déploiement mature et documenté, mais les mesures citées n'établissent pas de comparaison de vitesse équivalente entre puces.

      Source ↗
    • Grokplace 8

      Toujours troisième dans un test sur 70 milliards : environ 2 100–2 600 jetons/s, derrière les 2 800–3 400 de vLLM et devant llama.cpp.

      Source ↗
    • Geminiplace 7

      Le serveur d'entreprise éprouvé de Hugging Face, qui offre un déploiement solide sur plusieurs accélérateurs : Intel Gaudi, AMD ROCm et GPU Nvidia.

      Source ↗
    • Kimiplace 10

      Désormais en mode maintenance, le serveur Rust de Hugging Face invite les utilisateurs à passer à vLLM ou SGLang : signe formel que la pile de service s'est consolidée autour de deux leaders Apache-2.0.

      Source ↗
    • Wenxinplace 7

      L'enveloppe de qualité production de HuggingFace : largement utilisée dans le cloud, mais figée sur la diversité des puces

      Source ↗
    6 IA l’ont placé ici
    Source ↗
  8. 7

    LMDeploy

    Son cœur TurboMind a battu vLLM sur un test H100 (1 980 contre 1 850 jetons/s). Ascend ne fonctionne que via son moteur PyTorch, pas le cœur C++ rapide.

    L’ont inclus: ChatGPT, Gemini, Kimi. Ne l’ont pas inclus: Claude, Meta, Grok, Wenxin.

    Dans leurs listes: ChatGPT: 6 · Gemini: 6 · Kimi: 8

    Ce qu'a noté chaque IA 3
    • ChatGPTplace 6

      Une option de service sérieuse avec des ambitions hors Nvidia documentées, mais les éléments réunis ici ne le placent pas sur un pied d'égalité en matière de tests de performance avec vLLM et SGLang.

      Source ↗
    • Geminiplace 6

      Le moteur léger et puissant du laboratoire d'IA de Shanghai, avec une génération de jetons ultra-rapide en C++ TurboMind et une accélération officielle sur Huawei Ascend.

      Source ↗
    • Kimiplace 8

      Le moteur C++ qui bat vLLM sur son propre terrain : 1 980 contre 1 850 jetons/s sur un 7 milliards sur H100, tandis que son moteur PyTorch ajoute la prise en charge officielle de Huawei Ascend qui manque au cœur TurboMind.

      Source ↗
    3 IA l’ont placé ici
    Source ↗
  9. 8

    MLC-LLM

    Compile les modèles pour Metal, Vulkan, WebGPU et les puces mobiles sans CUDA. Pas de test de vitesse sur le même modèle face aux moteurs serveurs.

    L’ont inclus: Claude, ChatGPT, Gemini. Ne l’ont pas inclus: Meta, Grok, Kimi, Wenxin.

    Dans leurs listes: Claude: 8 · ChatGPT: 8 · Gemini: 10

    Ce qu'a noté chaque IA 3
    • Claudeplace 8

      Destiné aux appareils de périphérie, aux mobiles et à WebGPU, avec environ 21 600 étoiles sur GitHub.

      Source ↗
    • ChatGPTplace 8

      Son approche de portabilité orientée compilateur élargit les options de matériel, mais ce jeu de données ne fournit pas de comparaison de débit sur le même modèle et le même matériel.

      Source ↗
    • Geminiplace 10

      Compile les modèles d'apprentissage profond en code machine exécutable autonome via Apache TVM, pour les appareils Qualcomm, Apple Metal et Vulkan.

      Source ↗
    3 IA l’ont placé ici
    Source ↗
  10. 9

    xLLM (JD)

    Moteur Apache-2.0 de JD, conçu pour les accélérateurs chinois, a obtenu 11 352 contre 8 476 jetons/s pour MindIE sur DeepSeek-R1 sur Ascend. Ce sont les chiffres des auteurs eux-mêmes.

    L’ont inclus: Claude. Ne l’ont pas inclus: ChatGPT, Meta, Grok, Gemini, Kimi, Wenxin.

    Dans leurs listes: Claude: 4

    Ce qu'a noté chaque IA 1
    • Claudeplace 4

      Conçu pour les accélérateurs chinois et revendiqué à 1,7 fois MindIE et 2,2 fois vLLM-Ascend sur Qwen à TPOT égal, selon les auteurs eux-mêmes.

    1 IA l’ont placé ici
    Source ↗

02Plus sur le trio de tête

Le classement est ci-dessus. Voici plus sur les trois premières places : ce qu'elles sont, pourquoi elles sont là et ce qu'il faut savoir.

Les trois chiffres ne sont pas comparables : celui de SGLang porte sur H200 à 200 requêtes, celui de llama.cpp est une vitesse de décodage sur 8 AMD MI300X, et celui de DeepInfer est le chiffre par GPU de DeepSeek.

1SGLang

N° 1 — SGLang. Dans les listes de 6 IA sur 7 ; place médiane : 2. Il garde dans le projet principal le plus grand nombre de puces non Nvidia (Ascend, AMD, TPU, Apple), et il peut battre vLLM sur DeepSeek-R1.

Le saviez-vous ?

  • SGLang est né de travaux de recherche à l'université de Stanford et à UC Berkeley. Il relève désormais de LMSYS, l'organisation à but non lucratif qui gère aussi Chatbot Arena. Son astuce, RadixAttention, stocke le travail déjà fait dans un arbre pour que les débuts de prompts répétés ne soient pas recalculés.

    Source ↗
Ce que c'est
Un moteur de service d'IA rapide et open source, né comme projet de recherche universitaire.
Son atout
La plupart des guides de puces non Nvidia dans le projet principal, plus l'avance sur vLLM avec de nombreuses requêtes.
Pour qui
Convient aux équipes qui servent beaucoup d'utilisateurs sur des puces mixtes ; les tests courts peuvent induire en erreur à cause de la phase de chauffe.
  • Vitesse de DeepSeek-R1 (jetons/s)3 276 jetons/s à 200 requêtes

Wikipédia · Wikidata

Pourquoi il est là

  • Le test SGLang 0.4.2 d'AMD utilisait DeepSeek-R1 en FP8 sur 8 GPU MI300X, avec une simultanéité allant jusqu'à 16 et 3 200 jetons d'entrée. Cela donne un matériel et une charge de travail précis pour juger son débit. — (voice only)

    Source ↗

  • Le guide matériel principal de SGLang liste 8 guides de plateformes, dont AMD, Ascend, TPU, XPU et Moore Threads. Cette largeur explique en partie sa première place pour la prise en charge hors Nvidia. — (voice only)

    Source ↗
Le saviez-vous ?

  • Le projet affirme que SGLang traite des billions de jetons par jour sur plus de 400 000 GPU, et cite xAI, LinkedIn, Cursor, AMD et NVIDIA comme utilisateurs. La page précise que ces chiffres sont déclarés par le projet, sans vérification indépendante.

    Source ↗
Histoire

  • En 2023, l'article de SGLang a présenté RadixAttention, une façon de réutiliser un travail déjà fait lorsque des prompts partagent des parties communes. Le projet avait ainsi une idée de performance claire dès son lancement : l'article rapportait un débit jusqu'à 6,4 fois supérieur dans ses tests. — (voice only)

    Source ↗
À garder en tête

  • Le même fil de forum dit que SGLang a besoin d'une période de chauffe que vLLM n'a pas. Les premières requêtes peuvent être plus lentes que les suivantes, donc un test court peut induire en erreur. Essayez les deux moteurs sur votre propre charge de travail.

    Source ↗
Pour aller plus loin

  • Ouvrez la page GPU AMD et lisez d'abord la section d'installation. Elle couvre l'image Docker pour les GPU AMD Instinct comme le MI300X, et contient un exemple de lancement de DeepSeek-V3 avec un parallélisme tensoriel sur 8 voies.

    Source ↗
Comparer le trio de tête ↓

2llama.cpp

N° 2 — llama.cpp. Dans les listes de 6 IA sur 7 ; place médiane : 3. Un seul arbre de code tourne sur la plus large gamme de puces, y compris DeepSeek-R1 complet sur AMD, mais il est conçu pour la vitesse d'un seul utilisateur.

Le saviez-vous ?

  • Le premier README de llama.cpp disait qu'il avait été « hacké en une soirée », et son auteur ne savait pas s'il fonctionnait correctement. Son objectif principal était de faire tourner LLaMA avec une compression 4 bits sur un MacBook, les puces Apple étant traitées en priorité.

    Source ↗ ✓ confirmé par plusieurs IA
Ce que c'est
Un petit moteur C++ qui fait tourner des modèles d'IA sur des ordinateurs ordinaires et de nombreux types de puces.
Son atout
La plus large liste de puces dans une seule base de code : Apple, AMD, Intel, Vulkan, Ascend et plus.
Pour qui
Convient à un utilisateur ou à une petite installation ; pas aux personnes qui servent de nombreux utilisateurs à la fois.
  • Vitesse de DeepSeek-R1 (jetons/s)37 jetons/s sur 8 AMD MI300X

Wikipédia · Wikidata

Pourquoi il est là

  • AMD indique que llama.cpp sur 8 GPU MI300X a offert jusqu'à 76 % de débit en plus que 8 GPU H100 sur DeepSeek-V3-671B, avec un prompt de 4 096 jetons. La comparaison est un résultat concret multi-GPU, bien que ce ne soit pas un test de DeepSeek-R1. — (voice only)

    Source ↗

  • Sur le même montage à 8 MI300X, AMD indique jusqu'à 213 % de débit en plus que H100 sur Llama 3.1 70B avec Flash Attention et un prompt de 4 096 jetons. Cela donne une deuxième condition de modèle et de prompt pour son cas de débit. — (voice only)

    Source ↗
Le saviez-vous ?

  • Quelques jours après la sortie de mars 2023, Simon Willison a fait tourner LLaMA 7B de Facebook sur un MacBook Pro M2 de 64 Go. Après le script de conversion de Georgi Gerganov, le modèle ne pesait plus qu'environ 4 Go.

    Source ↗
À garder en tête

  • Même un fan de llama.cpp écrit qu'il « ne passe pas à l'échelle comme vLLM ». Il convient mieux à un utilisateur ou à une petite installation qu'à un service pour beaucoup de monde.

    Source ↗
Ce que disent les gens

  • It even felt faster, probably thanks to quantisation and the simplicity of the codepath. — Antonio Poggi

    Source ↗
Pour aller plus loin

  • Ouvrez le guide de compilation et allez aux sections HIP (AMD) et CANN (Ascend). Vous pouvez compiler plusieurs backends à la fois et choisir le périphérique au lancement.

    Source ↗
Comparer le trio de tête ↓

3DeepInfer (DeepSeek)

N° 3 — DeepInfer (DeepSeek). Dans les listes de 6 IA sur 7 ; place médiane : 4. Il tourne sur Nvidia et Huawei Ascend, mais il ne prend en charge qu'un modèle, hors ligne seulement, et il a un jour.

Le saviez-vous ?

  • DeepInfer n'a pas été écrit à partir de zéro. Son README indique qu'il a été construit principalement sur vLLM, l'un des moteurs auxquels il est comparé. Il a aussi repris des idées de SGLang et de TensorRT-LLM. La version est sous licence Apache 2.0.

    Source ↗
Ce que c'est
Le moteur propre de DeepSeek, publié en code ouvert pour un modèle DeepSeek.
Son atout
Conçu avec un modèle de pointe, visant Nvidia SM100 et Huawei Ascend 950.
Pour qui
Convient à ceux qui font tourner DeepSeek-V4.1-Flash hors ligne ; pas à ceux qui ont besoin d'autres modèles ou d'un service complet.
  • Vitesse de DeepSeek-R1 (jetons/s)25 000 jetons/s par GPU (chiffre propre)

Wikipédia · Wikidata

Pourquoi il est là

  • Le dépôt de lancement liste 1 modèle pris en charge, DeepSeek-V4.1-Flash, et 2 familles de matériel prises en charge : NVIDIA SM100 et Huawei Ascend 950. Ce champ étroit explique son rang plus bas en largeur et en maturité. — (voice only)

    Source ↗
Le saviez-vous ?

  • Le chiffre de vitesse de DeepSeek provient d'un test séparé : le préremplissage a été mesuré sur 4 GPU Nvidia SM100 et le décodage sur 64. Le code publié ne contient ni système de cache KV ni séparation préremplissage/décodage.

    Source ↗
Histoire

  • En 2026, DeepSeek a ouvert le code de DeepInfer, un moteur qu'il dit alimenter ses services de production à grande échelle. La version publique était une fenêtre limitée sur ce système : elle offrait l'inférence hors ligne de DeepSeek-V4.1-Flash et indiquait que plusieurs éléments nécessaires à un service complet n'étaient pas inclus. — (voice only)

    Source ↗
À garder en tête

  • Les chiffres de vitesse de DeepSeek sont les siens et n'ont pas été vérifiés indépendamment. Un compte rendu affirme qu'il n'a publié aucun chiffre pour Huawei Ascend 950, alors que cette puce est indiquée comme prise en charge.

    Source ↗
Pour aller plus loin

  • Lisez d'abord le README. Il indique que le projet fait tourner un seul modèle, DeepSeek-V4.1-Flash, sur des GPU NVIDIA SM100 ou des puces Huawei Ascend 950. Son installation commence par un environnement Python 3.12 vide.

    Source ↗

Vidéo: DeepSeek R1 Explained to your grandma (en anglais) · AI with Alex

Comparer le trio de tête ↓

Le trio de tête côte à côte

SGLangllama.cppDeepInfer (DeepSeek)
Dans les listes des IA6 / 76 / 76 / 7
Vitesse de DeepSeek-R1 (jetons/s)3 276 jetons/s à 200 requêtes37 jetons/s sur 8 AMD MI300X25 000 jetons/s par GPU (chiffre propre)
Premier pourGrok——

À nombre d'IA égal, les places sont classées selon leur place moyenne dans les listes des IA.

Autres classements

03Bon à savoir

Ce que les IA ont remarqué en établissant la liste.

Sur le même serveur 8 H200 avec DeepSeek-R1, le vainqueur publié change d'une mesure à l'autre : vLLM 1 137 contre 1 041 jetons/s, puis SGLang 1 329 contre 1 042. Passer de 50 à 200 requêtes peut à nouveau tout inverser.

Remarqué par:
L’ont inclus: ChatGPT, Grok, Gemini, Kimi, Wenxin. Ne l’ont pas inclus: Claude, Meta.
Source ↗

« Prise en charge hors Nvidia » dépend de la définition : la prise en charge d'Ascend et de Gaudi par vLLM se trouve dans des dépôts de plugins, tandis que SGLang et llama.cpp gardent Ascend dans leur code principal.

Remarqué par:
L’ont inclus: Claude, Grok, Gemini. Ne l’ont pas inclus: ChatGPT, Meta, Kimi, Wenxin.
Source ↗

Quitter Nvidia est déjà validé par des pairs sur AMD : un résultat MI355X Llama-2-70B en mode interactif, dans MLPerf v6.0, a atteint 73 608 jetons/s contre 70 724 pour une soumission TensorRT sur 8 B300.

Remarqué par:
L’ont inclus: Grok. Ne l’ont pas inclus: Claude, ChatGPT, Meta, Gemini, Kimi, Wenxin.
Source ↗

Le logiciel seul change les chiffres : MLPerf v6.0 indique 2,7 fois plus de débit DeepSeek-R1 sur le même matériel Nvidia qu'il y a six mois.

Remarqué par:
L’ont inclus: Claude. Ne l’ont pas inclus: ChatGPT, Meta, Grok, Gemini, Kimi, Wenxin.
Source ↗

Les 155 billions de jetons par jour de DeepInfer couvrent un seul groupe DeepSeek et sont déclarés par DeepSeek. La version publique est hors ligne seulement : le cache, la séparation préremplissage/décodage et l'équilibrage de charge restent à la charge de l'exploitant.

Remarqué par:
L’ont inclus: Claude, ChatGPT, Grok, Kimi. Ne l’ont pas inclus: Meta, Gemini, Wenxin.
Source ↗

04Les questions que l’on se pose

vLLM ou SGLang ?

Aucun ne gagne partout : vLLM a l'écosystème le plus large et un résultat MLPerf audité, tandis que SGLang garde Ascend et AMD dans son code principal. Sur 8 H200 avec DeepSeek-R1, chacun a gagné une mesure publiée.

Source ↗
vLLM, SGLang ou llama.cpp ?

vLLM et SGLang sont des serveurs de grappe. llama.cpp est un seul arbre de code couvrant Metal, HIP, SYCL, Vulkan et Huawei CANN, mais sur une comparaison sur un A100 70B, il a donné 900–1 300 jetons/s contre 2 800–3 400 pour vLLM.

Source ↗
Quelles performances pour vLLM et SGLang ?

À 200 requêtes sur 8 H200 avec DeepSeek-R1, SGLang a atteint 3 276 jetons/s et vLLM 2 499. Avec moins de requêtes, vLLM menait par 1 137 contre 1 041, donc les résultats dépendent du montage.

Source ↗
vLLM, SGLang ou Ollama ?

Ollama est un outil local construit sur llama.cpp. Un test cité lui donne environ 41 jetons/s sous charge, contre environ 793 pour vLLM : il convient aux ordinateurs de bureau plutôt qu'à un service pour de nombreux utilisateurs.

Source ↗

05Notre méthode

En mots simples, sans formules.

1La question

Les 10 meilleurs moteurs de service d'IA ouverts : vitesse contre indépendance vis-à-vis de Nvidia

2Pourquoi ce sujet

Le lecteur obtient côte à côte « lequel est le plus rapide » et « lequel me libère d'un fabricant de puces », là où les tests de vitesse et les listes de matériel ne montrent chacun qu'un des deux.

3Champ d'application

mondial ; moteurs open source pour servir de grands modèles de langage (vLLM, SGLang, DeepInfer, llama.cpp, TensorRT-LLM comme référence Nvidia, et d'autres)

4Ce que nous avons regardé

  • Débit de sortie et délai avant le premier jeton pour un modèle, un matériel et un niveau de simultanéité donnés
  • Nombre de familles de puces non Nvidia prises en charge dans le code principal (AMD ROCm, Huawei Ascend, Intel Gaudi, Apple Metal, autres) plutôt que dans des forks séparés des fournisseurs
  • Quels grands modèles ouverts tournent sur chaque famille de puces avec un support officiel
  • Maturité : documentation, rythme des versions et mainteneurs actifs
  • Michaelvll llm-ie-benchmarks : débit de sortie de vLLM et SGLang sur DeepSeek-R1, 8 H200 Nvidia, avec longueurs de prompt et de sortie et nombre de requêtes indiqués.
  • MLPerf Inference v6.0 (tel que lu par mlai.qa) : jetons/s audités pour gpt-oss-120b sur 8 B200, vLLM contre TensorRT-LLM, en mode hors ligne et avec limite de latence serveur.
  • Notes de version de vLLM Ascend : modèles et matériel Atlas couverts par le plugin vllm-ascend séparé (v0.30.0rc1, 11 oct. 2026).
  • Tableau matériel du README de SGLang : plateformes de puces que le projet SGLang principal déclare prendre en charge.

5Qui a classé

Les IA de pointe : Claude, ChatGPT, Meta, Grok, Gemini, Kimi, Wenxin. Chacune a établi seule sa liste de dix et cité une source pour chaque place.

6Comment les places ont été fixées

Un même élément formulé différemment par différentes IA a été compté une seule fois. Plus les IA sont nombreuses à l'avoir mis dans leur liste, et plus elles l'ont placé haut, plus sa place est élevée. « Accord des IA » indique combien d'IA l'avaient dans leur propre liste. Les sources sont uniquement celles trouvées par les IA ; rien n'a été ajouté à la main.

06La liste de chaque IA

🇺🇸 Claude10 places · 3 notes

La même question, à laquelle Claude a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    vLLM

    Son modèle de plugins permet à Ascend, Intel Gaudi, MetaX, Rebellions et IBM Spyre de s'y brancher, et le plugin Ascend a servi de cas de référence.

    Source ↗
  2. 2
    SGLang

    Il traite Ascend comme une partie du code de modèle partagé, avec des branches _is_npu dans les fichiers principaux, et des chemins AMD, TPU et Gaudi par-dessus.

    Source ↗
  3. 3
    llama.cpp

    La liste de puces la plus large de tous les moteurs ici : Metal, CUDA, HIP, Vulkan, SYCL, CANN (Ascend) et MUSA dans un seul arbre, mais conçu pour la vitesse d'un seul utilisateur plutôt que pour les lots de centres de données.

  4. 4
    xLLM (JD, désormais OpenAtom)

    Conçu pour les accélérateurs chinois et revendiqué à 1,7 fois MindIE et 2,2 fois vLLM-Ascend sur Qwen à TPOT égal, selon les auteurs eux-mêmes.

  5. 5
    DeepInfer (DeepSeek)

    Publié il y a un jour et déjà décrit comme traitant environ 155 billions de jetons par jour, mais il ne prend en charge qu'un modèle sur deux puces.

  6. 6
    TensorRT-LLM (référence Nvidia)

    La référence de vitesse, à environ 2 400 jetons/s sur H100 dans une comparaison, sans aucune puce non Nvidia.

  7. 7
    Ollama

    Le plus facile à installer, mais un rapport le montre stagnant autour de 41 jetons/s sous charge, alors que vLLM a culminé vers 793.

    Source ↗
  8. 8
    MLC LLM

    Destiné aux appareils de périphérie, aux mobiles et à WebGPU, avec environ 21 600 étoiles sur GitHub.

    Source ↗
  9. 9
    Hugging Face TGI

    Un serveur de production avec quantification et LoRA automatiques, mais je n'ai trouvé aucune donnée hors Nvidia ni sur DeepSeek-R1.

  10. 10
    MindIE (Huawei)

    Officiel sur Atlas 800 A2 et 300I Duo, mais un compte rendu de test juge son seuil de mise en place élevé.

    Source ↗

Ce que Claude a remarqué

Le décompte des « prises en charge hors Nvidia » dépend de la définition. La prise en charge d'Ascend, de Gaudi et de MetaX de vLLM se trouve dans des dépôts de plugins séparés, tandis que SGLang garde son backend Ascend dans le code principal et que llama.cpp garde presque tous ses backends dans un seul arbre.

Source ↗

Sur le même matériel, les seules mises à jour logicielles ont beaucoup accru le débit : MLPerf v6.0 indique 2,7 fois plus de débit DeepSeek-R1 sur le même matériel NVIDIA qu'il y a six mois. Le suivi V4 de SemiAnalysis met en avant une amélioration de 100 fois en 26 jours.

Source ↗

AMD dit que SGLang est le choix par défaut pour DeepSeek-R1 sur ses puces et prévoit une parité avec vLLM bientôt, donc le vainqueur n'est pas encore tranché.

Source ↗
🇺🇸 ChatGPT10 places · 4 notes

La même question, à laquelle ChatGPT a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    vLLM (2026)

    Une mesure H200 reproductible donne à vLLM 1 137 jetons/s en sortie contre 1 041 pour SGLang, avec 1 000 jetons d'entrée et 2 000 de sortie, mais une autre mesure inverse le vainqueur.

    Source ↗
  2. 2
    SGLang (2026)

    À 200 requêtes, SGLang devance vLLM d'environ 31 % sur la charge 1k/2k H200 citée ; avec moins de requêtes, il perd.

    Source ↗
  3. 3
    llama.cpp (2026)

    Une seule base de code atteint Apple Metal, AMD, Intel SYCL, Vulkan et d'autres backends, ce qui en fait la plus large porte de sortie pratique hors de Nvidia ici.

    Source ↗
  4. 4
    DeepInfer (2026)

    Il associe une cible Ascend 950 d'une importance singulière à une base de code du jour du lancement ne comptant que trois validations publiques et aucun débit Ascend publié.

    Source ↗
  5. 5
    TensorRT-LLM (référence Nvidia, 2026)

    Il reste la référence de vitesse axée sur Nvidia, mais sa valeur comme voie de sortie de Nvidia est pratiquement nulle.

    Source ↗
  6. 6
    LMDeploy (2026)

    Une option de service sérieuse avec des ambitions hors Nvidia documentées, mais les éléments réunis ici ne le placent pas sur un pied d'égalité en matière de tests de performance avec vLLM et SGLang.

    Source ↗
  7. 7
    Hugging Face TGI (2026)

    Un projet de déploiement mature et documenté, mais les mesures citées n'établissent pas de comparaison de vitesse équivalente entre puces.

    Source ↗
  8. 8
    MLC-LLM (2026)

    Son approche de portabilité orientée compilateur élargit les options de matériel, mais ce jeu de données ne fournit pas de comparaison de débit sur le même modèle et le même matériel.

    Source ↗
  9. 9
    Ollama (2026)

    Sa distribution locale simple atteint beaucoup d'utilisateurs, mais la commodité pour l'utilisateur et la portabilité des backends ne remplacent pas un test de service contrôlé.

    Source ↗
  10. 10
    Aphrodite Engine (2026)

    Une alternative communautaire de service, mais les preuves publiques réunies ici sont plus minces que celles des leaders sur la prise en charge multi-fournisseurs et le débit comparable.

    Source ↗

Ce que ChatGPT a remarqué

La comparaison publiée entre vLLM et SGLang dépend de la charge de travail : sur 8×H200, passer de 50 à 200 requêtes inverse le vainqueur, et les auteurs du test mettent en garde contre la lecture d'un seul tableau comme verdict universel.

Source ↗

DeepInfer est un signal significatif d'indépendance vis-à-vis de Nvidia, mais sa publication de code du 20 octobre est plus étroite que la description de service de production : V4.1-Flash hors ligne, deux cibles matérielles listées et aucun graphique de performance Ascend publié.

Source ↗

Une large liste de backends ne garantit ni une vitesse ni un support de modèles égaux. Le guide de compilation de llama.cpp liste plusieurs backends, tandis que vLLM et SGLang publient des matrices Ascend plus explicites par modèle.

Source ↗

MLPerf est un contrôle externe utile pour les résultats de systèmes matériels, mais ses soumissions d'inférence ne créent pas un classement comparable de tous les moteurs de service ouverts sur un même modèle et une même configuration.

Source ↗
🇺🇸 Grok10 places · 3 notes

La même question, à laquelle Grok a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    SGLang

    Un README cite AMD, TPU, Intel, Apple et Huawei à côté de Nvidia, et un test H100 le donne à 16 215 jetons/s contre 12 553 pour vLLM.

    Source ↗
  2. 2
    vLLM

    Sur le seul tableau audité, vLLM a battu TensorRT-LLM de 8 % quand l'objectif était le débit brut, et l'a perdu de 22 % quand l'objectif était la limite de latence.

    Source ↗
  3. 3
    llama.cpp

    CANN, HIP, Metal, Vulkan et SYCL se trouvent dans un seul arbre, le même qui, dans un test sur un A100, sert un modèle de 70 milliards à environ un tiers du débit par lots de vLLM.

  4. 4
    DeepInfer

    Publié il y a un jour, 14 100 étoiles, deux familles de puces dans un seul dépôt, et il ne fait tourner qu'un modèle, le cache restant un devoir à faire soi-même.

  5. 5
    TensorRT-LLM

    La référence Nvidia : 87 444 jetons/s sous la limite de latence de MLPerf, et zéro famille de puces non Nvidia.

    Source ↗
  6. 6
    Ollama

    184 000 étoiles et une installation en une ligne : c'est llama.cpp dans un habillage plus agréable, pas une seconde réponse pour une grappe de GPU complète.

    Source ↗
  7. 7
    vLLM Ascend

    La version candidate du 11 octobre cite déjà DeepSeek V4.1, GLM-5.3 et Qwen3.8-27B, et c'est un second dépôt, pas un indicateur à l'intérieur de vLLM.

    Source ↗
  8. 8
    Text Generation Inference (Hugging Face)

    Toujours troisième dans un test sur 70 milliards : environ 2 100–2 600 jetons/s, derrière les 2 800–3 400 de vLLM et devant llama.cpp.

    Source ↗
  9. 9
    llamafile

    Un seul fichier, pour tous les grands systèmes de bureau : l'empaquetage de llama.cpp par Mozilla, ce qui explique qu'il hérite de la liste de puces et aussi du plafond de vitesse.

    Source ↗
  10. 10
    Triton Inference Server

    La coquille ouverte autour de TensorRT-LLM : un vrai serveur, une licence BSD, et toujours une adresse Nvidia.

    Source ↗

Ce que Grok a remarqué

Les deux mesures soigneuses de DeepSeek-R1 sur le même serveur 8×H200 inversent le vainqueur. vLLM mène la première paire publiée ; SGLang mène le rerun, trois semaines de versions plus tard. La note du collecteur : passer de 50 à 200 requêtes peut inverser le verdict.

Source ↗

Les 155 billions de jetons par jour de DeepInfer correspondent à un seul groupe de DeepSeek-V4.1-Flash, pas à toute l'entreprise, et la version publiée est hors ligne seulement. Les éléments qui en font un service (cache, séparation préremplissage/décodage, équilibrage de charge) restent à la charge de l'exploitant.

Source ↗

Quitter Nvidia est déjà validé par des pairs sur AMD. Dans MLPerf v6.0, chaque résultat MI355X et MI350X utilisait PyTorch/ROCm, plusieurs citant vLLM, et un résultat MI355X Llama-2-70B en mode interactif a atteint 73 608 jetons/s contre 70 724 pour une soumission TensorRT sur 8 B300.

Source ↗
🇺🇸 Gemini10 places · 3 notes

La même question, à laquelle Gemini a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    vLLM (2026)

    L'épine dorsale incontestée de l'IA de production, qui unifie nativement CUDA de Nvidia, ROCm d'AMD, Ascend de Huawei et Gaudi d'Intel dans un seul moteur de traitement par lots continu.

    Source ↗
  2. 2
    SGLang (2026)

    Réduit fortement la latence des tâches agentiques et multi-tours grâce à RadixAttention, jusqu'à 3 fois plus rapide que les environnements standards sur les charges à préfixe partagé, tout en offrant un support natif de ROCm.

    Source ↗
  3. 3
    llama.cpp (2026)

    L'issue portable ultime aux monopoles des GPU d'entreprise : il sert des modèles de 70 milliards sur Apple Metal, CPU AVX-512 et ROCm sans aucune dépendance à CUDA.

    Source ↗
  4. 4
    DeepInfer (2026)

    Le moteur de DeepSeek, éprouvé à 155 billions de jetons par jour, construit avec des noyaux FlashMLA et DeepGEMM sur mesure pour Nvidia SM100 et Huawei Ascend 950.

    Source ↗
  5. 5
    TensorRT-LLM (référence Nvidia, 2026)

    La couronne de vitesse propriétaire de Nvidia : débit brut inégalé sur H100 et Blackwell, mais entièrement lié à l'écosystème matériel Nvidia.

    Source ↗
  6. 6
    LMDeploy (2026)

    Le moteur léger et puissant du laboratoire d'IA de Shanghai, avec une génération de jetons ultra-rapide en C++ TurboMind et une accélération officielle sur Huawei Ascend.

    Source ↗
  7. 7
    TGI - Text Generation Inference (2026)

    Le serveur d'entreprise éprouvé de Hugging Face, qui offre un déploiement solide sur plusieurs accélérateurs : Intel Gaudi, AMD ROCm et GPU Nvidia.

    Source ↗
  8. 8
    Ollama (2026)

    Empaquette llama.cpp et des exécuteurs maison dans une seule commande CLI, et transforme les postes de travail non Nvidia en serveurs d'IA prêts à l'emploi.

    Source ↗
  9. 9
    Aphrodite Engine (2026)

    Le moteur communautaire de PygmalionAI, axé sur l'inférence de MoE de grande taille sans contraintes sur AMD ROCm et sur divers matériels grand public.

    Source ↗
  10. 10
    MLC-LLM (2026)

    Compile les modèles d'apprentissage profond en code machine exécutable autonome via Apache TVM, pour les appareils Qualcomm, Apple Metal et Vulkan.

    Source ↗

Ce que Gemini a remarqué

La lutte entre vLLM et SGLang révèle une division de conception fondamentale : vLLM domine le débit par lots généraliste et la large prise en charge matérielle, tandis que RadixAttention de SGLang procure des gains de débit massifs sur les tâches agentiques à préfixe partagé.

Source ↗

Une vraie indépendance vis-à-vis de Nvidia dépend fortement de bases de code amont unifiées : si AMD ROCm a atteint un statut natif de premier rang dans vLLM et SGLang, Huawei Ascend exige encore souvent des plugins spécialisés (vllm-ascend) ou des forks des fournisseurs.

Source ↗

La publication ouverte par DeepInfer de noyaux MoE très performants (FlashMLA, DeepGEMM, DeepEP) fournit le premier plan de production à très grande échelle pour faire tourner des modèles de plus de 600 milliards de paramètres sur les NPU Huawei Ascend 950 aux côtés de Nvidia SM100.

Source ↗
🇨🇳 Kimi10 places · 4 notes

La même question, à laquelle Kimi a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    vLLM (PyTorch Foundation)

    Environ 91 000 étoiles, des versions toutes les quelques semaines (v0.30.0, 22 sept.), et une prise en charge NVIDIA, AMD et Intel dans le code principal, avec Gaudi, Ascend et TPU arrivant sous forme de plugins : la voie de sortie par défaut hors de Nvidia.

    Source ↗
  2. 2
    SGLang (origines RadixArk / LMSYS)

    RadixAttention en fait le spécialiste des boucles d'agents, et son portage Ascend prend officiellement en charge davantage de modèles ouverts de pointe (DeepSeek V4.1, GLM-5.3, Kimi K3, MiniMax-M3, Hy4) que tout autre moteur.

    Source ↗
  3. 3
    llama.cpp (ggml)

    Une base de code C++ unique qui porte CUDA, ROCm, Vulkan, Metal, SYCL et MUSA : il fait tourner le DeepSeek-R1 complet de 671 milliards sur 8 GPU AMD MI300X à environ 37 jetons/s en sortie, sans fork de fournisseur.

    Source ↗
  4. 4
    TensorRT-LLM (NVIDIA)

    Le roi de la vitesse sur Nvidia : 2 780 jetons/s sur Llama-3.3-70B avec 100 requêtes simultanées, contre 2 400 pour vLLM, payé par une compilation de 28 minutes et zéro prise en charge hors Nvidia.

    Source ↗
  5. 5
    DeepInfer (deepseek-ai)

    Un jour d'existence et déjà le seul moteur conçu en commun avec un modèle de pointe : la pile de production de DeepSeek lui-même, réglée pour V4.1-Flash sur Nvidia SM100 et Huawei Ascend 950 dès la sortie.

    Source ↗
  6. 6
    KTransformers (KVCache.AI)

    La marginale universitaire dont la conception de déchargement CPU (article SOSP'25) fait tourner des modèles MoE de classe 671 milliards sur une mémoire GPU de type 24 Go, et dont les noyaux vivent désormais dans SGLang.

    Source ↗
  7. 7
    Ollama

    La porte d'entrée des développeurs : un seul binaire qui enveloppe llama.cpp pour CUDA, ROCm et Metal, et depuis la version 0.19 un backend MLX en aperçu, de 1,6 à 2 fois plus rapide au décodage sur Apple Silicon.

    Source ↗
  8. 8
    LMDeploy / TurboMind (InternLM)

    Le moteur C++ qui bat vLLM sur son propre terrain : 1 980 contre 1 850 jetons/s sur un 7 milliards sur H100, tandis que son moteur PyTorch ajoute la prise en charge officielle de Huawei Ascend qui manque au cœur TurboMind.

    Source ↗
  9. 9
    MLX / mlx-lm (Apple)

    La bibliothèque de tableaux MIT d'Apple est le seul moteur sérieux natif de la mémoire unifiée : vllm-mlx atteint 525 jetons/s sur un M4 Max, 21 à 87 % au-dessus de llama.cpp.

    Source ↗
  10. 10
    Hugging Face TGI (text-generation-inference)

    Désormais en mode maintenance, le serveur Rust de Hugging Face invite les utilisateurs à passer à vLLM ou SGLang : signe formel que la pile de service s'est consolidée autour de deux leaders Apache-2.0.

    Source ↗

Ce que Kimi a remarqué

Le même test s'inverse selon le lanceur : sur un matériel identique 8×H200 avec DeepSeek-R1, le script de vLLM montre vLLM 1137 contre SGLang 1041 jetons/s ; le script de SGLang montre SGLang 1329 contre vLLM 1042 ; et passer de 50 à 200 requêtes inverse à nouveau (SGLang 3276 contre vLLM 2499). « vLLM contre SGLang » n'a pas de réponse indépendante du montage.

Source ↗

llama.cpp est le grand égalisateur : le blog d'AMD fait tourner le DeepSeek-R1 complet de 671 milliards sur 8 GPU MI300X à 37 jetons/s en décodage, sans fork : la seule pile où un modèle ouvert de pointe tourne sur du silicium non Nvidia dès le premier jour, ce qui explique qu'Ollama, LM Studio et KTransformers reposent tous dessus.

Source ↗

DeepInfer est la première fois qu'un moteur de production d'un laboratoire de pointe traite Huawei Ascend 950 comme un backend de premier rang dès le jour zéro, et publie toute la recette du cluster (38,5 M$ d'investissements) pour la reproduire ; c'est la déclaration la plus forte de 2026 sur l'indépendance vis-à-vis de Nvidia, malgré ses 24 heures d'existence.

Source ↗

Le secteur s'est consolidé et s'est scindé : TensorRT-LLM reste la référence de vitesse réservée à Nvidia (avec une compilation de 28 minutes), tandis que l'avis de maintenance de TGI et la scission de RadixArk par SGLang (levée de 100 M$ d'amorçage, avec les investissements de NVIDIA et AMD) montrent que le centre de gravité du service ouvert se fixe sur vLLM et SGLang.

Source ↗
🇨🇳 Wenxin10 places · 1 notes

La même question, à laquelle Wenxin a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    vLLM (mondial, 2023-aujourd'hui)

    Le choix par défaut pour 70 % des déploiements de modèles ouverts, et il tourne désormais nativement sur Huawei Ascend aussi

    Source ↗
  2. 2
    SGLang (mondial, 2024-aujourd'hui)

    Plus rapide que vLLM en confrontation directe sur les mêmes GPU, et arrivé avant lui sur Ascend

    Source ↗
  3. 3
    DeepInfer (DeepSeek, Chine, 2026)

    Né libre le 20 octobre 2026 : il fait tourner la charge de 155 billions de jetons de DeepSeek sur Nvidia comme sur Ascend

    Source ↗
  4. 4
    llama.cpp (mondial, 2023-aujourd'hui)

    Fait tourner des modèles de 70 milliards sur un seul MacBook : le moteur du grand public, même s'il n'est pas le plus rapide

    Source ↗
  5. 5
    TensorRT-LLM (Nvidia, 2023-aujourd'hui)

    Le roi de la vitesse de Nvidia : le plus rapide sur H100/B200, mais inutile si vous voulez vous passer de Nvidia

    Source ↗
  6. 6
    Ollama (mondial, 2023-aujourd'hui)

    Pas un moteur brut, mais une enveloppe soignée autour de llama.cpp qui a rendu l'IA locale courante pour les non-ingénieurs

    Source ↗
  7. 7
    TGI / Text Generation Inference (Hugging Face, 2022-aujourd'hui)

    L'enveloppe de qualité production de HuggingFace : largement utilisée dans le cloud, mais figée sur la diversité des puces

    Source ↗
  8. 8
    OpenVINO / OpenVINO GenAI (Intel, 2023-aujourd'hui)

    La réponse d'Intel pour Gaudi et le CPU : rapide sur le matériel Intel, mais la prise en charge des modèles est en retard

    Source ↗
  9. 9
    TabbyML / Tabby (mondial, 2023-aujourd'hui)

    Moteur de niche en croissance qui prend Ascend et AMD plus au sérieux que les grands noms

    Source ↗
  10. 10
    PowerInfer (XiaoMi, Chine, 2024-aujourd'hui)

    Le moteur à petit budget de AMD pour serveurs : il fait tourner 70 milliards sur un seul GPU, mais n'est pas encore éprouvé sur Ascend

Ce que Wenxin a remarqué

La publication de DeepInfer le 20 octobre 2026 en a fait le seul moteur d'un laboratoire chinois du top 10 à être à la fois open source et officiellement compatible avec Huawei Ascend dans le code principal, mais il ne fait tourner pour l'instant que des modèles DeepSeek, ce qui limite sa généralité.

Source ↗