1SGLang
Nr. 1 — SGLang. In den Listen von 6 von 7 KIs; mittlerer Platz dort: 2. Es hält die meisten Nicht-Nvidia-Chips (Ascend, AMD, TPU, Apple) im Hauptprojekt und kann vLLM bei DeepSeek-R1 schlagen.
Schon gewusst?
SGLang begann als Universitätsforschung in Stanford und Berkeley. Heute gehört es zu LMSYS, der gemeinnützigen Organisation, die auch Chatbot Arena betreibt. Sein Kniff ist RadixAttention: Es speichert frühere Arbeit in einem Baum, damit wiederholte Prompt-Anfänge nicht neu berechnet werden.
- Was es ist
- Eine schnelle offene Engine zum Bereitstellen von KI-Modellen, die als Universitätsforschung begann.
- Seine Stärke
- Die meisten Anleitungen für Nicht-Nvidia-Chips im Hauptprojekt, dazu der Vorsprung vor vLLM bei vielen Prompts.
- Für wen
- Passt für Teams, die viele Nutzer auf gemischter Hardware bedienen. Kurze Tests können wegen der Aufwärmphase täuschen.
- DeepSeek-R1-Geschwindigkeit (Tokens/s)3.276 Tok/s bei 200 Prompts
Warum es hier steht
AMDs SGLang-0.4.2-Test nutzte DeepSeek-R1 FP8 auf 8 MI300X-GPUs, mit bis zu 16 gleichzeitigen Anfragen und 3.200 Eingabe-Token. Damit sind Hardware und Last für die Durchsatzbeurteilung angegeben. — (voice only)
Der SGLang-Hardware-Leitfaden listet 8 Plattform-Anleitungen, darunter AMD, Ascend, TPU, XPU und Moore Threads. Diese Breite erklärt zum Teil den ersten Platz bei der Nicht-Nvidia-Unterstützung. — (voice only)
Schon gewusst?
Das Projekt sagt, SGLang verarbeite Billionen Token am Tag auf mehr als 400.000 GPUs, und nennt xAI, LinkedIn, Cursor, AMD und NVIDIA als Nutzer. Die Seite kennzeichnet diese Zahlen als vom Projekt gemeldet, nicht unabhängig geprüft.
Geschichte
Im Jahr 2023 stellte das SGLang-Paper RadixAttention vor, eine Methode, bereits geleistete Arbeit wiederzuverwenden, wenn Prompts Teile teilen. Damit hatte das Projekt zum Start eine klare Leistungsidee: Das Paper meldete in seinen Tests bis zu 6,4-fachen Durchsatz. — (voice only)
Gut zu wissen
Derselbe Forumsthread sagt, SGLang braucht eine Aufwärmphase, die vLLM nicht braucht. Frühe Anfragen können langsamer sein als spätere, daher kann ein kurzer Test täuschen. Testen Sie beide Engines mit Ihrer eigenen Last.
Weiterlesen
Öffnen Sie die Seite zur AMD-GPU und lesen Sie zuerst den Installationsabschnitt. Er behandelt das Docker-Image für AMD-Instinct-GPUs wie die MI300X und enthält ein Startbeispiel für DeepSeek-V3 mit 8-fachem Tensor-Parallelismus.
