SGLang

par LMSYS / sgl-project

Un moteur de service de LLM ultra-rapide, utilisé en production pour les gros modèles ouverts.

37 k étoiles GitHub Apache-2.0 Gratuit en localLocalOpen sourcePoids ouverts

Voir sur GitHub →

Ce que ça fait

RadixAttention : réutilisation du cache entre requêtes
Très performant sur les modèles MoE comme DeepSeek
API compatible OpenAI et image Docker officielle

L'installer

Prérequis : Linux avec GPU NVIDIA ou AMD, Docker ou Python.

Image Docker

docker pull lmsysorg/sglang:latest

Ou via pip (uv)

uv pip install --prerelease=allow sglang

Documentation

https://docs.sglang.io

Le prompt pour ton agent

Colle-le dans ton agent de code : il vérifie les prérequis et installe pour toi.

Claude CodeCodexCursorGemini CLIopencode

Prompt

Installe SGLang (https://docs.sglang.io) sur ma machine.
1. Vérifie les prérequis : Linux avec GPU NVIDIA ou AMD, Docker ou Python. S'il manque quelque chose, dis-le-moi avant d'installer quoi que ce soit.
2. Suis la méthode officielle :
- Image Docker : docker pull lmsysorg/sglang:latest
- Ou via pip (uv) : uv pip install --prerelease=allow sglang
- consulter https://docs.sglang.io
3. Vérifie que ça fonctionne, puis explique-moi comment le lancer et par quoi commencer.

Relis toujours ce que ton agent s'apprête à exécuter, surtout les commandes d'installation.