vLLM

par vLLM project

Le serveur d'inférence haute performance de référence pour servir des LLM à plusieurs utilisateurs.

93,6 k étoiles GitHub Apache-2.0 Gratuit en localLocalOpen sourcePoids ouverts

Voir sur GitHub →

Ce que ça fait

PagedAttention et batching continu pour un débit élevé
API compatible OpenAI prête pour la production
Supporte la plupart des modèles ouverts de Hugging Face

L'installer

Prérequis : Linux, Python et une carte graphique compatible (NVIDIA CUDA conseillé).

Installer

uv pip install vllm

Guide de démarrage

https://docs.vllm.ai/en/latest/

Le prompt pour ton agent

Colle-le dans ton agent de code : il vérifie les prérequis et installe pour toi.

Claude CodeCodexCursorGemini CLIopencode

Prompt

Installe vLLM (https://vllm.ai) sur ma machine.
1. Vérifie les prérequis : Linux, Python et une carte graphique compatible (NVIDIA CUDA conseillé). S'il manque quelque chose, dis-le-moi avant d'installer quoi que ce soit.
2. Suis la méthode officielle :
- Installer : uv pip install vllm
- consulter https://docs.vllm.ai/en/latest/
3. Vérifie que ça fonctionne, puis explique-moi comment le lancer et par quoi commencer.

Relis toujours ce que ton agent s'apprête à exécuter, surtout les commandes d'installation.