Directorio › IA local › vLLM
> JOYA IA LOCAL · DESARROLLO
vLLM
por vLLM project
El servidor de inferencia de alto rendimiento de referencia para servir LLM a muchos usuarios.
Ver en GitHub →Qué hace
- PagedAttention y batching continuo para un alto rendimiento
- API compatible con OpenAI lista para producción
- Compatible con la mayoría de modelos abiertos de Hugging Face
Instalarlo
Requisitos: Linux, Python y una GPU compatible (se recomienda NVIDIA CUDA).
Instalar
uv pip install vllmGuía de inicio
https://docs.vllm.ai/en/latest/
El prompt para tu agente
Pégalo en tu agente de código: comprueba los requisitos y lo instala por ti.
Claude CodeCodexCursorGemini CLIopencode
Prompt
Instala vLLM (https://vllm.ai) en mi equipo.
1. Comprueba los requisitos: Linux, Python y una GPU compatible (se recomienda NVIDIA CUDA). Si falta algo, avísame antes de instalar nada.
2. Sigue el método oficial:
- Instalar: uv pip install vllm
- consultar https://docs.vllm.ai/en/latest/
3. Comprueba que funciona y explícame cómo iniciarlo y por dónde empezar.
Revisa siempre lo que tu agente va a ejecutar, sobre todo los comandos de instalación.