Directorio › IA local › ExLlamaV3
> JOYA IA LOCAL · DESARROLLO
ExLlamaV3
por turboderp
Una biblioteca de inferencia rápida para que grandes LLM quepan en tarjetas gráficas de consumo.
Ver en GitHub →Qué hace
- Cuantización EXL3 (basada en QTIP) muy eficiente en memoria
- Inferencia paralela en varias GPU y descarga a CPU para MoE
- Servidor compatible con OpenAI mediante TabbyAPI
Instalarlo
Requisitos: GPU NVIDIA, Python y PyTorch con CUDA 12.4+ ya instalados.
Elegir un wheel precompilado (recomendado)
https://github.com/turboderp-org/exllamav3/releases
O desde PyPI (compila la extensión)
pip install exllamav3Servidor recomendado: TabbyAPI
https://github.com/theroyallab/tabbyAPI
El prompt para tu agente
Pégalo en tu agente de código: comprueba los requisitos y lo instala por ti.
Claude CodeCodexCursorGemini CLIopencode
Prompt
Instala ExLlamaV3 (https://github.com/turboderp-org/exllamav3) en mi equipo.
1. Comprueba los requisitos: GPU NVIDIA, Python y PyTorch con CUDA 12.4+ ya instalados. Si falta algo, avísame antes de instalar nada.
2. Sigue el método oficial:
- consultar https://github.com/turboderp-org/exllamav3/releases
- O desde PyPI (compila la extensión): pip install exllamav3
- consultar https://github.com/theroyallab/tabbyAPI
3. Comprueba que funciona y explícame cómo iniciarlo y por dónde empezar.
Revisa siempre lo que tu agente va a ejecutar, sobre todo los comandos de instalación.