Directorio › IA local › AirLLM
> JOYA IA LOCAL · DESARROLLO
AirLLM
por Gavin Li (lyogavin)
«Un 70B con 4 GB de VRAM»: es verdad, pero se cuenta en segundos por palabra, no sirve para charlar.
Ver en GitHub →Qué hace
- Carga una capa a la vez: el modelo completo se queda en el disco y va pasando, sin pérdida de calidad
- Velocidad: de 5 a 35 segundos por palabra con un buen SSD, más de 8 horas para 100 palabras en los peores casos
- Útil para procesos por lotes nocturnos o probar un modelo en precisión completa; inútil para un chat
! NO lo uses para charlar con un modelo ni para volumen: cada palabra relee todo el modelo desde el disco (desgaste del SSD, equipo inutilizable mientras tanto). Para un uso normal con 12 GB de VRAM, elige un modelo de 12 a 14B cuantizado con llama.cpp u Ollama. Las cifras de velocidad vienen de las notas de versión del repositorio y de una prueba independiente, no las ha medido PixDig.
Instalarlo
Requisitos: Python y PyTorch; una cuenta de Hugging Face para modelos de acceso restringido (Llama). Empieza con un modelo pequeño (8B) para probar.
pip install airllmpip install -U bitsandbytes
El prompt para tu agente
Pégalo en tu agente de código: comprueba los requisitos y lo instala por ti.
Instala AirLLM (https://github.com/lyogavin/airllm) en mi equipo.
1. Comprueba los requisitos: Python y PyTorch; una cuenta de Hugging Face para modelos de acceso restringido (Llama). Empieza con un modelo pequeño (8B) para probar. Si falta algo, avísame antes de instalar nada.
2. Sigue el método oficial:
- Instalar: pip install airllm
- Compresión de 4 bits (más rápida): pip install -U bitsandbytes
3. Comprueba que funciona y explícame cómo iniciarlo y por dónde empezar.
Revisa siempre lo que tu agente va a ejecutar, sobre todo los comandos de instalación.