Annuaire › IA locale › AirLLM
> PÉPITE IA LOCALE · DÉVELOPPEMENT
AirLLM
par Gavin Li (lyogavin)
« Un 70B sur 4 Go de VRAM » : c'est vrai, mais compte en secondes par mot, pas pour discuter.
Voir sur GitHub →Ce que ça fait
- Charge une couche à la fois : le modèle complet reste sur le disque et défile, sans perte de qualité
- Vitesse : de 5 à 35 secondes par mot sur un bon SSD, jusqu'à plus de 8 h pour 100 mots dans les cas les pires
- Utile pour le traitement par lots la nuit ou pour tester un modèle en pleine précision ; inutile pour un chat
! À NE PAS utiliser pour discuter avec un modèle ou pour du volume : chaque mot relit tout le modèle depuis le disque (usure du SSD, machine inutilisable pendant ce temps). Pour un usage normal sur 12 Go de VRAM, prends un modèle de 12 à 14B quantifié avec llama.cpp ou Ollama. Chiffres de vitesse tirés des notes de version du dépôt et d'un test indépendant, pas mesurés par PixDig.
L'installer
Prérequis : Python et PyTorch ; un compte Hugging Face pour les modèles à accès restreint (Llama). Commence par un petit modèle (8B) pour tester.
pip install airllmpip install -U bitsandbytes
Le prompt pour ton agent
Colle-le dans ton agent de code : il vérifie les prérequis et installe pour toi.
Installe AirLLM (https://github.com/lyogavin/airllm) sur ma machine.
1. Vérifie les prérequis : Python et PyTorch ; un compte Hugging Face pour les modèles à accès restreint (Llama). Commence par un petit modèle (8B) pour tester. S'il manque quelque chose, dis-le-moi avant d'installer quoi que ce soit.
2. Suis la méthode officielle :
- Installer : pip install airllm
- Compression 4 bits (plus rapide) : pip install -U bitsandbytes
3. Vérifie que ça fonctionne, puis explique-moi comment le lancer et par quoi commencer.
Relis toujours ce que ton agent s'apprête à exécuter, surtout les commandes d'installation.