ExLlamaV3

par turboderp

Une bibliothèque d'inférence rapide pour faire tenir de gros LLM sur des cartes graphiques grand public.

1 643 étoiles GitHub MIT Gratuit en localLocalOpen sourcePoids ouverts

Voir sur GitHub →

Ce que ça fait

Quantification EXL3 (basée sur QTIP) très économe en mémoire
Inférence parallèle sur plusieurs GPU et déport CPU pour les MoE
Serveur compatible OpenAI via TabbyAPI

L'installer

Prérequis : GPU NVIDIA, Python et PyTorch avec CUDA 12.4+ déjà installés.

Choisir une roue précompilée (recommandé)

https://github.com/turboderp-org/exllamav3/releases

Ou depuis PyPI (compile l'extension)

pip install exllamav3

Serveur recommandé : TabbyAPI

https://github.com/theroyallab/tabbyAPI

Le prompt pour ton agent

Colle-le dans ton agent de code : il vérifie les prérequis et installe pour toi.

Claude CodeCodexCursorGemini CLIopencode

Prompt

Installe ExLlamaV3 (https://github.com/turboderp-org/exllamav3) sur ma machine.
1. Vérifie les prérequis : GPU NVIDIA, Python et PyTorch avec CUDA 12.4+ déjà installés. S'il manque quelque chose, dis-le-moi avant d'installer quoi que ce soit.
2. Suis la méthode officielle :
- consulter https://github.com/turboderp-org/exllamav3/releases
- Ou depuis PyPI (compile l'extension) : pip install exllamav3
- consulter https://github.com/theroyallab/tabbyAPI
3. Vérifie que ça fonctionne, puis explique-moi comment le lancer et par quoi commencer.

Relis toujours ce que ton agent s'apprête à exécuter, surtout les commandes d'installation.