promptfoo

par Promptfoo (OpenAI)

Teste, compare et attaque (red teaming) tes prompts et apps LLM avant de les mettre en prod.

25,9 k étoiles GitHub MIT GratuitOpen sourceLocal

Voir sur GitHub →

Ce que ça fait

Évaluations automatisées et comparaison de modèles côte à côte
Red teaming et scan de vulnérabilités pour apps et agents
S'intègre à ta CI/CD pour bloquer les régressions

L'installer

Prérequis : Node.js (ou Homebrew / pip) et une clé API du fournisseur LLM testé

Installer

npm install -g promptfoo

Créer un projet exemple

promptfoo init --example getting-started

Lancer l'évaluation (dans le dossier créé)

promptfoo eval

Le prompt pour ton agent

Colle-le dans ton agent de code : il vérifie les prérequis et installe pour toi.

Claude CodeCodexCursorGemini CLIopencode

Prompt

Installe promptfoo (https://www.promptfoo.dev) sur ma machine.
1. Vérifie les prérequis : Node.js (ou Homebrew / pip) et une clé API du fournisseur LLM testé. S'il manque quelque chose, dis-le-moi avant d'installer quoi que ce soit.
2. Suis la méthode officielle :
- Installer : npm install -g promptfoo
- Créer un projet exemple : promptfoo init --example getting-started
- Lancer l'évaluation (dans le dossier créé) : promptfoo eval
3. Vérifie que ça fonctionne, puis explique-moi comment le lancer et par quoi commencer.

Relis toujours ce que ton agent s'apprête à exécuter, surtout les commandes d'installation.