Une réponse fluide produite par une IA peut contenir une date, un chiffre ou une référence inventés. Le NIST classe la confabulation, souvent appelée hallucination, parmi les risques de l'IA générative. Les recommandations d'évaluation d'OpenAI invitent à construire des tests adaptés à la tâche et à confronter les mesures au jugement humain. Voici une procédure de vingt questions pour le travail éditorial ou administratif. Il s'agit d'un contrôle de qualité reproductible, pas d'un classement scientifique des modèles.
1. Définir précisément ce qui constitue une erreur
Distinguez une affirmation factuelle fausse, une interprétation sans preuve et une question ambiguë à laquelle aucune réponse certaine n'est possible. Si un assistant résume un contrat fourni et invente une date de renouvellement absente du document, l'affirmation est non étayée même si cette date existe ailleurs. Une prédiction catégorique sur une future décision réglementaire relève d'un autre problème. Ne réunissez pas automatiquement toutes ces situations dans un prétendu taux universel d'hallucination.
Établissez les critères de réussite avant de lancer le test. Les chiffres doivent correspondre au document, les interprétations doivent être signalées, et les données manquantes doivent conduire à demander une précision ou à reconnaître l'incertitude. Pour un calcul, conservez les entrées, les unités et refaites l'opération. Pour une citation, ouvrez le lien et vérifiez que le passage soutient réellement l'affirmation. Une adresse web authentique ne rend pas vraie une phrase sans rapport.
2. Constituer vingt questions proches de vos usages
Préparez quatre groupes de cinq questions : des faits stables tirés de documents officiels, des valeurs à extraire d'un texte fourni, des calculs avec toutes leurs données et des questions volontairement impossibles à résoudre faute d'informations. Le dernier groupe mesure la capacité à ne pas inventer. Privilégiez les situations qui ressemblent à votre travail quotidien. Avant l'essai, notez la réponse attendue, son emplacement exact dans la source, la date de vérification et les conditions d'un refus correct.
Prenons une facture fictive de trois unités à 80 et deux unités à 45, sans taxe ni remise. Le total de référence vaut 3×80 + 2×45 = 330 unités monétaires. Dans une seconde question, retirez le prix des deux dernières unités : une réponse prudente demande ce prix au lieu de le fabriquer. Indiquez clairement qu'il s'agit de données de démonstration. N'utilisez jamais les noms de clients réels, des coordonnées bancaires ou des documents confidentiels dans un essai public.
3. Tenir un registre de preuves consultable
Créez un tableau avec l'identifiant du cas, le type de tâche, la question, la réponse de référence, l'emplacement de la preuve, la réponse du modèle, les affirmations à contrôler, la décision et les remarques du relecteur. Notez si possible la version du modèle, les réglages, les consignes et la date. Les réponses d'une IA peuvent varier d'une exécution à l'autre : répétez quelques cas difficiles sans modifier discrètement les questions. Conservez les sorties brutes pour permettre un audit.
Attribuez à chaque affirmation l'une de trois étiquettes : correcte et étayée, incorrecte ou inventée, ou indécidable avec les éléments disponibles. Une réponse élégante contenant quatre affirmations ne mérite pas une validation complète si l'une n'a pas de preuve. Faites examiner un petit échantillon par un deuxième lecteur, éventuellement sans lui révéler le nom du modèle. Les recommandations d'OpenAI soulignent l'intérêt de jeux de tests ciblés, de critères explicites et d'un calibrage des mesures automatiques par des jugements humains.
4. Calculer des proportions sans exagérer leur portée
Imaginons un résultat purement illustratif : quatorze réponses correctes et étayées, quatre fausses ou inventées et deux indécidables sur vingt questions. La part des erreurs est de 4÷20 = 20 %, celle des réponses étayées de 14÷20 = 70 %, et la part restante de 2÷20 = 10 %. Ces nombres ne proviennent d'aucun test réel d'un produit. Présenter 20 % comme le taux général d'hallucination du modèle serait trompeur, car la sélection et la formulation des questions influencent le résultat.
Analysez ensuite les catégories. Quatre citations erronées peuvent être particulièrement graves pour un média, même si un autre usage tolère certaines erreurs de mise en forme. Comptez séparément les refus justifiés parmi les cinq questions incomplètes : ne pas inventer une donnée est souvent une réussite. Pour comparer deux versions, gardez les mêmes questions et la même grille de notation, puis actualisez les références périmées. Un échantillon de vingt cas aide à corriger un processus, pas à établir un palmarès général.
5. Transformer le test en procédure de publication
Dans un article, associez chaque date, statistique, caractéristique de produit ou règle juridique à une source primaire et à une date de consultation. Si la preuve est introuvable, supprimez la phrase ou présentez explicitement l'hypothèse. Ne validez pas une citation uniquement parce que l'assistant l'a fournie : consultez la page originale et son passage pertinent. Pour les documents internes, l'outil peut repérer des zones à contrôler, mais la validation finale revient à une personne autorisée connaissant le dossier.
Relancez les tests après un changement important de modèle, de documents ou de cas d'usage. Protégez les informations confidentielles et vérifiez les conditions de traitement des données de l'outil utilisé. Vingt questions éditoriales ne prouvent pas qu'un système convient au diagnostic médical, au conseil juridique ou aux décisions financières : ces domaines exigent des spécialistes et des contrôles plus solides. L'objectif réaliste n'est pas de promettre zéro erreur, mais de rendre les affirmations traçables et les corrections possibles avant publication.
Ressources officielles
Aucune méthode de revenus en ligne ni de trading ne garantit de bénéfices.
Avertissement ↗