Une démonstration IA fonctionne. Comment savoir si l’équipe pourra l’utiliser ?

Une démonstration réussie produit une sortie convaincante devant quelques personnes. Un usage d’équipe doit fonctionner le mardi matin, sur un dossier incomplet, avec un utilisateur qui n’a pas participé à sa création. La différence tient aux données, aux consignes, aux contrôles et à la façon de traiter les exceptions.

Pour passer de l’un à l’autre, évaluez le modèle d’IA avec tout ce qui l’entoure : la personne qui fournit les documents, celle qui vérifie, et le logiciel dans lequel la sortie sera reprise.

Les résultats chiffrés qui suivent sont fictifs. Les lots et seuils sont des exemples de protocole à adapter au métier et au niveau d’enjeu. Ils ne décrivent aucun de mes clients.

1. Définir le résultat acceptable avant de tester

« Ça fonctionne » mélange souvent plusieurs questions : la réponse est-elle exacte, complète, utile, assez rapide, appuyée sur les bonnes sources, utilisable par l’équipe ? Posez-les une par une.

Une synthèse bien présentée qui cite une source inventée est inutilisable. Une facture extraite avec neuf champs justes et un numéro de document faux ne vaut pas mieux. La qualité se juge sur ce que l’entreprise fait ensuite de la sortie.

Préparez une grille en deux parties. Les critères bloquants décident si le résultat peut servir ; les critères de confort guident les améliorations de format et de parcours. Avec cette séparation, un bon score global ne peut plus cacher l’erreur qui, à elle seule, rend le dossier inutilisable.

Quelqu’un du métier doit pouvoir dire pourquoi une sortie est acceptable. Si les avis divergent, fixez d’abord la règle : l’IA ne réglera pas un désaccord que l’entreprise n’a pas tranché.

2. Séparer mise au point et évaluation

Pendant la mise au point, on corrige les consignes, les exemples et le format sur quelques dossiers. Ces dossiers-là ne peuvent pas servir de seule preuve : à force d’ajuster, la méthode finit par réussir les exemples connus, et on ne sait toujours pas ce qu’elle donne sur le dossier suivant.

Séparez donc trois lots : la mise au point, l’évaluation sur des dossiers distincts, et les dossiers réels observés après la mise en service. Notez pour chaque dossier sa référence, sa catégorie et la version de la méthode utilisée.

Le lot d’évaluation doit contenir les difficultés que l’équipe rencontre vraiment : pièce illisible, ancienne version, contradiction, doublon, montant négatif, nouveau fournisseur, demande ambiguë ou information absente. Avec des cas faciles uniquement, le résultat paraîtra meilleur qu’il ne l’est.

Chaque dossier d’évaluation a besoin d’une réponse de référence. Pour une extraction, c’est un tableau déjà contrôlé. Pour une synthèse, c’est la liste des points qui doivent y figurer et des erreurs interdites : deux bonnes synthèses peuvent avoir des phrases différentes, la grille juge le fond.

3. Choisir des métriques qui ne cachent pas les erreurs

Un taux moyen peut donner une image trop belle. Imaginons 30 dossiers comportant 10 champs chacun : 297 champs sur 300 sont corrects, soit 99 %. Si les trois erreurs touchent trois dossiers distincts et un champ obligatoire, seulement 27 dossiers sur 30, soit 90 %, sont acceptables sans reprise.

Les deux taux sont exacts. Le premier mesure la qualité des champs, le second le nombre de dossiers que l’équipe peut utiliser sans y revenir. Suivez les deux, et classez les erreurs par gravité.

99 % de champs corrects peut donner 90 % de dossiers utilisables

297 champs corrects sur 300 ; 27 dossiers sans erreur sur 30.

Lire les valeurs du graphique

Repère	Valeur
Champs corrects	99 %
Dossiers sans correction	90 %

Une sortie au bon format mais avec une donnée fausse compte comme un échec. À l’inverse, une abstention peut être le bon résultat : il manque une pièce, le système le reconnaît et demande une vérification.

Comptez aussi les échecs techniques : connexion perdue, fichier qui ne s’ouvre pas, résultat vide. Les sortir du total gonfle le taux de réussite. Le bilan doit dire combien de dossiers ont été tentés et ce que chacun est devenu.

4. Tester la répétabilité et les variations

Une même entrée peut donner deux réponses différentes. Regardez si l’écart touche la formulation ou une information importante. Sur une extraction, un montant ou un identifiant qui varie d’un essai à l’autre est un défaut grave.

Repassez quelques cas difficiles plusieurs fois avec la même méthode. Notez la version du modèle, les consignes, les documents et les réglages : quand un résultat se dégrade, vous retrouverez ce qui a changé.

Modifiez aussi l’entrée de façon réaliste : autre nom de fichier, pièces dans un autre ordre, scan tourné, note ajoutée dans un mail. Si le résultat change, la méthode reposait sur une habitude que personne n’a écrite plutôt que sur les règles métier.

Anthropic présente l’évaluation comme une combinaison de tâches, de critères de jugement et d’essais répétés. Une notation automatique peut aider, mais la relecture humaine reste utile pour comprendre les erreurs et vérifier que la mesure correspond au travail attendu. Source : Demystifying evals for AI agents.

5. Organiser le passage de relais

Le meilleur test de transmission consiste à demander à un collègue de traiter un nouveau dossier avec les seuls supports prévus. La personne qui a construit la méthode observe, sans corriger chaque étape à sa place. Ses hésitations montrent ce qui manque au support.

Rangez ce support là où l’équipe travaille déjà, et non dans l’historique d’une conversation avec le consultant.

Le support minimum à livrer

1. La fiche d’usage : à quoi sert la méthode, à qui elle s’adresse, ce qu’elle produit.
2. Les sources : documents admis, versions, accès et exclusions.
3. La procédure : où commencer, comment fournir les pièces, où récupérer la sortie.
4. Un exemple correct : entrée, sortie et contrôle commenté.
5. Une exception : ce qui doit être signalé et comment reprendre la main.
6. La responsabilité : qui valide, qui maintient et qui peut arrêter l’usage.
7. Le journal : où noter un problème et retrouver le dossier concerné.

Un mode opératoire de deux pages que l’équipe comprend vaut mieux qu’une documentation complète qu’on ne peut suivre qu’en ayant assisté à tout le projet. Pour savoir si le support suffit, le test reste le même : un collègue refait le travail avec.

6. Attribuer des responsabilités concrètes

La mention « validation humaine » ne dit pas qui valide. Notez qui vérifie quoi, avec quelle référence et avant quelle action. Si la vérification est partagée, précisez à quel moment le dossier passe d’une personne à l’autre.

Dans une petite entreprise, une même personne peut tenir plusieurs de ces rôles : mieux vaut un cumul qu’un rôle sans titulaire. Nommez aussi un remplaçant, pour que l’absence du référent ne pousse pas l’équipe à utiliser un résultat sans contrôle.

7. Mettre en service par étapes

Avancer par étapes laisse le temps d’apprendre avant d’engager l’entreprise. Les quatre niveaux décrits sous le schéma sont des niveaux d’usage, sans calendrier imposé.

En mode observation, on compare les sorties de l’IA à des dossiers déjà terminés, sans agir dans les logiciels. En mode assisté, elle prépare des brouillons que l’équipe vérifie avant usage. Le périmètre limité réserve ensuite la méthode aux catégories de dossiers où les contrôles sont satisfaits. L’élargissement vient après un bilan de qualité et de charge, avec des droits adaptés.

Une action qui engage l’entreprise reste validée par une personne : l’IA prépare, l’équipe décide. Définissez les conditions exactes de cette validation : type de dossier, montant éventuel, données présentes, contrôles réussis et retour possible à la procédure précédente.

Pour comprendre comment les droits de lecture et d’écriture se distinguent, consultez le guide des connexions IA.

8. Préparer les incidents et la maintenance

Une méthode peut se dégrader sans que le modèle d’IA soit devenu moins bon : un tarif change, un fournisseur modifie le format de ses documents, une personne perd son accès, une règle métier évolue.

Gardez un petit lot de référence, avec des cas ordinaires et des exceptions. Avant de modifier les consignes, le modèle ou l’intégration dans vos logiciels, repassez ce lot, puis un lot distinct de dossiers récents : réussir les anciens cas ne dit pas comment la méthode traite les situations apparues depuis.

Le journal d’incident peut rester simple : date, dossier, étape, résultat observé, conséquence, cause supposée, action corrective et personne responsable. Ne stockez pas inutilement le contenu sensible ; un identifiant de dossier et un lien avec accès approprié peuvent suffire.

Prévoyez une procédure de secours que l’équipe sait appliquer : revenir au traitement manuel, mettre de côté les dossiers en cours, prévenir les personnes concernées. Arrêter l’usage ne suffit pas si personne ne sait ensuite quels dossiers ont déjà été traités.

9. Un exemple complet de bilan

Imaginons une équipe qui prépare des comptes rendus à partir de notes autorisées. Sur 30 dossiers fictifs, le traitement initial demande 18 minutes en moyenne. Avec la nouvelle méthode, la préparation et la relecture demandent 10 minutes ; trois dossiers exigent encore 12 minutes supplémentaires de correction chacun.

Le travail initial représente 30 × 18 = 540 minutes. Le nouveau parcours représente 30 × 10 + 3 × 12 = 336 minutes. Le gain observé sur ce lot est 204 minutes, soit 3,4 heures et environ 37,8 %. Annoncer « 18 minutes remplacées par 3 minutes de génération » aurait ignoré la relecture et les reprises.

Ces 204 minutes ne donnent pas encore un gain mensuel : il faut vérifier que le lot ressemble au flux habituel, puis regarder la fréquence d’utilisation, l’adoption et le coût du suivi. Si une personne experte a accompagné chaque étape de l’essai, refaites-le avec les futurs utilisateurs.

Suite de l’exemple : un premier collègue traite cinq nouveaux dossiers avec le support et en réussit quatre. Au cinquième, il hésite sur la version de la trame de compte rendu. On précise cette version dans le support, puis on refait l’essai de transmission.

10. Mesurer l’adoption sans surveiller inutilement

Le nombre de comptes ouverts ou de connexions ne dit pas si la méthode sert. Comptez plutôt les dossiers traités avec la méthode parmi ceux qui pouvaient l’être, puis regardez leur qualité et le temps complet.

Taux d’adoption = dossiers traités avec la méthode ÷ dossiers éligibles. Si 80 dossiers sont éligibles et que 48 utilisent la méthode, l’adoption est de 60 %. Les 32 autres demandent une explication : accès absent, oubli, préférence pour l’ancien parcours, mauvaise expérience ou cas finalement hors périmètre.

Demandez ces raisons à l’équipe. Une adoption faible peut venir d’une préparation trop lourde, d’un résultat difficile à vérifier ou d’un outil placé au mauvais endroit du parcours, et pas forcément d’une réticence au changement.

Ne collectez que ce qui sert au pilotage. Des chiffres à l’échelle de l’équipe peuvent suffire ; un suivi permanent personne par personne transformerait la mesure d’un processus en contrôle individuel.

11. La revue avant un usage régulier

Avant d’élargir, vérifiez ces points avec les personnes concernées :

• Les entrées, sorties et catégories éligibles sont définies.
• Les sources de référence et leurs propriétaires sont connus.
• Les cas manquants, contradictoires et illisibles ont été testés.
• Les erreurs sont suivies par dossier et par gravité.
• Le temps de contrôle et de reprise est inclus dans le bilan.
• Un second utilisateur a traité un nouveau dossier avec les supports.
• Les actions engageantes ont un responsable et une règle de validation.
• L’arrêt, la reprise et le suivi des modifications sont documentés.

Télécharger le modèle Excel : registre des essais et des exceptions. Il fournit des colonnes de départ pour noter chaque essai et chaque exception, à adapter à la sensibilité des dossiers.

Questions fréquentes

Zéro erreur sur trente dossiers prouve-t-il que le système est fiable ?

Non. Il décrit ce qui s’est passé sur ces trente dossiers-là, dans ce périmètre. Une erreur qui touche un dossier sur cent passe inaperçue dans environ trois lots de trente sur quatre. Gardez les contrôles et continuez d’observer les dossiers réels.

Peut-on demander à une seconde IA de tout vérifier ?

Une seconde IA peut repérer certaines erreurs, mais aussi partager les angles morts de la première ou approuver une information non justifiée. Ajoutez des sources retrouvables, des règles fixes (un total qui doit tomber juste, un numéro au bon format) et une relecture métier.

Faut-il former toute l’équipe avant l’essai ?

Commencez avec les personnes qui définissent et utilisent le périmètre. Quand la méthode est compréhensible et évaluée, élargissez la transmission. Former tout le monde à une pratique qui change chaque jour peut créer de la confusion.

Comment éviter la dépendance au prestataire ?

Gardez les supports, exemples, règles, accès et décisions dans un environnement maîtrisé par l’entreprise. Définissez les conditions de maintenance et de sortie. Le guide sur le projet précis et l’accompagnement donne les points à prévoir dans le périmètre.

Sources et prolongements

• Anthropic, Demystifying evals for AI agents : conception des évaluations.
• NIST, AI Risk Management Framework : démarche de gestion des risques.
• CNIL, Questions-réponses sur l’IA générative : encadrement des usages.

Les grilles et exemples de ce guide sont des propositions de travail. Si le premier processus n’est pas encore choisi, commencez par le guide de priorisation. Pour mener les essais et le passage de relais avec moi, voyez l’accompagnement des équipes.