Agents IA
Tester un agent sur vos propres tickets : le protocole
Pour qui : Équipe en période d'essai d'un agent IA qui veut décider sur ses propres données.
Protocole proposé le 3 novembre 2026. Durées d'essai lues : Fin 14 jours. Nous n'avons exécuté ce protocole sur aucune donnée réelle.
Notre avis
Choisissez un seul motif, écrivez d'avance votre critère de réussite et votre règle d'arrêt, puis relisez à la main 50 à 100 réponses en les classant selon quatre issues : bonne réponse, résolu réellement, repris à juste titre, erreur grave. Une seule erreur grave sur un sujet d'argent ou de droit peut suffire à arrêter, quel que soit le taux. Ne vous fiez pas au rapport de l'éditeur : il suit sa définition. Attention au temps : l'essai de Fin dure 14 jours, ce qui oblige à préparer avant de l'ouvrir.
Dans l’ordre
- Choisir un motif
- Écrire le critère et la règle d'arrêt
- Relire à la main
- Décider par écrit
Pourquoi
- Le rapport d'un éditeur suit sa définition
- Une erreur grave ne se compense pas par une moyenne
Ce qui change le choix
Trop peu de demandes pour conclure : le test ne prouvera rien, et il vaut mieux le dire.
Le protocole
- Un motif. Fréquent, à réponse écrite, à faible risque. Un seul : vous saurez à quoi attribuer le résultat.
- Le critère, écrit avant. Quel taux, relu à la main, rend l'agent acceptable sur ce motif ? Sans chiffre écrit avant, vous lirez les résultats selon votre envie.
- La règle d'arrêt. Écrivez ce qui arrête tout : une erreur sur un montant, un engagement inventé, une donnée d'un autre client.
- La relecture. Tirez au hasard 50 à 100 conversations, y compris celles comptées comme résolues. Classez selon les quatre issues.
- Le retour. Cherchez si les clients sont revenus sur le même sujet dans les sept jours, par n'importe quel canal.
- La décision. Écrivez-la : on étend, on corrige et on recommence, ou on arrête. Comparez au critère de l'étape 2.
Les quatre issues
| Issue | Ce que vous vérifiez | Pourquoi |
|---|---|---|
| Bonne réponse | Le contenu est exact | Un client peut être satisfait d'une erreur |
| Résolu réellement | Le client n'est pas revenu, et son problème a disparu | Une conversation finie n'est pas une résolution |
| Repris à juste titre | Le transfert était le bon choix | Un transfert peut être un succès |
| Erreur grave | Fait faux à conséquence, promesse inventée | Elle ne se moyenne pas |
Ce que ce test ne peut pas dire
50 demandes ne mesurent pas un taux à quelques points près : à 30 % réels, un échantillon de 100 donne en général entre 21 et 39. Vous détectez un écart important, ou une erreur grave, et rien de plus fin. Si votre volume est trop faible pour atteindre 50 en deux semaines, le test ne peut rien prouver : dites-le, et prolongez, ou relisez à la main sur une durée plus longue. Le test d'un motif simple ne dit rien non plus des autres motifs : un agent bon sur le suivi de commande peut être très mauvais sur une réclamation.
Enfin, testez aussi en français réel, avec des fautes et des demandes mal formulées.
Limites
Protocole non exécuté par nos soins, aucun résultat annoncé. Durées d'essai à vérifier chez chaque éditeur. Marges de l'échantillon valables pour un tirage aléatoire. Sept jours : proposition, à adapter à votre cycle.
Prochaine action
Écrivez votre motif, votre critère et votre règle d'arrêt avant d'ouvrir l'essai, puis réservez deux heures pour la relecture.
Preuves et sources
Ce qui relève d’un fait lu, d’une déclaration, de notre calcul, de notre méthode ou de notre avis. Notre méthode
Fait lu. Fin : essai de 14 jours.
Relevé du 3 novembre 2026. Édition ou périmètre : Fin.
- Fin / Intercom : https://fin.ai/pricing Lu le 3 novembre 2026. Source primaire lue par extraction automatique.
Notre méthode. À 30 % réels, 21 à 39 sur 100.
Daté du 3 novembre 2026.
Notre méthode. Protocole, quatre issues, règle d'arrêt.
Daté du 3 novembre 2026.