Pensées · UX & IA
Combien de personnes pour tester votre IA ?
Pourquoi cinq utilisateurs ratent les erreurs qu’une IA fait une fois sur vingt, et comment prévoir une recherche plus longue et des tests répétés.
Vous testez un nouvel assistant IA avec cinq personnes. Les cinq séances se passent bien. Les réponses sont claires, le ton est agréable, personne ne se perd. Vous le lancez le lundi. Le jeudi, un client reçoit une règle de remboursement qui n’existe pas, et personne dans l’équipe n’a jamais vu l’assistant la donner.
Personne n’a mal testé. L’équipe a testé une IA comme on teste un site. Un site donne la même réponse chaque fois qu’on lui pose la question. Une IA, pas forcément. Même avec ses réglages les plus stables, la même question peut revenir avec une autre réponse, et ses pires erreurs peuvent n’apparaître qu’une conversation sur vingt, voire moins.
Une plante qu’on ne juge pas en une visite
L’amaryllis vit une année en plusieurs actes. Elle fleurit, puis fait de longues feuilles pendant des mois. Pour qu’elle refleurisse, beaucoup de jardiniers la mettent au repos à l’automne. Ils arrêtent l’engrais, arrosent beaucoup moins, et la gardent dans un endroit plus frais pendant huit à dix semaines. La plante semble finie. Puis on la réveille avec de l’eau et de la chaleur, et elle refleurit.
Visitez-la une seule fois pendant son repos, et vous la croirez mourante. Visitez-la une seule fois en fleur, et vous la croirez parfaite. Les deux visites disent vrai. Les deux trompent.
Une IA, c’est pareil. Une séance montre un moment de son comportement. Pour la connaître, il faut la suivre plus longtemps, et la regarder de nombreuses fois.
Pourquoi cinq utilisateurs suffisaient
En 2000, Jakob Nielsen a expliqué pourquoi tester avec cinq utilisateurs suffit le plus souvent. Son modèle repose sur des problèmes que beaucoup de gens rencontrent : dans ses projets, un problème typique était trouvé par 31 % des utilisateurs, environ un sur trois. Un problème aussi courant passe difficilement inaperçu. Avec cinq personnes, au moins une tombera très probablement dessus, et cinq utilisateurs trouvent environ 85 % des problèmes.
Il n’a pourtant jamais parlé d’un seul tour. Il conseillait trois études de cinq utilisateurs plutôt qu’une seule de quinze. Tester, corriger, et tester à nouveau.
Pourquoi ça ne marche plus avec l’IA
L’IA change cette hypothèse. Ses erreurs les plus graves sont souvent rares : une règle inventée, une réponse assurée à une question qu’elle devrait refuser, des données personnelles montrées à la mauvaise personne. Rare ne veut pas dire anodin.
Voici ce que cinq séances peuvent attraper, selon la fréquence d’une erreur.
- Environ une fois sur trois : cinq séances la montrent très probablement (environ 85 %).
- Une fois sur dix : 41 % de chances de la voir. Il faut 29 séances pour avoir 95 % de chances.
- Une fois sur vingt : 23 % de chances. Il faut 59 séances.
- Une fois sur cent : 5 % de chances. Il faut 299 séances.
Le calcul est simple. Si une erreur arrive une fois sur vingt, chaque séance a 95 % de chances de la manquer. Cinq séances d’affilée la manquent 77 % du temps.
Les agents compliquent encore les choses. Quand un agent agit, une tâche compte plusieurs étapes : chercher, choisir, remplir, payer, confirmer. Si chaque étape réussit 95 % du temps, une tâche de dix étapes ne réussit qu’environ 60 % du temps. Testez des tâches entières, et pas seulement des réponses.
Des chercheurs ont mesuré ce manque de régularité en 2024. L’équipe de τ-bench a fait passer les mêmes tâches plusieurs fois à des agents de service client. GPT-4o, l’un des meilleurs modèles de l’époque, réussissait une tâche pour une boutique en ligne dans environ 61 % des essais, mais ne réussissait la même tâche huit fois de suite que dans environ 25 % des cas.
Voici comment je prévoirais plutôt la recherche, en quatre étapes.
1. Nommer les erreurs inacceptables
Avant de choisir combien de personnes tester, listez ce qui ne doit jamais arriver. Classez les erreurs selon leur gravité, pas selon la fréquence où vous les avez vues : un prix inventé, une mauvaise date limite, un refus qui laisse quelqu’un bloqué, des données privées montrées à la mauvaise personne.
Pour chacune, fixez une limite vérifiable, par exemple « moins d’une conversation sur cent ». Cette limite vous dit combien de tests il vous faut.
2. Aller plus loin avec les personnes
Les personnes vous disent pourquoi une erreur blesse, et comment on vit avec une IA dans la durée. Quelques séances approfondies apprennent plus que beaucoup de séances courtes.
- Des séances plus longues, plusieurs tâches. Donnez à chaque personne trois ou quatre vraies tâches.
- La même question, deux fois. Demandez aux gens de reposer une question. Observez ce qu’ils font quand la réponse change.
- Les mêmes personnes, pendant une ou deux semaines. Un journal de bord (diary study) montre comment la confiance grandit ou se casse. La première séance montre la curiosité, pas l’habitude.
- Des personnes sous pression. Pressées, inquiètes, en colère ou perdues.
- Leur façon de vérifier. Notez quand les gens vérifient une réponse, et quand ils la croient simplement.
3. Multiplier les essais
Les variations de l’IA elle-même demandent des chiffres, et les chiffres coûtent moins cher que les personnes.
- Rejouez chaque scénario de nombreuses fois. Écrivez des scénarios de test à partir de vraies questions, et faites-les tourner encore et encore. Un script peut rejouer un scénario cent fois pendant la nuit, puis une personne en lit un échantillon.
- Calculez le nombre d’essais avec la liste plus haut. Pour attraper une erreur qui arrive une fois sur vingt, prévoyez une soixantaine d’essais des scénarios où elle peut apparaître.
- Lisez un zéro avec prudence. Aucune erreur en 60 essais ne prouve toujours rien. Les statisticiens utilisent la « règle de trois » : le vrai taux est probablement inférieur à 3 divisé par le nombre d’essais, ici 5 %.
- Pour une mesure, comptez une quarantaine de personnes. Pour un taux de réussite ou un score de satisfaction avec de vraies personnes, le Nielsen Norman Group recommande 40 participants dans la plupart des cas.
- Retestez après chaque changement. Une nouvelle version du modèle, une nouvelle instruction ou un nouveau document peuvent changer les réponses. Gardez vos scénarios, et relancez-les tous.
4. Continuer à observer après le lancement
Les erreurs les plus rares n’apparaissent qu’avec un vrai usage. Avec l’accord des gens, lisez chaque semaine un échantillon de vraies conversations. Suivez les erreurs de l’étape 1, et corrigez leur cause (les instructions, les informations ou les outils), comme je le décris dans ma note sur les agents IA. Gardez le moins de données personnelles possible, et retirez ce qui identifie les gens.
Une note pour ceux qui la construisent
Une simple feuille de test suffit pour commencer. Une ligne par essai : le scénario, le numéro d’essai, la date, la version du modèle, « bonne réponse ? », « a-t-il parlé avec sa voix ? » et « qu’est-ce qui n’a pas marché ». Notez la version du modèle, car le même scénario peut changer quand le modèle change. Après quelques semaines, vous voyez si une erreur est rare, fréquente ou disparue.
À retenir
- Cinq utilisateurs trouvent les problèmes que beaucoup de gens rencontrent. Les pires erreurs d’une IA peuvent être rares.
- Une séance montre un moment, pas un comportement.
- Allez plus loin avec les personnes : plus longtemps, dans la durée, sous pression.
- Multipliez les essais : le même scénario, de nombreuses fois.
- Aucune erreur en quelques essais ne prouve presque rien.
- Continuez à observer après le lancement.
Regarder de plus près
Mon amaryllis traverse une saison où elle semble finie. Je l’arrose moins, et je la laisse se reposer. Si je la jugeais ce jour-là, je la jetterais. Jugée sur l’année, elle prépare simplement sa prochaine fleur.
Une IA demande le même regard : assez longtemps, et assez souvent, avant de décider ce qu’elle est.
Si vous prévoyez ainsi la recherche pour une fonctionnalité d’IA, je serai heureuse de savoir ce que vous avez trouvé.
Sources (5)
- Anthropic, référence de l’API Messages (en anglais), sur le réglage de la température : « even with temperature of 0.0, the results will not be fully deterministic ».
- Jakob Nielsen, Why You Only Need to Test with 5 Users, Nielsen Norman Group (2000, en anglais).
- Shunyu Yao, Noah Shinn, Pedram Razavi et Karthik Narasimhan, τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains (2024, en anglais).
- James A. Hanley et Abby Lippman-Hand, If nothing goes wrong, is everything all right? Interpreting zero numerators, JAMA (1983, en anglais).
- Raluca Budiu et Kate Moran, How Many Participants for Quantitative Usability Studies, Nielsen Norman Group (2021, en anglais).
