Taux d'erreur de mots (WER) : le lire et le mesurer

Le taux d'erreur de mots, en anglais word error rate (WER), est le chiffre que les éditeurs de transcription mettent en avant. Il dit la part de mots qui ne correspondent pas à un texte de référence juste. Il est simple à calculer, mais il ne se compare pas d'un éditeur à l'autre sans précautions. Cette page explique la formule, donne un exemple chiffré, et propose un test sur dix minutes de vos propres enregistrements.

La formule

WER = (S + D + I) / N

• S : les substitutions, quand un mot est remplacé par un autre ;
• D : les suppressions, quand un mot du texte de référence est absent de la transcription ;
• I : les insertions, quand la transcription ajoute un mot qui n'existe pas dans la référence ;
• N : le nombre de mots du texte de référence, soit N = S + D + C, où C est le nombre de mots corrects.

Le texte de référence est le texte juste, relu à la main. Le résultat s'exprime en pourcentage. Un WER de 0 % signifie que la transcription est identique à la référence.

Un exemple chiffré

Cet exemple est inventé pour le calcul. Ce n'est pas la mesure d'un outil.

• Référence (10 mots) : « Le client demande une facture pour le mois de mars »
• Transcription : « Le client demande une facture pour mois de mai SVP »

Les mots corrects sont « Le », « client », « demande », « une », « facture », « pour », « mois » et « de », soit C = 8. On a donc N = 1 + 1 + 8 = 10, puis WER = (1 + 1 + 1) / 10 = 0,30.

Lecture : trois erreurs sur dix mots, soit 30 %. Un même texte de dix mots peut donner 10 % ou 90 % selon les erreurs : sur un extrait court, un seul mot pèse lourd.

Pourquoi les chiffres des éditeurs ne se comparent pas

• Pas le même audio. L'accent, le bruit, le débit et le sujet changent le résultat. La page de référence note que le rythme de parole, les pauses et la prononciation influencent aussi la mesure.
• Pas le même texte de référence. Un chiffre, un sigle ou une ponctuation peuvent être comptés différemment d'un test à l'autre.
• Pas le même seuil. La page indique que les seuils acceptables dépendent de la syntaxe et du domaine. Un WER jugé bon pour une conversation générale peut être trop élevé pour un compte rendu juridique.
• Toutes les erreurs pèsent pareil. Le WER compte chaque erreur de la même façon. Or un nom propre mal écrit gêne plus qu'un mot de liaison oublié. La page signale aussi une variante pondérée, mais son usage pour évaluer un seul système est discuté.
• La ponctuation et la casse ne sont pas traitées. La page de référence ne les aborde pas. C'est à vous de fixer la règle.

Quand un éditeur annonce un chiffre, demandez-lui le jeu de test, la règle de normalisation et la date de la mesure. Sans ces trois éléments, le chiffre ne vaut que pour l'éditeur.

Mesurer sur dix minutes de vos enregistrements

1. Choisissez dix minutes représentatives : vos vrais locuteurs, votre vrai bruit, vos vrais termes métier. Pas une démonstration en studio.
2. Établissez la référence. Faites transcrire ces dix minutes à la main, ou corrigez une transcription, en suivant une règle écrite : ponctuation, chiffres en lettres ou en chiffres, sigles, mots d'hésitation. Appliquez la même règle à chaque sortie.
3. Lancez chaque outil sur le même extrait, avec les mêmes options (langue française, avec ou sans liste de termes, mais toujours la même configuration).
4. Comptez S, D et I pour chaque sortie, à la main ou avec un outil d'alignement de textes.
5. Calculez WER = (S + D + I) / N, puis notez la date, la version de l'outil et la règle de normalisation.
6. Regardez aussi les erreurs qui comptent. Un nom, un montant ou une date faux pèsent plus qu'un chiffre global.

Pour les offres d'essai et les crédits à utiliser pour ce test, voir API de transcription : les prix. Pour réduire les erreurs sur les noms propres avant de mesurer, voir vocabulaire métier en transcription.