D'abord, il a fallu réparer l'espagnol

Je voulais répondre à une question simple : parmi les quatre langues de GlyphDuel, laquelle est la plus difficile ?

J'ai écrit le script, je l'ai lancé, et il m'a sorti le plus gros groupe de mots espagnols qui ne diffèrent que d'une lettre :

jerry, terry, perry, gerry, ferry, kerry, berry

Voilà. Sept mots, dont six sont des prénoms américains.

En creusant, c'était pire que ça. Mon dictionnaire espagnol contenait spock, kensi, deeks, sookie, stewie (des personnages de séries), plus une bonne dose de mots purement anglais : world, think, where, black. L'allemand avait exactement le même problème, avec texas, harry et peter en bonne place.

La cause était bête. Les deux dictionnaires sont construits à partir d'un corpus de fréquence tiré de sous-titres de films. Dans des sous-titres, les prénoms des personnages sont parmi les mots les plus fréquents de tout le corpus. Or mon script prenait les mots les plus fréquents en premier, puis coupait la liste à la bonne taille. Je gardais donc précisément la tranche où vivent tous les noms propres, et je jetais le vrai vocabulaire qui suivait.

Deux soirées de nettoyage plus tard, j'ai pu relancer le calcul. Les chiffres de cet article sont ceux d'après réparation, et l'espagnol reste la langue la plus dure, cette fois pour de bonnes raisons.

La réponse tient dans un chiffre

L'espagnol a 27 lettres. Au Wordle, il se comporte comme s'il en avait 16,9.

C'est là toute l'histoire, et le reste de l'article ne fait que la dérouler.

Toutes les lettres ne se valent pas. Le E français occupe 18 % des positions ; le W en occupe 0,07 %. Une lettre qu'on ne croise jamais ne compte pas vraiment comme une lettre : elle n'ajoute aucune variété aux mots qu'on essaie de distinguer.

Ça se mesure. L'entropie de Shannon donne l'information moyenne portée par une lettre du dictionnaire ; en la reconvertissant on obtient l'alphabet efficace, c'est-à-dire le nombre de lettres équiprobables qui produiraient la même variété.

Un joueur espagnol pioche dans un sac de dix-sept lettres, un joueur allemand dans un sac de vingt. Trois lettres d'écart, ça semble anodin. Sur cinq positions, ça ne l'est pas du tout : moins de variété, ce sont plus de mots qui se ressemblent, donc plus de moments où les couleurs ne vous apprennent plus rien.

Là où l'espagnol perd sa variété

Les voyelles. L'espagnol a une structure consonne-voyelle d'une régularité redoutable :

Un mot espagnol de quatre lettres, c'est plus de la moitié de voyelles. Et il n'y a que cinq voyelles utiles. Quand la moitié de vos positions ne peuvent prendre que cinq valeurs, les collisions ne sont plus un risque, elles sont une certitude.

Le A espagnol occupe à lui seul 17,1 % de toutes les positions sur les mots de quatre lettres. Presque une lettre sur six. Aucune lettre, dans aucune des quatre langues, n'approche ce niveau de domination.

D'où des familles comme CA_A : casa, cada, cara, cama, caja, caza, capa, caña, caía, cava, cala, cata. Douze mots parfaitement courants, séparés par une seule lettre. Bonne chance.

Le piège du français : les doubles

Deuxième mécanisme, et cette fois c'est nous qui trinquons.

Un mot à lettre répétée vous donne moins d'information. BELLE ne teste que trois lettres distinctes au lieu de cinq : vous avez dépensé un essai complet pour trois renseignements.

La colonne de droite mérite qu'on s'y arrête. En français, sur six lettres, plus d'un mot sur deux contient une lettre en double. L'anglais s'en sort nettement mieux partout, sa richesse en consonnes lui évite les redoublements.

Les lettres mortes

Chaque langue traîne des lettres qui n'existent quasiment pas dans les mots courants. Les jouer, c'est jeter une case.

Le W français est le cas extrême : sept positions sur dix mille. Le mettre dans un mot d'ouverture revient à jouer avec quatre cases au lieu de cinq.

J'ai un faible pour le Ñ espagnol, à 0,25 %. C'est la lettre emblème de la langue, celle qu'on met sur les affiches, et elle est statistiquement invisible.

Le classement

Tout ça converge vers une seule mesure : le pourcentage de mots ayant cinq voisins ou plus, autrement dit les mots dont le raisonnement ne vous sortira pas.

Deux mots espagnols sur trois en mode quatre lettres. C'est énorme.

Une exception amusante quand même : à six lettres l'ordre s'inverse et l'allemand devient le plus dur du lot. Ses grappes de flexions verbales (_EINEN, _IESEN, _ASSEN, huit ou neuf mots chacune) traversent l'allongement sans broncher, là où celles du français et de l'espagnol se dissolvent.

Le paradoxe allemand

J'ai publié il y a quelques mois pourquoi l'allemand est si difficile à apprendre : trois genres, quatre cas, des mots à rallonge. Et voilà que c'est la langue la plus facile du jeu sur quatre et cinq lettres.

Ce n'est pas une contradiction, c'est la même cause vue des deux côtés. Ce qui rend l'allemand pénible à apprendre, sa morphologie lourde, ses mots longs, sa pauvreté en voyelles, est exactement ce qui rend ses mots distinctifs. Un mot allemand porte beaucoup d'information. C'est un fardeau pour l'élève et un cadeau pour le joueur.

Ça vaut la peine de le dire clairement, parce que l'intuition est vraiment trompeuse ici : la difficulté d'apprentissage et la difficulté de devinette sont deux dimensions sans rapport. La première tient à la grammaire. La seconde ne tient qu'à la géométrie du dictionnaire.

D'où viennent ces chiffres

Des dictionnaires de validation GlyphDuel : environ 25 000 mots, répartis entre le français (1 048 / 1 808 / 2 631 mots de 4, 5 et 6 lettres), l'anglais, l'espagnol et l'allemand.

L'alphabet efficace se calcule comme 2^H, où H est l'entropie de Shannon de la distribution des lettres sur tous les mots d'une longueur donnée. Le comptage des voisins utilise la distance de Hamming-1 : deux mots sont voisins s'ils diffèrent par exactement une lettre à une position.

Trois réserves, tant qu'à faire. Les mesures portent sur les listes de validation et non sur les pools de mots secrets : en français et en anglais, les secrets sont tirés dans un sous-ensemble plus restreint. Le nettoyage espagnol est solide, parce que j'ai pu croiser le corpus avec un vrai lexique espagnol qui contient les conjugaisons mais aucun nom propre. Le nettoyage allemand l'est moins : le lexique allemand disponible contenait lui-même texas et harry, donc j'ai dû lister les noms propres à la main, et il reste sûrement des mots anglais que je n'ai pas attrapés. Si l'allemand doit bouger dans ce classement, ce sera de là.

Pour finir

L'espagnol est la langue la plus dure au Wordle, et la raison tient en une phrase : il utilise trop peu de lettres différentes. Un alphabet efficace de 16,9, plus de la moitié de voyelles sur les mots courts, un A qui occupe une position sur six. Ses mots n'ont pas assez de façons d'être différents les uns des autres.

L'allemand est le plus facile pour exactement la raison inverse, qui est aussi ce qui le rend infernal à apprendre.

Et si vous cherchez la difficulté maximale, elle est identifiée : espagnol, quatre lettres. Moi je n'y retourne pas.

Dans la même série : les mots pièges et comment s'en sortir et pourquoi les mots courts sont plus durs que les longs. Et si vous voulez les fréquences détaillées lettre par lettre, c'est ici.