TifinaghBench : un jeune Marocain de 14 ans met à l’épreuve les intelligences artificielles sur la langue amazighe
Casablanca. À seulement 14 ans, Itri Ibouanane, jeune développeur marocain et fondateur d’Itri Cloud Labs, vient de lancer TifinaghBench, une plateforme indépendante destinée à mesurer les capacités des modèles d’intelligence artificielle à comprendre les langues amazighes. Les premiers résultats révèlent des lacunes importantes, y compris chez les modèles les plus avancés.
Alors que les grandes entreprises technologiques rivalisent pour développer des intelligences artificielles toujours plus performantes, une question demeure largement négligée : ces systèmes sont-ils réellement capables de comprendre les langues moins représentées dans les données d’entraînement, notamment l’amazighe ?
C’est pour répondre à cette question qu’Itri Ibouanane a développé TifinaghBench, un projet technologique et scientifique marocain dont les résultats sont désormais accessibles au public.
Des modèles avancés, mais des résultats modestes
TifinaghBench évalue les modèles d’intelligence artificielle sur trois ensembles linguistiques : l’amazigh standard marocain, le tarifit (rifain) et le kabyle.
Le projet s’appuie sur environ 27 000 entrées lexicographiques issues de différentes ressources, notamment le Dictionnaire général de la langue amazighe de l’Institut Royal de la Culture Amazighe (IRCAM).
Pour chaque ensemble, 1 000 mots sont sélectionnés selon une méthode reproductible. Les modèles doivent notamment traduire des mots du tifinaghe vers l’anglais et inversement.
Les premiers résultats sont particulièrement révélateurs.
Sur une échelle de 100 points, le modèle le mieux classé, GPT-6.1 Sol, n’obtient que 29,9 points. Il est suivi de GPT-6 Astra avec 29,4 points et de Claude Opus 5.5 avec 27,3 points.
D’autres modèles affichent des performances encore plus faibles, certains obtenant moins de 15 points.
Reconnaître le tifinaghe ne signifie pas comprendre l’amazighe
L’une des découvertes les plus intéressantes du projet concerne la différence entre la reconnaissance de l’écriture et la compréhension du vocabulaire.
Les modèles évalués obtiennent une médiane de 91,2/100 en translittération, c’est-à-dire dans la conversion entre les caractères tifinaghes et latins.
En revanche, leur score médian de compréhension lexicale n’atteint que 17,5/100.
Autrement dit, les intelligences artificielles peuvent relativement bien reconnaître et convertir les caractères de l’alphabet tifinaghe, sans nécessairement comprendre le sens des mots qu’elles manipulent.
Cette distinction met en évidence les limites des performances affichées par les modèles d’intelligence artificielle lorsqu’ils sont confrontés à des langues insuffisamment représentées dans leurs données d’entraînement.
Un projet indépendant, ouvert et évolutif
Contrairement à une étude ponctuelle, TifinaghBench se présente comme une plateforme d’évaluation continue.
De nouveaux modèles peuvent être ajoutés au classement, permettant de suivre l’évolution de leurs performances sur les langues amazighes.
Le projet repose sur un logiciel open source, dont le code et les résultats sont publiés sur GitHub. Sa méthodologie documente les conditions des tests, les critères de notation et les limites scientifiques des évaluations.
Les ressources lexicographiques elles-mêmes ne sont toutefois pas redistribuées, dans l’attente d’une clarification des autorisations nécessaires auprès de leurs ayants droit.
Le jeune développeur souhaite également renforcer la fiabilité scientifique du benchmark, notamment grâce à une validation humaine des traductions et des résultats par des spécialistes des langues amazighes.
Une initiative marocaine au service de la visibilité numérique de l’amazighe
Au-delà de la performance technique, TifinaghBench soulève une question essentielle : quelle place les langues amazighes occupent-elles dans le développement mondial de l’intelligence artificielle ?
À travers cette initiative, Itri Ibouanane entend contribuer à rendre ces lacunes visibles, mesurables et documentées.
Le projet illustre également la capacité de jeunes développeurs marocains à concevoir des outils de recherche indépendants et à participer aux débats internationaux sur l’inclusion linguistique dans les technologies émergentes.
TifinaghBench est accessible gratuitement à l’adresse : https://tifinaghbench.ic-labs.cloud
Code source : https://github.com/Itri-Cloud-Labs/TifinaghBench
