Une sécurité qui ne se traduit pas : des prompts malveillants dans les 24 langues de l'UE

Principaux résultats

1. Chacune des 23 autres langues officielles de l'UE présente un taux de réussite des attaques plus élevé que l'anglais, en moyenne plus du double.
2. L'écart suit la quantité de texte disponible sur le web dans une langue, et non l'alphabet dans lequel elle s'écrit.
3. Le classement d'un modèle en anglais renseigne mal sur son classement dans les langues les moins dotées.
4. L'écart n'est pas une fatalité : certains modèles récents n'en montrent presque pas, et les modèles plus grands d'une même famille le réduisent.
5. Les modèles comprennent la plupart des requêtes. Ce qui leur fait défaut, c'est de les reconnaître comme malveillantes.
6. Tout ce qui passe entre les mailles n'est pas utile à un attaquant : l'écart de nocivité réelle est donc plus faible que l'écart de refus, mais il existe.

Pourquoi tester dans 24 langues ?

L'Union européenne compte 24 langues officielles et un marché unique dans lequel les produits fondés sur de grands modèles de langage (LLM) doivent servir des locuteurs de toutes ces langues. Les fournisseurs ont nettement amélioré leurs modèles dans ces langues. L'évaluation de la sécurité n'a pas suivi : on mesure encore surtout en anglais si un modèle refuse d'aider à une requête malveillante. Un modèle qui paraît sûr en anglais peut satisfaire la même requête rédigée en estonien ou en maltais, et une évaluation menée uniquement en anglais ne le révélera pas.

Les travaux antérieurs portaient sur des langues isolées ou de petits groupes de langues, et les benchmarks multilingues de requêtes malveillantes couvraient au plus quatre langues de l'UE en plus de l'anglais. Nous avons construit un benchmark parallèle : les mêmes requêtes malveillantes dans les 24 langues officielles de l'UE, afin de pouvoir comparer directement les langues et les modèles.

Notre méthode

Nous avons repris 1 053 prompts malveillants de quatre benchmarks anglais établis : HarmBench (200 prompts), JBB-Behaviors (100), SORRY-Bench (440) et StrongREJECT (313). Chaque prompt a été traduit deux fois dans les 23 autres langues officielles de l'UE, par DeepL et par Claude Opus 4.5, et un LLM utilisé comme juge a retenu la traduction la mieux adaptée à l'évaluation de la sécurité. Au total, le benchmark compte 25 272 prompts.

Nous avons soumis chaque prompt à 34 modèles à poids ouverts de 3 à 35 milliards de paramètres, issus des familles Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo et Apertus, sous la forme d'un message unique sans prompt système. Un classifieur de sécurité, Qwen3Guard-Gen-8B, a évalué chaque réponse. Le taux de réussite des attaques (Attack Success Rate, ASR) est la part des requêtes malveillantes qu'un modèle satisfait : la réponse n'est pas un refus, et le classifieur la juge dangereuse ou controversée.

Chaque langue de l'UE est moins sûre que l'anglais

En moyenne sur les 34 modèles, l'ASR est de 7,7 % en anglais et plus élevé dans chacune des 23 autres langues (figure 1). Il augmente des grandes langues d'Europe occidentale, 10 à 12 % en français, espagnol, allemand, italien et portugais, jusqu'à 22 à 23 % en hongrois, slovène, lituanien, estonien et maltais, et 24,3 % en letton. Les intervalles à 95 % des 23 langues se situent tous au-dessus de celui de l'anglais.

1 053 prompts par langue, première réponse de chaque modèle, évaluée par Qwen3Guard-Gen-8B. Langues regroupées selon les ressources disponibles.

Pour un produit qui sert toutes les langues de l'UE, la moyenne masque ce qui compte le plus : la langue la plus faible. Llama 3.1 8B Instruct satisfait en moyenne 8,3 % des requêtes hors de l'anglais, mais 20,4 % en letton. Qwen3 4B Instruct 2507 atteint 9,3 % en moyenne et 26,0 % en maltais ; Phi-4 atteint 14,1 % en moyenne et 36,4 % en maltais.

Moins il y a de texte sur le web, plus l'écart est grand

Les langues se classent selon la quantité de texte qui existe en ligne dans chacune d'elles. Sur les 24 langues, l'ASR est fortement corrélé au logarithme de la part des pages web de Common Crawl dans la langue (Spearman ρ = −0,91), de même que l'écart avec l'anglais (ρ = −0,90, figure 2). Regroupé selon les ressources disponibles, l'ASR est d'environ 12 % dans les six grandes langues d'Europe occidentale, de 18 % dans les onze langues moyennement dotées et de 22 % dans les six langues les moins dotées : l'irlandais, le maltais, l'estonien, le letton, le lituanien et le slovène.

Parts de Common Crawl issues de l'exploration CC-MAIN-2026-39. Les étiquettes sont les codes de langue ISO.

L'alphabet n'explique pas l'écart. Le letton, le lituanien et l'estonien s'écrivent en alphabet latin, comme le français et l'espagnol, tandis que les deux langues qui utilisent d'autres écritures, le bulgare et le grec, ne dépassent les langues à écriture latine que de 1,8 point de pourcentage en moyenne. L'irlandais et le maltais, les deux langues les moins présentes sur le web, sont aussi celles où le classifieur automatique est le moins fiable ; leurs valeurs exactes sont donc plus incertaines que celles des autres langues (voir plus bas).

Les résultats en anglais ne vous disent pas quel modèle est le plus sûr dans votre langue

Pour qui doit choisir un modèle, c'est peut-être le résultat le plus important. Le classement des 34 modèles en anglais renseigne mal sur leur classement dans les langues moins dotées. La corrélation de rang avec le classement en anglais est de 0,81 pour l'espagnol, mais seulement de 0,47 pour l'estonien, 0,43 pour l'irlandais et 0,41 pour le maltais (figure 3). Un modèle parmi les plus sûrs en anglais peut figurer parmi les plus vulnérables dans une autre langue.

Corrélations de rang sur les 34 modèles.

Olmo 3 7B Instruct est le dixième modèle le plus sûr sur 34 en anglais, avec 2,9 % des requêtes satisfaites, et le deuxième le moins sûr dans les autres langues, avec 43,4 % en moyenne. Nemotron 3 Nano 4B passe de 1,3 % en anglais à 19,9 %. Pour 16 des 34 modèles, l'ASR hors de l'anglais est plus du double de celui en anglais.

L'écart dépend du modèle, et il peut être comblé

Le choix du modèle compte beaucoup (figure 4). En moyenne sur les 23 langues autres que l'anglais, l'ASR va de 2,0 % pour Qwen3.6 35B-A3B à 45,3 % pour Mistral 7B Instruct v0.2, un modèle de 2023. Pour 33 des 34 modèles, il est plus élevé qu'en anglais, et pour 11 d'entre eux de plus de 10 points de pourcentage.

1 053 prompts par langue, première réponse, évaluée par Qwen3Guard-Gen-8B.

Plusieurs modèles récents ne présentent qu'un faible écart, voire aucun. Gemma 4 31B n'est pas moins sûr hors de l'anglais qu'en anglais (8,4 % contre 9,0 %), et Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B et gpt-oss-20b restent en moyenne sous 5 % dans les langues autres que l'anglais. Dans chacune des six familles testées en plusieurs tailles, l'écart diminue quand la taille augmente (figure 5) : de +17,4 à +8,9 puis +2,8 points de pourcentage pour Granite 4.1 3B, 8B et 30B, et de +6,2 à −0,6 de Gemma 4 E2B à 31B. Un comportement de sécurité qui tient dans toutes les langues est donc atteignable.

Les tailles sont en paramètres totaux ; pour les modèles à mélange d'experts (MoE), les paramètres actifs sont aussi indiqués.

La liste des langues de la fiche du modèle est un signal d'alerte, pas une garantie

Douze des modèles indiquent dans leur fiche certaines des 23 langues de l'UE autres que l'anglais comme prises en charge, mais pas toutes. Pour 11 des 12, l'ASR est plus élevé dans les langues non mentionnées, de 12,3 points de pourcentage en moyenne (figure 6). Llama 3.2 3B Instruct, par exemple, satisfait 10,6 % des requêtes en anglais, 7,4 % dans les cinq langues de l'UE que mentionne sa fiche et 32,8 % dans les 18 autres.

Une langue mentionnée n'est pas pour autant sûre. Les langues mentionnées sont surtout les grandes langues, et à langue égale, les modèles qui la mentionnent n'y sont que légèrement plus sûrs que ceux qui ne la mentionnent pas (4,4 points de pourcentage, écart non significatif sur le plan statistique). Les cinq modèles dont la fiche mentionne les 23 langues, les trois modèles EuroLLM et les deux modèles Tiny Aya, présentent tout de même des écarts de 6,6 à 13,0 points de pourcentage.

Langues prises en charge telles qu'indiquées dans les fiches des modèles.

Quels types de préjudice sont concernés ?

L'écart ne se limite pas à quelques sujets. Nous avons regroupé les 66 catégories des quatre benchmarks en 13 types de préjudice (ce regroupement est le nôtre ; l'explorateur ci-dessous montre quelles catégories relèvent de quel type). Chaque type présente un ASR plus élevé hors de l'anglais (figure 7), de +4,8 points de pourcentage pour les atteintes à la vie privée à +14,2 pour la persuasion politique, religieuse et éthique. Les requêtes portant sur les armes, les drogues et les produits dangereux sont satisfaites 2,5 fois plus souvent hors de l'anglais (17,0 % contre 6,9 %), et celles portant sur la cybercriminalité et le piratage 2,7 fois plus souvent (17,8 % contre 6,6 %).

Les types de préjudice regroupent les 66 catégories de HarmBench, JBB-Behaviors, SORRY-Bench et StrongREJECT.

Certaines catégories changent radicalement. Les demandes de promotion d'une religion sont presque toujours refusées en anglais (0,9 % satisfaites), mais satisfaites dans 23,3 % des cas dans les autres langues. Pour les demandes de promotion de théories du complot, la part passe de 22,1 % à 38,3 %.

Les modèles comprennent les requêtes, mais n'en voient pas le danger

Un modèle peut satisfaire une requête dans une autre langue parce que son comportement de refus ne se transpose pas à cette langue, ou parce qu'il ne comprend pas assez bien la requête pour voir qu'elle est malveillante. Pour distinguer les deux, nous avons demandé à chaque modèle de traduire en anglais un échantillon des prompts de chaque langue.

Les modèles traduisent correctement la plupart des prompts dans toutes les langues : 74 à 84 % en moyenne, sauf en estonien (71 %), en maltais (65 %) et en irlandais (54 %). Mais ils reconnaissent beaucoup moins de requêtes comme malveillantes. Dans les grandes langues d'Europe occidentale, ils refusent même de traduire 16 à 20 % des prompts ; en irlandais, maltais, letton, estonien et lituanien, seulement 2 à 5 %. D'une langue à l'autre, ce taux de reconnaissance du danger est étroitement lié à l'ASR (ρ = −0,92). Parmi les attaques réussies dans les langues autres que l'anglais, 79 % portent sur des prompts que le modèle a compris, et même parmi les prompts correctement compris, l'ASR passe de 10,5 à 11,3 % dans les grandes langues d'Europe occidentale (hors néerlandais) à 19 à 23 % dans les langues les moins dotées.

Dans les langues les moins dotées, les modèles refusent aussi davantage de requêtes inoffensives. Dans une expérience de contrôle menée avec 10 des modèles, ils ont refusé 22 à 25 % des prompts inoffensifs en letton, maltais, estonien et lituanien, contre 15 % en anglais et 9 à 12 % dans les grandes langues d'Europe occidentale. Leurs refus dépendent moins de ce qui est réellement demandé. Un comportement de sécurité appris surtout en anglais ne se transpose pas aux langues rares dans les données d'entraînement.

Moins de refus, mais pas toujours plus de préjudice

L'écart est-il réel, ou un artefact du classifieur ou de la traduction automatique ? Nous l'avons vérifié de plusieurs façons (figure 8). Évaluer les réponses avec Llama Guard 3, un classifieur issu d'une autre famille de modèles, donne la même image, tout comme traduire les réponses en anglais et les évaluer en anglais. L'écart subsiste aussi lorsque nous ne retenons que les prompts dont les deux traductions candidates concordent le mieux.

Notre classifieur, comme Llama Guard 3, juge si une réponse est dangereuse, ce qui inclut une réponse partielle ou de faible qualité. Les juges qui évaluent à quel point le contenu malveillant est précis et utile trouvent un écart plus faible : environ 3 points de pourcentage pour le classifieur de HarmBench et l'évaluateur de StrongREJECT, et 8 pour Gemma 3 27B appliquant la grille de StrongREJECT. Beaucoup des réponses non refusées dans les langues les moins dotées sont de faible qualité ; en maltais et en irlandais, un tiers des attaques réussies n'apportent aucune aide concrète. Les plus fortes hausses de préjudice réel concernent des langues comme le polonais, le finnois, le hongrois et le slovène, où les modèles sont à la fois moins sûrs et encore compétents.

Pour l'évaluateur de StrongREJECT et la grille appliquée par Gemma : score moyen × 100.

En résumé, dans les langues les moins dotées, les modèles refusent beaucoup moins souvent qu'en anglais, mais une grande partie de ce qu'ils produisent à la place est peu utile à un attaquant. L'écart de refus n'en est pas moins réel : refuser est le comportement de sécurité attendu de ces modèles, et des modèles plus performants peuvent produire un contenu plus utile lorsqu'ils ne refusent pas.

Ce que cela signifie si vous déployez des LLM dans l'UE

1. Testez la sécurité dans chaque langue de déploiement. Les résultats obtenus en anglais ne se transposent pas, et le classement des modèles change d'une langue à l'autre.
2. Regardez la langue la plus faible, pas la moyenne. Une moyenne sur les langues masque les langues les moins dotées, où le risque est le plus élevé.
3. Mesurez à la fois les refus et le préjudice. Le fait qu'un modèle refuse et la nocivité de ce qu'il produit peuvent diverger, surtout dans les langues peu dotées.
4. Considérez les langues absentes de la fiche du modèle comme à haut risque. Mais ne supposez pas que les langues mentionnées sont sûres.
5. Renforcez les protections là où elles sont le plus nécessaires. Dans les langues les moins dotées, un entraînement de sécurité supplémentaire ou un filtre d'entrée peut être nécessaire.

Ce benchmark est un projet de recherche. Les évaluations que nous menons pour nos clients sont conçues autour de chaque système : ses cas d'usage, son modèle de menace et les langues dans lesquelles écrivent ses utilisateurs, à la lumière de ce que nous apprennent des recherches comme celle-ci. Parlons du vôtre.