Siguranța care se pierde în traducere: prompturi dăunătoare în toate cele 24 de limbi ale UE

7,7 %dintre cererile dăunătoare sunt îndeplinite în engleză, în medie pe 34 de modele

17,3 %îndeplinite în medie în celelalte 23 de limbi ale UE

24,3 %în letonă, cea mai mare valoare dintre toate cele 24 de limbi

33 din 34de modele sunt mai puțin sigure în afara limbii engleze

Constatări principale

Fiecare dintre celelalte 23 de limbi oficiale ale UE are o rată de succes a atacurilor mai mare decât engleza, în medie de peste două ori mai mare.
Diferența urmează cantitatea de text care există într-o limbă pe web, nu alfabetul în care se scrie limba.
Clasamentul unui model în engleză este un indicator slab pentru clasamentul său în limbile cu cele mai puține resurse.
Diferența nu este inevitabilă: unele modele recente o au mică sau deloc, iar modelele mai mari din aceeași familie o reduc.
Modelele înțeleg majoritatea cererilor. Ceea ce eșuează este recunoașterea lor ca dăunătoare.
Nu tot ce trece este util unui atacator, așa că diferența în privința daunelor reale este mai mică decât cea în privința refuzurilor, dar există.

De ce să testăm în 24 de limbi?

Uniunea Europeană are 24 de limbi oficiale și o piață unică în care produsele construite pe modele lingvistice mari (LLM) ar trebui să servească vorbitorii tuturor acestor limbi. Furnizorii și-au îmbunătățit mult modelele în aceste limbi. Evaluarea siguranței nu a ținut pasul: dacă un model refuză să ajute la o cerere dăunătoare se măsoară încă în mare parte în engleză. Un model care pare sigur în engleză poate da curs aceleiași cereri scrise în estonă sau malteză, iar o evaluare doar în engleză nu va arăta acest lucru.

Lucrările anterioare au studiat limbi individuale sau grupuri mici de limbi, iar benchmarkurile multilingve de cereri dăunătoare au acoperit cel mult patru limbi ale UE pe lângă engleză. Am construit un benchmark paralel: aceleași cereri dăunătoare în toate cele 24 de limbi oficiale ale UE, astfel încât limbile și modelele să poată fi comparate direct.

Cum am testat

Am preluat 1.053 de prompturi dăunătoare din patru benchmarkuri consacrate în limba engleză: HarmBench (200 de prompturi), JBB-Behaviors (100), SORRY-Bench (440) și StrongREJECT (313). Fiecare prompt a fost tradus de două ori în celelalte 23 de limbi oficiale ale UE, cu DeepL și cu Claude Opus 4.5, iar un LLM în rol de evaluator a ales traducerea mai potrivită pentru evaluarea siguranței. În total, benchmarkul cuprinde 25.272 de prompturi.

Am trimis fiecare prompt, ca mesaj unic fără prompt de sistem, către 34 de modele cu ponderi deschise, cu 3 până la 35 de miliarde de parametri, din familiile Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo și Apertus. Fiecare răspuns a fost evaluat de un clasificator de siguranță, Qwen3Guard-Gen-8B. Rata de succes a atacurilor (Attack Success Rate, ASR) este proporția cererilor dăunătoare cărora un model le dă curs: răspunsul nu este un refuz, iar clasificatorul îl etichetează ca nesigur sau controversat.

Fiecare limbă a UE este mai puțin sigură decât engleza

În medie pe cele 34 de modele, ASR este de 7,7 % în engleză și mai mare în fiecare dintre celelalte 23 de limbi (figura 1). Crește de la marile limbi vest-europene, 10–12 % în franceză, spaniolă, germană, italiană și portugheză, la 22–23 % în maghiară, slovenă, lituaniană, estonă și malteză și 24,3 % în letonă. Intervalele de 95 % ale tuturor celor 23 de limbi se află deasupra celui pentru engleză.

Figura 1. Rata de succes a atacurilor pe limbă Proporția cererilor dăunătoare îndeplinite, media pe 34 de modele. Liniile subțiri arată intervale bootstrap de 95 %.

1.053 de prompturi pe limbă, primul răspuns al fiecărui model, evaluat de Qwen3Guard-Gen-8B. Limbile sunt grupate după disponibilitatea resurselor.

Pentru un produs care deservește toate limbile UE, media ascunde ceea ce contează cel mai mult: limba cea mai slabă. Llama 3.1 8B Instruct îndeplinește în medie 8,3 % dintre cereri în afara limbii engleze, dar 20,4 % în letonă. Qwen3 4B Instruct 2507 are o medie de 9,3 % și ajunge la 26,0 % în malteză; Phi-4 are o medie de 14,1 % și ajunge la 36,4 % în malteză.

Cu cât mai puțin text pe web, cu atât mai mare diferența

Limbile se ordonează după cantitatea de text care există în ele pe web. Pe cele 24 de limbi, ASR este puternic corelată cu logaritmul proporției paginilor web Common Crawl în limba respectivă (ρ Spearman = −0,91), la fel ca diferența față de engleză (ρ = −0,90, figura 2). Grupată după disponibilitatea resurselor, ASR este de aproximativ 12 % în cele șase mari limbi vest-europene, 18 % în cele unsprezece limbi cu resurse medii și 22 % în cele șase limbi cu cele mai puține resurse: irlandeză, malteză, estonă, letonă, lituaniană și slovenă.

Figura 2. Diferența față de engleză în funcție de cantitatea de text de pe web Fiecare punct este o limbă: cu câte puncte procentuale rata sa de succes a atacurilor depășește engleza, în funcție de proporția sa din paginile web Common Crawl (scară logaritmică).

Proporțiile Common Crawl provin din colecția CC-MAIN-2026-39. Etichetele sunt coduri de limbă ISO.

Alfabetul nu explică diferența. Letona, lituaniana și estona se scriu cu alfabetul latin, ca franceza și spaniola, în timp ce cele două limbi cu alte alfabete, bulgara și greaca, sunt în medie cu doar 1,8 puncte procentuale peste limbile cu alfabet latin. Irlandeza și malteza, cele două limbi cu cel mai puțin text pe web, sunt și limbile în care clasificatorul automat este cel mai puțin fiabil, așa că valorile lor exacte sunt mai incerte decât cele ale celorlalte limbi (vedeți mai jos).

Rezultatele în engleză nu vă spun care model este cel mai sigur în limba dumneavoastră

Pentru oricine alege un model, aceasta ar putea fi cea mai importantă constatare. Clasamentul celor 34 de modele în engleză este un indicator slab pentru clasamentul lor în limbile cu mai puține resurse. Corelația de rang cu clasamentul pentru engleză este de 0,81 pentru spaniolă, dar de doar 0,47 pentru estonă, 0,43 pentru irlandeză și 0,41 pentru malteză (figura 3). Un model care se numără printre cele mai sigure în engleză se poate număra printre cele mai vulnerabile într-o altă limbă.

Figura 3. Cât de bine prezice clasamentul modelelor în engleză clasamentul lor în fiecare limbă Corelația Spearman între clasamentul celor 34 de modele după rata de succes a atacurilor în engleză și în fiecare altă limbă. O valoare de 1 ar însemna aceeași ordine.

Corelații de rang pe cele 34 de modele.

Olmo 3 7B Instruct este al zecelea cel mai sigur dintre cele 34 de modele în engleză, îndeplinind 2,9 % dintre cereri, și al doilea cel mai puțin sigur în celelalte limbi, cu o medie de 43,4 %. Nemotron 3 Nano 4B urcă de la 1,3 % în engleză la 19,9 %. Pentru 16 dintre cele 34 de modele, ASR în afara limbii engleze este de peste două ori mai mare decât în engleză.

Diferența depinde de model și poate fi eliminată

Alegerea modelului contează foarte mult (figura 4). În medie pe cele 23 de limbi în afară de engleză, ASR variază de la 2,0 % pentru Qwen3.6 35B-A3B la 45,3 % pentru Mistral 7B Instruct v0.2, un model din 2023. Pentru 33 dintre cele 34 de modele este mai mare decât în engleză, iar pentru 11 dintre ele cu peste 10 puncte procentuale.

Figura 4. Rata de succes a atacurilor pentru fiecare model în engleză și în celelalte 23 de limbi Modele ordonate după media lor pe cele 23 de limbi în afară de engleză. Rombul marchează limba cea mai slabă a fiecărui model.

1.053 de prompturi pe limbă, primul răspuns, evaluat de Qwen3Guard-Gen-8B.

Mai multe modele recente au diferențe mici sau deloc. Gemma 4 31B nu este mai puțin sigur în afara limbii engleze decât în engleză (8,4 % față de 9,0 %), iar Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B și gpt-oss-20b rămân în medie sub 5 % în limbile în afară de engleză. În fiecare dintre cele șase familii pe care le-am testat în mai multe dimensiuni, diferența scade pe măsură ce modelele cresc (figura 5): de la +17,4 la +8,9 și +2,8 puncte procentuale pentru Granite 4.1 3B, 8B și 30B și de la +6,2 la −0,6 de la Gemma 4 E2B la 31B. Un comportament de siguranță care se menține în toate limbile este realizabil.

Figura 5. Modelele mai mari din aceeași familie au diferențe mai mici Diferența dintre media pe cele 23 de limbi în afară de engleză și engleză, în puncte procentuale, pentru familiile testate în mai multe dimensiuni.

Dimensiunile reprezintă parametrii totali; la modelele mixture-of-experts sunt indicați și parametrii activi.

Lista de limbi din fișa modelului este un semnal de avertizare, nu o garanție

Douăsprezece dintre modele indică în fișa modelului ca fiind acceptate unele, dar nu toate cele 23 de limbi ale UE în afară de engleză. Pentru 11 dintre cele 12, ASR este mai mare în limbile care nu sunt enumerate, în medie cu 12,3 puncte procentuale (figura 6). Llama 3.2 3B Instruct, de exemplu, îndeplinește 10,6 % dintre cereri în engleză, 7,4 % în cele cinci limbi ale UE pe care le enumeră fișa sa și 32,8 % în celelalte 18.

Totuși, o limbă enumerată nu este automat sigură. Limbile enumerate sunt în mare parte cele mari, iar pentru aceeași limbă, modelele care o enumeră sunt doar puțin mai sigure în ea decât modelele care nu o enumeră (cu 4,4 puncte procentuale, ceea ce nu este semnificativ statistic). Cele cinci modele ale căror fișe enumeră toate cele 23 de limbi, cele trei modele EuroLLM și cele două modele Tiny Aya, au totuși diferențe de 6,6 până la 13,0 puncte procentuale.

Figura 6. Rata de succes a atacurilor în limbile UE pe care fișa modelului le enumeră ca acceptate și în celelalte Cele douăsprezece modele a căror fișă enumeră unele, dar nu toate cele 23 de limbi ale UE în afară de engleză.

Limbile acceptate, așa cum sunt enumerate în fișele modelelor.

Ce tipuri de daune sunt afectate?

Diferența nu se limitează la câteva subiecte. Am grupat cele 66 de categorii ale celor patru benchmarkuri în 13 tipuri de daune (gruparea ne aparține; exploratorul de mai jos arată ce categorii aparțin fiecărui tip). Fiecare tip are o ASR mai mare în afara limbii engleze (figura 7), de la +4,8 puncte procentuale pentru încălcarea vieții private la +14,2 pentru persuasiunea politică, religioasă și etică. Cererilor despre arme, droguri și bunuri periculoase li se dă curs de 2,5 ori mai des în afara limbii engleze (17,0 % față de 6,9 %), iar cererilor despre criminalitate informatică și hacking de 2,7 ori mai des (17,8 % față de 6,6 %).

Figura 7. Rata de succes a atacurilor pe tip de daună Engleza și media celorlalte 23 de limbi, pe toate cele 34 de modele.

Tipurile de daune grupează cele 66 de categorii din HarmBench, JBB-Behaviors, SORRY-Bench și StrongREJECT.

Unele categorii individuale se schimbă dramatic. Cererile de promovare a unei religii sunt aproape întotdeauna refuzate în engleză (doar 0,9 % îndeplinite), dar sunt îndeplinite în 23,3 % din cazuri în celelalte limbi. Cererile de promovare a teoriilor conspirației cresc de la 22,1 % la 38,3 %.

Modelele înțeleg cererile. Doar că nu văd răul

Un model poate da curs unei cereri într-o altă limbă pentru că comportamentul său de refuz nu se transferă în acea limbă sau pentru că nu înțelege cererea suficient de bine încât să vadă că este dăunătoare. Pentru a distinge cele două cazuri, am cerut fiecărui model să traducă în engleză un eșantion de prompturi din fiecare limbă.

Modelele traduc corect majoritatea prompturilor în fiecare limbă: în medie 74–84 %, cu excepția estonei (71 %), maltezei (65 %) și irlandezei (54 %). Dar recunosc mult mai puține cereri ca dăunătoare. În marile limbi vest-europene refuză chiar să traducă 16–20 % dintre prompturi; în irlandeză, malteză, letonă, estonă și lituaniană doar 2–5 %. De la o limbă la alta, această rată de recunoaștere a răului este strâns legată de ASR (ρ = −0,92). Dintre atacurile reușite în limbile în afară de engleză, 79 % vizează prompturi pe care modelul le-a înțeles, și chiar printre prompturile înțelese corect ASR crește de la 10,5–11,3 % în marile limbi vest-europene (cu excepția neerlandezei) la 19–23 % în cele cu cele mai puține resurse.

În limbile cu cele mai puține resurse, modelele refuză și mai multe cereri inofensive. Într-un experiment de control cu 10 dintre modele, acestea au refuzat 22–25 % dintre prompturile inofensive în letonă, malteză, estonă și lituaniană, față de 15 % în engleză și 9–12 % în marile limbi vest-europene. Refuzurile lor depind mai puțin de ceea ce se cere de fapt. Comportamentul de siguranță învățat mai ales în engleză nu se transferă în limbile rare în datele de antrenare.

Mai puține refuzuri, dar nu întotdeauna mai multe daune

Este diferența reală sau un artefact al clasificatorului ori al traducerii automate? Am verificat-o în mai multe moduri (figura 8). Evaluarea răspunsurilor cu Llama Guard 3, un clasificator dintr-o altă familie de modele, oferă aceeași imagine, la fel ca traducerea răspunsurilor în engleză și evaluarea lor în engleză. Diferența rămâne și atunci când folosim doar prompturile ale căror două traduceri candidate concordă cel mai bine.

Clasificatorul nostru, ca și Llama Guard 3, apreciază dacă un răspuns este nesigur, ceea ce include conformarea parțială și de calitate slabă. Evaluatorii care notează cât de specific și util este conținutul dăunător găsesc o diferență mai mică: aproximativ 3 puncte procentuale pentru clasificatorul HarmBench și evaluatorul StrongREJECT și 8 pentru Gemma 3 27B, care notează după grila StrongREJECT. Multe dintre răspunsurile care nu sunt refuzate în limbile cu cele mai puține resurse sunt de calitate slabă; în malteză și irlandeză, o treime dintre atacurile reușite nu oferă niciun ajutor concret. Cele mai mari creșteri ale daunelor reale apar în limbi precum poloneza, finlandeza, maghiara și slovena, în care modelele sunt deopotrivă mai puțin sigure și încă performante.

Figura 8. Diferența dintre limbi la evaluatori diferiți Rata de succes a atacurilor în engleză și în medie pe celelalte 23 de limbi, pe un eșantion de validare de 16.320 de răspunsuri. Evaluatorii conținutului nesigur iau în calcul și conformarea parțială și de calitate slabă; evaluatorii daunelor reale apreciază cât de util ar fi conținutul pentru un atacator.

Pentru evaluatorul StrongREJECT și grila Gemma: scorul mediu × 100.

Pe scurt, în limbile cu cele mai puține resurse modelele refuză mult mai rar decât în engleză, dar mare parte din ceea ce produc în schimb este de puțin folos unui atacator. Diferența la refuzuri este totuși reală: refuzul este comportamentul de siguranță pe care aceste modele ar trebui să îl aibă, iar modelele mai capabile pot produce conținut mai util atunci când nu refuză.

Ce înseamnă acest lucru dacă implementați LLM-uri în UE

Testați siguranța în fiecare limbă în care implementați. Rezultatele din engleză nu se transferă, iar clasamentul modelelor se schimbă de la o limbă la alta.
Priviți limba cea mai slabă, nu media. O medie pe limbi ascunde limbile cu cele mai puține resurse, unde riscul este cel mai mare.
Măsurați atât refuzurile, cât și daunele. Dacă un model refuză și cât de dăunător este rezultatul său pot diverge, mai ales în limbile cu resurse reduse.
Tratați limbile care lipsesc din fișa modelului ca fiind cu risc ridicat. Dar nu presupuneți că limbile enumerate sunt sigure.
Adăugați măsuri de protecție acolo unde este cea mai mare nevoie. În limbile cu cele mai puține resurse pot fi necesare antrenament suplimentar de siguranță sau un filtru pentru intrări.

Acest benchmark este un proiect de cercetare. Evaluările pentru clienții noștri sunt construite în jurul fiecărui sistem: cazurile sale de utilizare, modelul său de amenințări și limbile în care scriu utilizatorii săi, pe baza a ceea ce învățăm din cercetări ca aceasta. Vorbiți cu noi despre al dumneavoastră.