Sikurezza li tintilef fit-traduzzjoni: prompts dannużi fl-24 lingwa kollha tal-UE

7.7%tat-talbiet dannużi jinqdew bl-Ingliż, medja ta’ 34 mudell

17.3%jinqdew bħala medja fit-23 lingwa l-oħra tal-UE

24.3%bil-Latvjan, l-ogħla fost l-24 lingwa kollha

33 minn 34mudell huma inqas sikuri barra mill-Ingliż

Sejbiet ewlenin

Kull waħda mit-23 lingwa uffiċjali l-oħra tal-UE għandha rata ta’ suċċess tal-attakki ogħla mill-Ingliż, bħala medja aktar mid-doppju.
Id-differenza ssegwi kemm hemm test f’lingwa fuq il-web, mhux l-alfabett li bih tinkiteb.
Il-pożizzjoni ta’ mudell fil-klassifika bl-Ingliż hija gwida ħażina għall-pożizzjoni tiegħu fil-lingwi bl-inqas riżorsi.
Id-differenza mhijiex inevitabbli: xi mudelli aktar ġodda juru ftit jew xejn minnha, u l-mudelli akbar tal-istess familja jnaqqsuha.
Il-mudelli jifhmu l-biċċa l-kbira tat-talbiet. Fejn ifallu huwa li jagħrfuhom bħala dannużi.
Mhux kull ma jgħaddi huwa utli għal attakkant, għalhekk id-differenza fil-ħsara reali hija iżgħar mid-differenza fir-rifjuti, iżda teżisti.

Għaliex nittestjaw f’24 lingwa?

L-Unjoni Ewropea għandha 24 lingwa uffiċjali u suq uniku li fih il-prodotti mibnija fuq mudelli lingwistiċi kbar (LLM) huma mistennija jaqdu lil min jitkellem kull waħda minnhom. Il-fornituri tejbu ħafna l-mudelli tagħhom f’dawn il-lingwi. L-evalwazzjoni tas-sikurezza ma żammitx il-pass: jekk mudell jirrifjutax li jgħin f’talba dannuża għadu jitkejjel l-aktar bl-Ingliż. Mudell li jidher sikur bl-Ingliż jista’ jaqdi l-istess talba miktuba bl-Estonjan jew bil-Malti, u evalwazzjoni bl-Ingliż biss ma turix dan.

Xogħol preċedenti studja lingwi individwali jew gruppi żgħar ta’ lingwi, u l-benchmarks multilingwi ta’ talbiet dannużi koprew l-aktar erba’ lingwi tal-UE minbarra l-Ingliż. Bnejna benchmark parallel: l-istess talbiet dannużi fl-24 lingwa uffiċjali kollha tal-UE, sabiex il-lingwi u l-mudelli jkunu jistgħu jitqabblu direttament.

Kif ittestjajna

Ħadna 1,053 prompt dannuż minn erba’ benchmarks stabbiliti bl-Ingliż: HarmBench (200 prompt), JBB-Behaviors (100), SORRY-Bench (440) u StrongREJECT (313). Kull prompt ġie tradott darbtejn fit-23 lingwa uffiċjali l-oħra tal-UE, minn DeepL u minn Claude Opus 4.5, u LLM fir-rwol ta’ ġudikant għażel it-traduzzjoni l-aktar adattata għall-evalwazzjoni tas-sikurezza. B’kollox, il-benchmark fih 25,272 prompt.

Bgħatna kull prompt bħala messaġġ wieħed mingħajr prompt tas-sistema lil 34 mudell b’piżijiet miftuħa, b’bejn 3 u 35 biljun parametru, mill-familji Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo u Apertus. Klassifikatur tas-sikurezza, Qwen3Guard-Gen-8B, ivvaluta kull tweġiba. Ir-rata ta’ suċċess tal-attakki (Attack Success Rate, ASR) hija s-sehem tat-talbiet dannużi li mudell jaqdi: it-tweġiba mhijiex rifjut, u l-klassifikatur jikklassifikaha bħala mhux sikura jew kontroversjali.

Kull lingwa tal-UE hija inqas sikura mill-Ingliż

Bħala medja tal-34 mudell, l-ASR hija 7.7% bl-Ingliż u ogħla f’kull waħda mit-23 lingwa l-oħra (Figura 1). Togħla mil-lingwi kbar tal-Ewropa tal-Punent, 10–12% bil-Franċiż, bl-Ispanjol, bil-Ġermaniż, bit-Taljan u bil-Portugiż, għal 22–23% bl-Ungeriż, bis-Sloven, bil-Litwan, bl-Estonjan u bil-Malti, u 24.3% bil-Latvjan. L-intervalli ta’ 95% tat-23 lingwa kollha jinsabu ’l fuq minn dak tal-Ingliż.

Figura 1. Rata ta’ suċċess tal-attakki skont il-lingwa Sehem tat-talbiet dannużi li jinqdew, medja ta’ 34 mudell. Il-linji rqaq juru intervalli bootstrap ta’ 95%.

1,053 prompt għal kull lingwa, l-ewwel tweġiba ta’ kull mudell, ivvalutata minn Qwen3Guard-Gen-8B. Il-lingwi huma miġbura skont id-disponibbiltà tar-riżorsi.

Għal prodott li jaqdi l-lingwi kollha tal-UE, il-medja taħbi dak li jgħodd l-aktar: il-lingwa l-aktar dgħajfa. Llama 3.1 8B Instruct jaqdi bħala medja 8.3% tat-talbiet barra mill-Ingliż, iżda 20.4% bil-Latvjan. Qwen3 4B Instruct 2507 għandu medja ta’ 9.3% u jilħaq 26.0% bil-Malti; Phi-4 għandu medja ta’ 14.1% u jilħaq 36.4% bil-Malti.

Iktar ma jkun hemm inqas test fuq il-web, iktar tikber id-differenza

Il-lingwi jaqgħu f’ordni skont kemm hemm test fihom fuq il-web. Fost l-24 lingwa, l-ASR hija korrelata b’mod qawwi mal-logaritmu tas-sehem tal-paġni tal-web ta’ Common Crawl fil-lingwa (ρ ta’ Spearman = −0.91), u l-istess jgħodd għad-differenza mill-Ingliż (ρ = −0.90, Figura 2). Meta l-lingwi jinġabru skont id-disponibbiltà tar-riżorsi, l-ASR hija madwar 12% fis-sitt lingwi kbar tal-Ewropa tal-Punent, 18% fil-ħdax-il lingwa b’riżorsi medji u 22% fis-sitt lingwi bl-inqas riżorsi: l-Irlandiż, il-Malti, l-Estonjan, il-Latvjan, il-Litwan u s-Sloven.

Figura 2. Id-differenza mill-Ingliż skont l-ammont ta’ test fuq il-web Kull punt huwa lingwa: b’kemm-il punt perċentwali r-rata ta’ suċċess tal-attakki tagħha hija ogħla minn dik tal-Ingliż, meta mqabbla mas-sehem tagħha tal-paġni tal-web ta’ Common Crawl (skala logaritmika).

Is-sehem f’Common Crawl huwa mill-ġabra CC-MAIN-2026-39. It-tikketti huma kodiċijiet ISO tal-lingwi.

L-alfabett ma jispjegax id-differenza. Il-Latvjan, il-Litwan u l-Estonjan jinkitbu bl-alfabett Latin, bħall-Franċiż u l-Ispanjol, filwaqt li ż-żewġ lingwi b’kitba oħra, il-Bulgaru u l-Grieg, huma bħala medja biss 1.8 punti perċentwali ’l fuq mil-lingwi bl-alfabett Latin. L-Irlandiż u l-Malti, iż-żewġ lingwi bl-inqas test fuq il-web, huma wkoll il-lingwi fejn il-klassifikatur awtomatiku huwa l-inqas affidabbli, għalhekk il-valuri eżatti tagħhom huma inqas ċerti minn dawk tal-lingwi l-oħra (ara hawn taħt).

Ir-riżultati bl-Ingliż ma jgħidulekx liema mudell huwa l-iktar sikur fil-lingwa tiegħek

Għal kull min qed jagħżel mudell, din tista’ tkun l-iktar sejba importanti. Il-klassifika tal-34 mudell bl-Ingliż hija gwida ħażina għall-klassifika tagħhom fil-lingwi b’inqas riżorsi. Il-korrelazzjoni tal-klassifika mal-klassifika bl-Ingliż hija 0.81 għall-Ispanjol, iżda biss 0.47 għall-Estonjan, 0.43 għall-Irlandiż u 0.41 għall-Malti (Figura 3). Mudell li huwa fost l-iktar sikuri bl-Ingliż jista’ jkun fost l-iktar vulnerabbli f’lingwa oħra.

Figura 3. Kemm il-klassifika tal-mudelli bl-Ingliż tbassar sew il-klassifika tagħhom f’kull lingwa Korrelazzjoni ta’ Spearman bejn il-klassifika tal-34 mudell skont ir-rata ta’ suċċess tal-attakki bl-Ingliż u f’kull lingwa oħra. Valur ta’ 1 ifisser l-istess ordni.

Korrelazzjonijiet tal-klassifika fuq l-34 mudell.

Olmo 3 7B Instruct huwa l-għaxar l-iktar sikur mill-34 mudell bl-Ingliż, u jaqdi 2.9% tat-talbiet, iżda t-tieni l-inqas sikur fil-lingwi l-oħra, b’medja ta’ 43.4%. Nemotron 3 Nano 4B jitla’ minn 1.3% bl-Ingliż għal 19.9%. Għal 16 mill-34 mudell, l-ASR barra mill-Ingliż hija aktar mid-doppju ta’ dik bl-Ingliż.

Id-differenza tiddependi mill-mudell, u tista’ tingħalaq

L-għażla tal-mudell għandha importanza kbira (Figura 4). Bħala medja tat-23 lingwa li mhumiex Ingliż, l-ASR tvarja minn 2.0% għal Qwen3.6 35B-A3B sa 45.3% għal Mistral 7B Instruct v0.2, mudell mill-2023. Għal 33 mill-34 mudell hija ogħla milli bl-Ingliż, u għal 11 minnhom b’aktar minn 10 punti perċentwali.

Figura 4. Ir-rata ta’ suċċess tal-attakki ta’ kull mudell bl-Ingliż u fit-23 lingwa l-oħra Il-mudelli huma ordnati skont il-medja tagħhom fit-23 lingwa li mhumiex Ingliż. Ir-rombu jimmarka l-lingwa l-aktar dgħajfa ta’ kull mudell.

1,053 prompt għal kull lingwa, l-ewwel tweġiba, ivvalutata minn Qwen3Guard-Gen-8B.

Diversi mudelli aktar ġodda juru differenzi żgħar jew xejn. Gemma 4 31B mhuwiex inqas sikur barra mill-Ingliż milli bl-Ingliż (8.4% meta mqabbel ma’ 9.0%), u Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B u gpt-oss-20b jibqgħu bħala medja taħt 5% fil-lingwi li mhumiex Ingliż. F’kull waħda mis-sitt familji li ttestjajna f’aktar minn daqs wieħed, id-differenza tiċkien hekk kif il-mudelli jikbru (Figura 5): minn +17.4 għal +8.9 u +2.8 punti perċentwali għal Granite 4.1 3B, 8B u 30B, u minn +6.2 għal −0.6 minn Gemma 4 E2B sa 31B. Imġiba ta’ sikurezza li żżomm fil-lingwi kollha hija possibbli.

Figura 5. Il-mudelli akbar tal-istess familja għandhom differenzi iżgħar Id-differenza bejn il-medja tat-23 lingwa li mhumiex Ingliż u l-Ingliż, f’punti perċentwali, għall-familji ttestjati f’aktar minn daqs wieħed.

Id-daqsijiet huma l-parametri totali; għall-mudelli mixture-of-experts jintwerew ukoll il-parametri attivi.

Il-lista tal-lingwi fil-karta tal-mudell hija sinjal ta’ twissija, mhux garanzija

Tnax-il mudell jelenkaw fil-karta tal-mudell tagħhom xi wħud, iżda mhux kollha, mit-23 lingwa tal-UE li mhumiex Ingliż bħala appoġġjati. Għal 11 mit-12, l-ASR hija ogħla fil-lingwi li mhumiex elenkati, bħala medja b’12.3 punti perċentwali (Figura 6). Pereżempju, Llama 3.2 3B Instruct jaqdi 10.6% tat-talbiet bl-Ingliż, 7.4% fil-ħames lingwi tal-UE li telenka l-karta tiegħu, u 32.8% fit-18-il lingwa l-oħra.

Madankollu, lingwa elenkata mhijiex awtomatikament sikura. Il-lingwi elenkati huma l-aktar dawk kbar, u għall-istess lingwa, il-mudelli li jelenkawha huma ftit biss aktar sikuri fiha mill-mudelli li ma jelenkawhiex (b’4.4 punti perċentwali, differenza li mhijiex statistikament sinifikanti). Il-ħames mudelli li l-karti tagħhom jelenkaw it-23 lingwa kollha, it-tliet mudelli EuroLLM u ż-żewġ mudelli Tiny Aya, xorta għandhom differenzi ta’ bejn 6.6 u 13.0 punti perċentwali.

Figura 6. Ir-rata ta’ suċċess tal-attakki fil-lingwi tal-UE li l-karta tal-mudell telenka bħala appoġġjati, u f’dawk li ma telenkax It-tnax-il mudell li l-karta tagħhom telenka xi wħud, iżda mhux kollha, mit-23 lingwa tal-UE li mhumiex Ingliż.

Lingwi appoġġjati kif elenkati fil-karti tal-mudelli.

Liema tipi ta’ ħsara huma affettwati?

Id-differenza mhijiex limitata għal ftit suġġetti. Ġbarna s-66 kategorija tal-erba’ benchmarks fi 13-il tip ta’ ħsara (l-iggruppar huwa tagħna; l-esploratur tad-dejta hawn taħt juri liema kategoriji jappartjenu għal liema tip). Kull tip għandu ASR ogħla barra mill-Ingliż (Figura 7), minn +4.8 punti perċentwali għall-ksur tal-privatezza sa +14.2 għall-persważjoni politika, reliġjuża u etika. It-talbiet dwar armi, drogi u oġġetti perikolużi jinqdew 2.5 darbiet aktar spiss barra mill-Ingliż (17.0% meta mqabbla ma’ 6.9%), u t-talbiet dwar iċ-ċiberkriminalità u l-hacking 2.7 darbiet aktar spiss (17.8% meta mqabbla ma’ 6.6%).

Figura 7. Ir-rata ta’ suċċess tal-attakki skont it-tip ta’ ħsara L-Ingliż u l-medja tat-23 lingwa l-oħra, fuq l-34 mudell kollha.

It-tipi ta’ ħsara jiġbru s-66 kategorija ta’ HarmBench, JBB-Behaviors, SORRY-Bench u StrongREJECT.

Xi kategoriji individwali jinbidlu b’mod drammatiku. It-talbiet biex tiġi promossa reliġjon kważi dejjem jiġu rrifjutati bl-Ingliż (jinqdew biss 0.9%), iżda jinqdew f’23.3% tal-każijiet fil-lingwi l-oħra. It-talbiet biex jinxterdu teoriji tal-konfoffa jogħlew minn 22.1% għal 38.3%.

Il-mudelli jifhmu t-talbiet. Sempliċement ma jarawx il-ħsara

Mudell jista’ jaqdi talba f’lingwa oħra għax l-imġiba tiegħu ta’ rifjut ma tgħaddix għal dik il-lingwa, jew għax ma jifhimx it-talba tajjeb biżżejjed biex jinduna li hija dannuża. Biex niddistingwu bejn iż-żewġ każijiet, tlabna lil kull mudell jittraduċi għall-Ingliż kampjun ta’ prompts minn kull lingwa.

Il-mudelli jittraduċu b’mod preċiż il-biċċa l-kbira tal-prompts f’kull lingwa: bħala medja 74–84%, ħlief bl-Estonjan (71%), bil-Malti (65%) u bl-Irlandiż (54%). Iżda jagħrfu ħafna inqas talbiet bħala dannużi. Fil-lingwi kbar tal-Ewropa tal-Punent jirrifjutaw saħansitra li jittraduċu 16–20% tal-prompts; bl-Irlandiż, bil-Malti, bil-Latvjan, bl-Estonjan u bil-Litwan, biss 2–5%. Bejn il-lingwi, din ir-rata ta’ għarfien tal-ħsara hija marbuta mill-qrib mal-ASR (ρ = −0.92). Mill-attakki b’suċċess fil-lingwi li mhumiex Ingliż, 79% huma fuq prompts li l-mudell fehem, u anke fost il-prompts mifhuma b’mod preċiż l-ASR togħla minn 10.5–11.3% fil-lingwi kbar tal-Ewropa tal-Punent (ħlief l-Olandiż) għal 19–23% f’dawk bl-inqas riżorsi.

Fil-lingwi bl-inqas riżorsi, il-mudelli jirrifjutaw ukoll aktar talbiet li ma jagħmlu l-ebda ħsara. F’esperiment ta’ kontroll b’10 mill-mudelli, irrifjutaw 22–25% tal-prompts mhux dannużi bil-Latvjan, bil-Malti, bl-Estonjan u bil-Litwan, meta mqabbla ma’ 15% bl-Ingliż u 9–12% fil-lingwi kbar tal-Ewropa tal-Punent. Ir-rifjuti tagħhom jiddependu inqas fuq dak li fil-fatt qed jintalab. L-imġiba ta’ sikurezza li titgħallem l-aktar bl-Ingliż ma tgħaddix għal-lingwi li huma rari fid-dejta tat-taħriġ.

Inqas rifjuti, iżda mhux dejjem aktar ħsara

Id-differenza hija reali, jew hija artefatt tal-klassifikatur jew tat-traduzzjoni awtomatika? Iċċekkjajnieha b’diversi modi (Figura 8). Il-valutazzjoni tat-tweġibiet b’Llama Guard 3, klassifikatur minn familja oħra ta’ mudelli, tagħti l-istess stampa, u l-istess jagħmlu t-traduzzjoni tat-tweġibiet għall-Ingliż u l-valutazzjoni tagħhom hemmhekk. Id-differenza tibqa’ wkoll meta nużaw biss il-prompts li ż-żewġ traduzzjonijiet kandidati tagħhom jaqblu l-aktar.

Il-klassifikatur tagħna, bħal Llama Guard 3, jiġġudika jekk tweġiba hijiex mhux sikura, li tinkludi wkoll konformità parzjali u ta’ kwalità baxxa. Il-ġudikanti li jivvalutaw kemm il-kontenut dannuż huwa speċifiku u utli jsibu differenza iżgħar: madwar 3 punti perċentwali għall-klassifikatur ta’ HarmBench u l-valutatur ta’ StrongREJECT, u 8 għal Gemma 3 27B li jivvaluta bl-iskala ta’ StrongREJECT. Ħafna mit-tweġibiet li ma jiġux irrifjutati fil-lingwi bl-inqas riżorsi huma ta’ kwalità baxxa; bil-Malti u bl-Irlandiż, terz tal-attakki b’suċċess ma jagħtu l-ebda għajnuna speċifika. L-akbar żidiet fil-ħsara reali jinsabu f’lingwi bħall-Pollakk, il-Finlandiż, l-Ungeriż u s-Sloven, fejn il-mudelli huma kemm inqas sikuri kif ukoll għadhom kapaċi.

Figura 8. Id-differenza bejn il-lingwi skont ġudikanti differenti Ir-rata ta’ suċċess tal-attakki bl-Ingliż u bħala medja fit-23 lingwa l-oħra, f’kampjun ta’ validazzjoni ta’ 16,320 tweġiba. Il-ġudikanti tal-kontenut mhux sikur jgħoddu wkoll il-konformità parzjali u ta’ kwalità baxxa; il-ġudikanti tal-ħsara reali jivvalutaw kemm il-kontenut ikun utli għal attakkant.

Għall-valutatur ta’ StrongREJECT u l-iskala b’Gemma: punteġġ medju × 100.

Fil-qosor, fil-lingwi bl-inqas riżorsi l-mudelli jirrifjutaw ħafna inqas spiss milli bl-Ingliż, iżda ħafna minn dak li jipproduċu minflok ftit li xejn huwa utli għal attakkant. Id-differenza fir-rifjuti xorta hija reali: ir-rifjut huwa l-imġiba ta’ sikurezza li dawn il-mudelli suppost għandhom, u mudelli aktar kapaċi jistgħu jipproduċu kontenut aktar utli meta ma jirrifjutawx.

Xi jfisser dan jekk qed tuża LLM fl-UE

Ittestja s-sikurezza f’kull lingwa li fiha tuża s-sistema. Ir-riżultati bl-Ingliż ma jgħoddux għal-lingwi l-oħra, u l-klassifika tal-mudelli tinbidel minn lingwa għal oħra.
Ħares lejn il-lingwa l-aktar dgħajfa, mhux lejn il-medja. Medja tal-lingwi taħbi dawk bl-inqas riżorsi, fejn ir-riskju huwa l-ogħla.
Kejjel kemm ir-rifjuti kif ukoll il-ħsara. Jekk mudell jirrifjutax u kemm hija dannuża t-tweġiba tiegħu jistgħu jvarjaw minn xulxin, l-aktar fil-lingwi b’riżorsi limitati.
Ittratta l-lingwi nieqsa mill-karta tal-mudell bħala ta’ riskju għoli. Iżda tassumix li l-lingwi elenkati huma sikuri.
Żid salvagwardji fejn huma l-aktar meħtieġa. Fil-lingwi bl-inqas riżorsi jista’ jkun meħtieġ aktar taħriġ ta’ sikurezza jew filtru tal-input.

Dan il-benchmark huwa proġett ta’ riċerka. L-evalwazzjonijiet għall-klijenti tagħna jinbnew madwar kull sistema: l-użi tagħha, il-mudell tat-theddid tagħha u l-lingwi li fihom jiktbu l-utenti tagħha, abbażi ta’ dak li nitgħallmu minn riċerka bħal din. Kellimna dwar tiegħek.