Drošība, kas pazūd tulkojumā: kaitīgas uzvednes visās 24 ES valodās

Galvenie secinājumi

1. Katrā no pārējām 23 ES oficiālajām valodām veiksmīgo uzbrukumu īpatsvars ir augstāks nekā angļu valodā, vidēji vairāk nekā divreiz augstāks.
2. Atšķirība atbilst tam, cik daudz teksta attiecīgajā valodā ir tīmeklī, nevis alfabētam, kurā valodu raksta.
3. Modeļa vieta reitingā angļu valodā slikti norāda uz tā vietu valodās ar vismazākajiem resursiem.
4. Atšķirība nav neizbēgama: dažiem jaunākiem modeļiem tā ir neliela vai tās nav vispār, un vienas saimes lielākie modeļi to samazina.
5. Modeļi saprot lielāko daļu pieprasījumu. Tiem neizdodas atpazīt tos kā kaitīgus.
6. Ne viss, kas izsprūk cauri, ir noderīgs uzbrucējam, tāpēc atšķirība faktiskajā kaitējumā ir mazāka nekā atšķirība atteikumos, taču tā pastāv.

Kāpēc testēt 24 valodās?

Eiropas Savienībā ir 24 oficiālās valodas un vienotais tirgus, kurā produktiem, kas balstīti uz lielajiem valodas modeļiem (LLM), jāapkalpo visu šo valodu runātāji. Nodrošinātāji ir ievērojami uzlabojuši savu modeļu prasmes šajās valodās. Drošības novērtēšana nav gājusi kopsolī: to, vai modelis atsakās palīdzēt ar kaitīgu pieprasījumu, joprojām mēra galvenokārt angļu valodā. Modelis, kas angļu valodā šķiet drošs, var izpildīt to pašu pieprasījumu, ja tas uzrakstīts igauņu vai maltiešu valodā, un novērtējums tikai angļu valodā to neatklās.

Iepriekšējie darbi pētīja atsevišķas valodas vai nelielas valodu grupas, un kaitīgu pieprasījumu daudzvalodu etalontesti bez angļu valodas aptvēra ne vairāk kā četras ES valodas. Mēs izveidojām paralēlu etalontestu: tie paši kaitīgie pieprasījumi visās 24 ES oficiālajās valodās, lai valodas un modeļus varētu salīdzināt tieši.

Kā mēs testējām

Mēs ņēmām 1053 kaitīgas uzvednes no četriem atzītiem angļu valodas etalontestiem: HarmBench (200 uzvedņu), JBB-Behaviors (100), SORRY-Bench (440) un StrongREJECT (313). Katra uzvedne tika divreiz iztulkota pārējās 23 ES oficiālajās valodās ar DeepL un Claude Opus 4.5, un vērtētāja lomā esošs valodas modelis izvēlējās drošības novērtēšanai piemērotāko tulkojumu. Kopā etalontestā ir 25 272 uzvednes.

Katru uzvedni kā vienu ziņojumu bez sistēmas uzvednes nosūtījām 34 atvērto svaru modeļiem ar 3–35 miljardiem parametru no saimēm Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo un Apertus. Katru atbildi novērtēja drošības klasifikators Qwen3Guard-Gen-8B. Veiksmīgo uzbrukumu īpatsvars (Attack Success Rate, ASR) ir to kaitīgo pieprasījumu daļa, kurus modelis izpilda: atbilde nav atteikums, un klasifikators to atzīmē kā nedrošu vai pretrunīgu.

Katra ES valoda ir mazāk droša nekā angļu valoda

Vidēji 34 modeļiem ASR angļu valodā ir 7,7%, un tas ir augstāks katrā no pārējām 23 valodām (1. attēls). Tas pieaug no lielajām Rietumeiropas valodām (franču, spāņu, vācu, itāļu un portugāļu valodā 10–12%) līdz ungāru, slovēņu, lietuviešu, igauņu un maltiešu valodai (22–23%) un latviešu valodai (24,3%). Visu 23 valodu 95 % ticamības intervāli atrodas virs angļu valodas intervāla.

1053 uzvednes katrā valodā, katra modeļa pirmā atbilde, ko novērtējis Qwen3Guard-Gen-8B. Valodas sagrupētas pēc resursu pieejamības.

Produktam, kas apkalpo visas ES valodas, vidējais rādītājs slēpj to, kas ir vissvarīgākais: vājāko valodu. Llama 3.1 8B Instruct ārpus angļu valodas vidēji izpilda 8,3% pieprasījumu, bet latviešu valodā 20,4%. Qwen3 4B Instruct 2507 vidējais rādītājs ir 9,3%, bet maltiešu valodā tas sasniedz 26,0%; Phi-4 vidējais rādītājs ir 14,1%, bet maltiešu valodā 36,4%.

Jo mazāk teksta tīmeklī, jo lielāka atšķirība

Valodas sakārtojas atkarībā no tā, cik daudz teksta tajās ir tīmeklī. Visās 24 valodās ASR cieši korelē ar attiecīgās valodas Common Crawl tīmekļa lapu īpatsvara logaritmu (Spīrmena ρ = −0,91), un tāpat arī atšķirība no angļu valodas (ρ = −0,90, 2. attēls). Sagrupējot pēc resursu pieejamības, ASR ir aptuveni 12% sešās lielajās Rietumeiropas valodās, 18% vienpadsmit vidējo resursu valodās un 22% sešās valodās ar vismazākajiem resursiem: īru, maltiešu, igauņu, latviešu, lietuviešu un slovēņu valodā.

Common Crawl īpatsvari no apkopojuma CC-MAIN-2026-39. Iezīmes ir ISO valodu kodi.

Alfabēts atšķirību neizskaidro. Latviešu, lietuviešu un igauņu valodu raksta latīņu alfabētā tāpat kā franču un spāņu valodu, savukārt abas valodas ar citu rakstību, bulgāru un grieķu valoda, ir vidēji tikai par 1,8 procentpunktiem augstāk nekā latīņu alfabēta valodas. Īru un maltiešu valoda, kurās tīmeklī ir vismazāk teksta, ir arī valodas, kurās automātiskais klasifikators ir vismazāk uzticams, tāpēc to precīzās vērtības ir nenoteiktākas nekā pārējām valodām (skatīt tālāk).

Rezultāti angļu valodā neparāda, kurš modelis ir visdrošākais jūsu valodā

Ikvienam, kas izvēlas modeli, tas varētu būt vissvarīgākais secinājums. 34 modeļu reitings angļu valodā slikti norāda uz to reitingu valodās ar mazākiem resursiem. Rangu korelācija ar reitingu angļu valodā spāņu valodai ir 0,81, bet igauņu valodai tikai 0,47, īru valodai 0,43 un maltiešu valodai 0,41 (3. attēls). Modelis, kas angļu valodā ir starp drošākajiem, citā valodā var būt starp visneaizsargātākajiem.

Rangu korelācijas 34 modeļiem.

Olmo 3 7B Instruct angļu valodā ir desmitais drošākais no 34 modeļiem un izpilda 2,9% pieprasījumu, bet pārējās valodās tas ir otrais nedrošākais, vidēji 43,4%. Nemotron 3 Nano 4B rādītājs pieaug no 1,3% angļu valodā līdz 19,9%. 16 no 34 modeļiem ASR ārpus angļu valodas ir vairāk nekā divreiz augstāks nekā angļu valodā.

Atšķirība ir atkarīga no modeļa, un to var novērst

Modeļa izvēlei ir liela nozīme (4. attēls). Vidēji 23 valodās, kas nav angļu valoda, ASR svārstās no 2,0% modelim Qwen3.6 35B-A3B līdz 45,3% modelim Mistral 7B Instruct v0.2, kas izlaists 2023. gadā. 33 no 34 modeļiem tas ir augstāks nekā angļu valodā, un 11 no tiem vairāk nekā par 10 procentpunktiem.

1053 uzvednes katrā valodā, pirmā atbilde, novērtējis Qwen3Guard-Gen-8B.

Vairākiem jaunākiem modeļiem atšķirība ir neliela vai tās nav vispār. Gemma 4 31B ārpus angļu valodas nav mazāk droša nekā angļu valodā (8,4% pret 9,0%), un Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B un gpt-oss-20b valodās, kas nav angļu valoda, vidēji paliek zem 5%. Katrā no sešām saimēm, ko testējām vairākos izmēros, atšķirība samazinās, modeļiem kļūstot lielākiem (5. attēls): Granite 4.1 3B, 8B un 30B tā ir +17,4, +8,9 un +2,8 procentpunkti, bet Gemma 4 E2B +6,2 un 31B −0,6 procentpunkti. Drošības uzvedība, kas saglabājas visās valodās, ir sasniedzama.

Izmēri ir kopējais parametru skaits; mixture-of-experts modeļiem norādīti arī aktīvie parametri.

Valodu saraksts modeļa kartītē ir brīdinājuma zīme, nevis garantija

Divpadsmit modeļi savā modeļa kartītē kā atbalstītas norāda dažas, bet ne visas 23 ES valodas, kas nav angļu valoda. 11 no 12 modeļiem ASR ir augstāks valodās, kas nav norādītas, vidēji par 12,3 procentpunktiem (6. attēls). Piemēram, Llama 3.2 3B Instruct izpilda 10,6% pieprasījumu angļu valodā, 7,4% piecās ES valodās, kuras norādītas tā kartītē, un 32,8% pārējās 18 valodās.

Tomēr norādīta valoda nav automātiski droša. Norādītās valodas lielākoties ir lielās valodas, un vienā un tajā pašā valodā modeļi, kas to norāda, ir tikai nedaudz drošāki nekā modeļi, kas to nenorāda (par 4,4 procentpunktiem, kas nav statistiski nozīmīgi). Pieciem modeļiem, kuru kartītēs norādītas visas 23 valodas, proti, trim EuroLLM modeļiem un diviem Tiny Aya modeļiem, joprojām ir atšķirības no 6,6 līdz 13,0 procentpunktiem.

Atbalstītās valodas saskaņā ar modeļu kartītēm.

Kurus kaitējuma veidus tas skar?

Atšķirība neaprobežojas ar dažām tēmām. Četru etalontestu 66 kategorijas mēs sagrupējām 13 kaitējuma veidos (grupējums ir mūsu; tālāk esošajā datu pārlūkā redzams, kuras kategorijas pieder kuram veidam). Katram veidam ASR ārpus angļu valodas ir augstāks (7. attēls), sākot ar +4,8 procentpunktiem privātuma pārkāpumiem un beidzot ar +14,2 procentpunktiem politiskai, reliģiskai un ētiskai pārliecināšanai. Pieprasījumus par ieročiem, narkotikām un bīstamām precēm ārpus angļu valodas izpilda 2,5 reizes biežāk (17,0% pret 6,9%), bet pieprasījumus par kibernoziegumiem un hakerismu 2,7 reizes biežāk (17,8% pret 6,6%).

Kaitējuma veidi apvieno 66 kategorijas no HarmBench, JBB-Behaviors, SORRY-Bench un StrongREJECT.

Dažas atsevišķas kategorijas mainās dramatiski. Pieprasījumus popularizēt reliģiju angļu valodā gandrīz vienmēr noraida (izpilda tikai 0,9%), bet pārējās valodās tos izpilda 23,3% gadījumu. Pieprasījumiem izplatīt sazvērestības teorijas īpatsvars pieaug no 22,1% līdz 38,3%.

Modeļi saprot pieprasījumus. Tie vienkārši neredz kaitējumu

Modelis var izpildīt pieprasījumu citā valodā tāpēc, ka tā atteikšanās uzvedība nepāriet uz šo valodu, vai tāpēc, ka tas nesaprot pieprasījumu pietiekami labi, lai pamanītu, ka tas ir kaitīgs. Lai nošķirtu abus gadījumus, mēs lūdzām katram modelim iztulkot angļu valodā uzvedņu izlasi no katras valodas.

Modeļi visās valodās pareizi iztulko lielāko daļu uzvedņu: vidēji 74–84%, izņemot igauņu (71%), maltiešu (65%) un īru valodu (54%). Taču kā kaitīgus tie atpazīst daudz mazāk pieprasījumu. Lielajās Rietumeiropas valodās tie atsakās pat tulkot 16–20% uzvedņu; īru, maltiešu, latviešu, igauņu un lietuviešu valodā tikai 2–5%. Starp valodām šis kaitējuma atpazīšanas īpatsvars ir cieši saistīts ar ASR (ρ = −0,92). No veiksmīgajiem uzbrukumiem valodās, kas nav angļu valoda, 79% attiecas uz uzvednēm, kuras modelis saprata, un pat pareizi saprastām uzvednēm ASR pieaug no 10,5–11,3% lielajās Rietumeiropas valodās (izņemot nīderlandiešu valodu) līdz 19–23% valodās ar vismazākajiem resursiem.

Valodās ar vismazākajiem resursiem modeļi arī biežāk atsaka nekaitīgiem pieprasījumiem. Kontroleksperimentā ar 10 modeļiem tie atteica 22–25% nekaitīgu uzvedņu latviešu, maltiešu, igauņu un lietuviešu valodā, salīdzinot ar 15% angļu valodā un 9–12% lielajās Rietumeiropas valodās. To atteikumi mazāk atkarīgi no tā, kas patiesībā tiek prasīts. Drošības uzvedība, kas apgūta galvenokārt angļu valodā, nepāriet uz valodām, kuras apmācības datos ir retas.

Mazāk atteikumu, bet ne vienmēr vairāk kaitējuma

Vai atšķirība ir reāla, vai tas ir klasifikatora vai mašīntulkošanas artefakts? Mēs to pārbaudījām vairākos veidos (8. attēls). Atbilžu novērtēšana ar Llama Guard 3, kas ir citas modeļu saimes klasifikators, dod to pašu ainu, tāpat kā atbilžu tulkošana angļu valodā un to novērtēšana tajā. Atšķirība saglabājas arī tad, ja izmantojam tikai uzvednes, kuru divi kandidātu tulkojumi vislabāk sakrīt.

Mūsu klasifikators, tāpat kā Llama Guard 3, vērtē, vai atbilde ir nedroša, un tas ietver arī daļēju un zemas kvalitātes izpildi. Vērtētāji, kas novērtē, cik konkrēts un noderīgs ir kaitīgais saturs, konstatē mazāku atšķirību: aptuveni 3 procentpunktus HarmBench klasifikatoram un StrongREJECT vērtētājam un 8 procentpunktus modelim Gemma 3 27B, kas vērtē pēc StrongREJECT vērtēšanas skalas. Daudzas atbildes, kas valodās ar vismazākajiem resursiem netiek atteiktas, ir zemas kvalitātes; maltiešu un īru valodā trešdaļa veiksmīgo uzbrukumu nesniedz nekādu konkrētu palīdzību. Lielākais faktiskā kaitējuma pieaugums ir tādās valodās kā poļu, somu, ungāru un slovēņu, kurās modeļi ir gan mazāk droši, gan joprojām spējīgi.

StrongREJECT vērtētājam un Gemma skalai: vidējais vērtējums × 100.

Īsumā: valodās ar vismazākajiem resursiem modeļi atsakās daudz retāk nekā angļu valodā, bet liela daļa no tā, ko tie rada atteikuma vietā, uzbrucējam ir maz noderīga. Atšķirība atteikumos tomēr ir reāla: atteikšanās ir drošības uzvedība, kas šiem modeļiem jāpiemīt, un spējīgāki modeļi var radīt noderīgāku saturu, ja neatsakās.

Ko tas nozīmē, ja ieviešat LLM ES

1. Testējiet drošību katrā valodā, kurā ieviešat sistēmu. Angļu valodas rezultāti nepāriet uz citām valodām, un modeļu reitings mainās no valodas uz valodu.
2. Skatieties uz vājāko valodu, nevis vidējo rādītāju. Vidējais rādītājs starp valodām slēpj valodas ar vismazākajiem resursiem, kurās risks ir vislielākais.
3. Mēriet gan atteikumus, gan kaitējumu. Tas, vai modelis atsakās, un tas, cik kaitīga ir tā izvade, var atšķirties, jo īpaši mazresursu valodās.
4. Uzskatiet valodas, kuru nav modeļa kartītē, par augsta riska valodām. Taču nepieņemiet, ka norādītās valodas ir drošas.
5. Pievienojiet aizsardzības pasākumus tur, kur tie visvairāk vajadzīgi. Valodās ar vismazākajiem resursiem var būt nepieciešama papildu drošības apmācība vai ievades filtrs.

Šis etalontests ir pētniecības projekts. Novērtējumus saviem klientiem mēs veidojam ap katru konkrēto sistēmu: tās lietošanas gadījumiem, apdraudējumu modeli un valodām, kurās raksta tās lietotāji, balstoties uz to, ko mācāmies no šādiem pētījumiem. Pastāstiet mums par savējo.