Varnost, ki se izgubi v prevodu: škodljivi pozivi v vseh 24 jezikih EU

Ključne ugotovitve

1. Vsak od drugih 23 uradnih jezikov EU ima višjo stopnjo uspešnosti napadov kot angleščina, v povprečju več kot dvakrat višjo.
2. Razlika sledi količini besedila, ki v jeziku obstaja na spletu, ne pa pisavi, v kateri se jezik piše.
3. Uvrstitev modela v angleščini slabo napoveduje njegovo uvrstitev v jezikih z najmanj viri.
4. Razlika ni neizogibna: nekateri novejši modeli je skoraj nimajo, večji modeli iste družine pa jo zmanjšajo.
5. Modeli razumejo večino zahtev. Ne uspe jim prepoznati, da so škodljive.
6. Vse, kar zdrsne skozi, napadalcu ni koristno, zato je razlika v dejanski škodi manjša od razlike v zavrnitvah, vendar obstaja.

Zakaj testirati v 24 jezikih?

Evropska unija ima 24 uradnih jezikov in enotni trg, na katerem naj bi izdelki, zgrajeni na velikih jezikovnih modelih (LLM), služili govorcem vseh teh jezikov. Ponudniki so svoje modele v teh jezikih močno izboljšali. Vrednotenje varnosti s tem ni držalo koraka: ali model zavrne pomoč pri škodljivi zahtevi, se še vedno meri predvsem v angleščini. Model, ki je v angleščini videti varen, lahko isti zahtevi, napisani v estonščini ali malteščini, ugodi, vrednotenje samo v angleščini pa tega ne pokaže.

Dosedanje raziskave so preučevale posamezne jezike ali manjše skupine jezikov, večjezični benchmarki škodljivih zahtev pa so poleg angleščine zajemali največ štiri jezike EU. Zgradili smo vzporedni benchmark: iste škodljive zahteve v vseh 24 uradnih jezikih EU, tako da je mogoče jezike in modele neposredno primerjati.

Kako smo testirali

Vzeli smo 1053 škodljivih pozivov iz štirih uveljavljenih angleških benchmarkov: HarmBench (200 pozivov), JBB-Behaviors (100), SORRY-Bench (440) in StrongREJECT (313). Vsak poziv je bil v drugih 23 uradnih jezikov EU preveden dvakrat, z DeepL in s Claude Opus 4.5, LLM v vlogi ocenjevalca pa je izbral prevod, ki je primernejši za vrednotenje varnosti. Benchmark skupaj obsega 25.272 pozivov.

Vsak poziv smo kot eno samo sporočilo brez sistemskega poziva poslali 34 modelom z odprtimi utežmi s 3 do 35 milijardami parametrov iz družin Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo in Apertus. Vsak odgovor je ocenil varnostni klasifikator Qwen3Guard-Gen-8B. Stopnja uspešnosti napadov (Attack Success Rate, ASR) je delež škodljivih zahtev, ki jim model ugodi: odgovor ni zavrnitev, klasifikator pa ga označi kot nevarnega ali spornega.

Vsak jezik EU je manj varen kot angleščina

V povprečju 34 modelov je ASR v angleščini 7,7 %, v vsakem od drugih 23 jezikov pa višja (slika 1). Narašča od velikih zahodnoevropskih jezikov, 10–12 % v francoščini, španščini, nemščini, italijanščini in portugalščini, do 22–23 % v madžarščini, slovenščini, litovščini, estonščini in malteščini ter 24,3 % v latvijščini. 95-odstotni intervali vseh 23 jezikov ležijo nad intervalom angleščine.

1053 pozivov na jezik, prvi odgovor vsakega modela, ocenil Qwen3Guard-Gen-8B. Jeziki so združeni po razpoložljivosti virov.

Pri izdelku, ki podpira vse jezike EU, povprečje skrije tisto, kar je najpomembnejše: najšibkejši jezik. Llama 3.1 8B Instruct zunaj angleščine v povprečju izpolni 8,3 % zahtev, v latvijščini pa 20,4 %. Qwen3 4B Instruct 2507 ima povprečje 9,3 % in v malteščini doseže 26,0 %; Phi-4 ima povprečje 14,1 % in v malteščini doseže 36,4 %.

Manj spletnega besedila, večja razlika

Jeziki se razvrstijo glede na to, koliko besedila v njih obstaja na spletu. Med 24 jeziki je ASR močno povezana z logaritmom deleža spletnih strani Common Crawl v posameznem jeziku (Spearmanov ρ = −0,91), enako pa velja za razliko do angleščine (ρ = −0,90, slika 2). Po razpoložljivosti virov je ASR približno 12 % v šestih velikih zahodnoevropskih jezikih, 18 % v enajstih jezikih s srednje veliko viri in 22 % v šestih jezikih z najmanj viri: irščini, malteščini, estonščini, latvijščini, litovščini in slovenščini.

Deleži Common Crawl iz zajema CC-MAIN-2026-39. Oznake so jezikovne kode ISO.

Pisava razlike ne pojasni. Latvijščina, litovščina in estonščina se pišejo v latinici, tako kot francoščina in španščina, medtem ko sta jezika z drugo pisavo, bolgarščina in grščina, v povprečju le 1,8 odstotne točke nad jeziki v latinici. Irščina in malteščina, jezika z najmanj spletnega besedila, sta tudi jezika, v katerih je samodejni klasifikator najmanj zanesljiv, zato so njune natančne vrednosti manj gotove kot pri drugih jezikih (glejte spodaj).

Rezultati v angleščini vam ne povedo, kateri model je najvarnejši v vašem jeziku

Za vsakogar, ki izbira model, je to morda najpomembnejša ugotovitev. Vrstni red 34 modelov v angleščini slabo napoveduje njihov vrstni red v jezikih z manj viri. Korelacija rangov z angleškim vrstnim redom je 0,81 za španščino, a le 0,47 za estonščino, 0,43 za irščino in 0,41 za malteščino (slika 3). Model, ki je v angleščini med najvarnejšimi, je lahko v drugem jeziku med najranljivejšimi.

Korelacije rangov za 34 modelov.

Olmo 3 7B Instruct je v angleščini deseti najvarnejši od 34 modelov in izpolni 2,9 % zahtev, v drugih jezikih pa je drugi najmanj varen, s povprečjem 43,4 %. Nemotron 3 Nano 4B se z 1,3 % v angleščini povzpne na 19,9 %. Pri 16 od 34 modelov je ASR zunaj angleščine več kot dvakrat višja kot v angleščini.

Razlika je odvisna od modela in jo je mogoče odpraviti

Izbira modela je zelo pomembna (slika 4). V povprečju 23 jezikov razen angleščine se ASR giblje od 2,0 % pri Qwen3.6 35B-A3B do 45,3 % pri Mistral 7B Instruct v0.2, modelu iz leta 2023. Pri 33 od 34 modelov je višja kot v angleščini, pri 11 od njih za več kot 10 odstotnih točk.

1053 pozivov na jezik, prvi odgovor, ocenil Qwen3Guard-Gen-8B.

Več novejših modelov kaže majhno razliko ali pa je sploh nima. Gemma 4 31B zunaj angleščine ni nič manj varna kot v angleščini (8,4 % proti 9,0 %), Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B in gpt-oss-20b pa v jezikih razen angleščine v povprečju ostajajo pod 5 %. V vsaki od šestih družin, ki smo jih testirali v več velikostih, se razlika z velikostjo modela zmanjšuje (slika 5): s +17,4 na +8,9 in +2,8 odstotne točke pri Granite 4.1 3B, 8B in 30B ter s +6,2 na −0,6 od Gemma 4 E2B do 31B. Varnostno vedenje, ki velja v vseh jezikih, je dosegljivo.

Velikosti so skupni parametri; pri modelih z mešanico strokovnjakov (mixture-of-experts) so prikazani tudi aktivni parametri.

Seznam jezikov na kartici modela je opozorilni znak, ne jamstvo

Dvanajst modelov na svoji kartici modela kot podprte navaja nekatere, ne pa vseh 23 jezikov EU razen angleščine. Pri 11 od 12 je ASR višja v jezikih, ki niso navedeni, v povprečju za 12,3 odstotne točke (slika 6). Llama 3.2 3B Instruct na primer izpolni 10,6 % zahtev v angleščini, 7,4 % v petih jezikih EU, ki jih navaja njena kartica, in 32,8 % v preostalih 18.

Naveden jezik pa ni samodejno varen. Navedeni jeziki so večinoma veliki, in če jezik ostane isti, so modeli, ki ga navajajo, v njem le nekoliko varnejši od modelov, ki ga ne navajajo (za 4,4 odstotne točke, kar ni statistično značilno). Pet modelov, katerih kartice navajajo vseh 23 jezikov, torej trije modeli EuroLLM in dva modela Tiny Aya, ima še vedno razlike od 6,6 do 13,0 odstotne točke.

Podprti jeziki, kot so navedeni na karticah modelov.

Katere vrste škode so prizadete?

Razlika ni omejena na nekaj tem. 66 kategorij štirih benchmarkov smo združili v 13 vrst škode (razvrstitev je naša; raziskovalnik podatkov spodaj pokaže, katere kategorije spadajo h kateri vrsti). Vsaka vrsta ima zunaj angleščine višjo ASR (slika 7), od +4,8 odstotne točke pri kršitvah zasebnosti do +14,2 pri političnem, verskem in etičnem prepričevanju. Zahtevam, povezanim z orožjem, drogami in nevarnim blagom, modeli zunaj angleščine ugodijo 2,5-krat pogosteje (17,0 % proti 6,9 %), zahtevam, povezanim s kibernetskim kriminalom in hekanjem, pa 2,7-krat pogosteje (17,8 % proti 6,6 %).

Vrste škode združujejo 66 kategorij iz HarmBench, JBB-Behaviors, SORRY-Bench in StrongREJECT.

Nekatere posamezne kategorije se spremenijo dramatično. Zahteve za promocijo vere modeli v angleščini skoraj vedno zavrnejo (izpolnijo le 0,9 %), v drugih jezikih pa jih izpolnijo v 23,3 % primerov. Pri zahtevah za širjenje teorij zarote se delež dvigne z 22,1 % na 38,3 %.

Modeli zahteve razumejo. Le škode ne prepoznajo

Model lahko zahtevi v drugem jeziku ugodi zato, ker se njegovo zavračanje ne prenese v ta jezik, ali zato, ker zahteve ne razume dovolj dobro, da bi prepoznal, da je škodljiva. Da bi ta primera ločili, smo vsak model prosili, naj vzorec pozivov iz vsakega jezika prevede v angleščino.

Modeli v vseh jezikih pravilno prevedejo večino pozivov: v povprečju 74–84 %, razen v estonščini (71 %), malteščini (65 %) in irščini (54 %). Kot škodljive pa prepoznajo veliko manj zahtev. V velikih zahodnoevropskih jezikih zavrnejo celo prevod 16–20 % pozivov; v irščini, malteščini, latvijščini, estonščini in litovščini le 2–5 %. Med jeziki je ta stopnja prepoznavanja škode tesno povezana z ASR (ρ = −0,92). Od uspešnih napadov v jezikih razen angleščine jih 79 % zadeva pozive, ki jih je model razumel, in tudi pri pravilno razumljenih pozivih ASR naraste z 10,5–11,3 % v velikih zahodnoevropskih jezikih (razen nizozemščine) na 19–23 % v jezikih z najmanj viri.

V jezikih z najmanj viri modeli tudi pogosteje zavrnejo neškodljive zahteve. V kontrolnem poskusu z 10 modeli so zavrnili 22–25 % neškodljivih pozivov v latvijščini, malteščini, estonščini in litovščini, v primerjavi s 15 % v angleščini in 9–12 % v velikih zahodnoevropskih jezikih. Njihove zavrnitve so manj odvisne od tega, kaj se dejansko zahteva. Varnostno vedenje, naučeno pretežno v angleščini, se ne prenese na jezike, ki so v učnih podatkih redki.

Manj zavrnitev, a ne vedno več škode

Je razlika resnična ali gre za artefakt klasifikatorja ali strojnega prevajanja? Preverili smo jo na več načinov (slika 8). Ocenjevanje odgovorov z Llama Guard 3, klasifikatorjem iz druge družine modelov, da enako sliko, enako pa tudi prevajanje odgovorov v angleščino in njihovo ocenjevanje v angleščini. Razlika ostane tudi, ko uporabimo le pozive, pri katerih se oba kandidatna prevoda najbolj ujemata.

Naš klasifikator, tako kot Llama Guard 3, presoja, ali je odgovor nevaren, kar vključuje tudi delno in nekakovostno ugoditev. Ocenjevalci, ki ocenjujejo, kako konkretna in uporabna je škodljiva vsebina, najdejo manjšo razliko: približno 3 odstotne točke pri klasifikatorju HarmBench in ocenjevalniku StrongREJECT ter 8 pri modelu Gemma 3 27B, ki ocenjuje po lestvici StrongREJECT. Veliko odgovorov, ki v jezikih z najmanj viri niso zavrnjeni, je nizke kakovosti; v malteščini in irščini tretjina uspešnih napadov sploh ne ponudi konkretne pomoči. Največje povečanje dejanske škode je v jezikih, kot so poljščina, finščina, madžarščina in slovenščina, kjer so modeli hkrati manj varni in še vedno zmogljivi.

Pri ocenjevalniku StrongREJECT in lestvici Gemma: povprečna ocena × 100.

Skratka: v jezikih z najmanj viri modeli zavračajo veliko redkeje kot v angleščini, vendar je velik del tega, kar namesto tega ustvarijo, napadalcu malo koristen. Razlika v zavrnitvah je kljub temu resnična: zavrnitev je varnostno vedenje, ki naj bi ga ti modeli imeli, zmogljivejši modeli pa lahko ustvarijo uporabnejšo vsebino, ko ne zavrnejo.

Kaj to pomeni, če uvajate LLM v EU

1. Varnost testirajte v vsakem jeziku, v katerem uvajate sistem. Rezultati iz angleščine se ne prenesejo, vrstni red modelov pa se od jezika do jezika spreminja.
2. Glejte najšibkejši jezik, ne povprečja. Povprečje po jezikih skrije jezike z najmanj viri, kjer je tveganje največje.
3. Merite zavrnitve in škodo. Ali model zavrne in kako škodljiv je njegov izhod, se lahko razhaja, zlasti v jezikih z malo viri.
4. Jezike, ki jih kartica modela ne navaja, obravnavajte kot visoko tvegane. Vendar ne predpostavljajte, da so navedeni jeziki varni.
5. Zaščitne ukrepe dodajte tam, kjer so najbolj potrebni. V jezikih z najmanj viri je morda potrebno dodatno varnostno učenje ali vhodni filter.

Ta benchmark je raziskovalni projekt. Vrednotenja za naše stranke gradimo okoli posameznega sistema: njegovih primerov uporabe, modela groženj in jezikov, v katerih pišejo njegovi uporabniki, pri čemer izhajamo iz tega, kar se naučimo iz raziskav, kot je ta. Pogovorimo se o vašem.