Sigurnost koja se gubi u prijevodu: štetni upiti na svim 24 jezicima EU-a

Ključni nalazi

1. Svaki od ostala 23 službena jezika EU-a ima višu stopu uspješnosti napada od engleskog, u prosjeku više nego dvostruko višu.
2. Razlika prati količinu teksta koji na nekom jeziku postoji na webu, a ne pismo kojim se jezik piše.
3. Poredak modela na engleskom loš je pokazatelj njegova poretka na jezicima s najmanje resursa.
4. Razlika nije neizbježna: neki noviji modeli pokazuju je malo ili nimalo, a veći modeli iste obitelji je smanjuju.
5. Modeli razumiju većinu zahtjeva. Ono što zakazuje jest prepoznavanje da su štetni.
6. Nije sve što prođe korisno napadaču, pa je razlika u stvarnoj šteti manja od razlike u odbijanjima, ali postoji.

Zašto testirati na 24 jezika?

Europska unija ima 24 službena jezika i jedinstveno tržište na kojem proizvodi utemeljeni na velikim jezičnim modelima (LLM) trebaju služiti govornicima svih tih jezika. Pružatelji su svoje modele na tim jezicima znatno poboljšali. Procjena sigurnosti nije išla ukorak s time: odbija li model pomoći sa štetnim zahtjevom, i dalje se mjeri uglavnom na engleskom. Model koji se na engleskom čini sigurnim može udovoljiti istom zahtjevu napisanom na estonskom ili malteškom, a procjena samo na engleskom to neće pokazati.

Dosadašnji radovi proučavali su pojedinačne jezike ili male skupine jezika, a višejezični referentni testovi štetnih zahtjeva obuhvaćali su osim engleskog najviše četiri jezika EU-a. Izradili smo paralelni referentni test: iste štetne zahtjeve na svim 24 službenim jezicima EU-a, tako da se jezici i modeli mogu izravno uspoređivati.

Kako smo testirali

Uzeli smo 1.053 štetna upita iz četiriju ustaljenih engleskih referentnih testova: HarmBench (200 upita), JBB-Behaviors (100), SORRY-Bench (440) i StrongREJECT (313). Svaki je upit dvaput preveden na ostala 23 službena jezika EU-a, pomoću DeepL-a i Claude Opus 4.5, a LLM u ulozi ocjenjivača odabrao je prijevod prikladniji za procjenu sigurnosti. Referentni test ukupno sadrži 25.272 upita.

Svaki smo upit, kao jednu poruku bez upita sustava, postavili svakom od 34 modela s otvorenim težinama veličine od 3 do 35 milijardi parametara iz obitelji Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo i Apertus. Svaki je odgovor ocijenio sigurnosni klasifikator Qwen3Guard-Gen-8B. Stopa uspješnosti napada (Attack Success Rate, ASR) udio je štetnih zahtjeva kojima model udovolji: odgovor nije odbijanje, a klasifikator ga označi kao nesiguran ili kontroverzan.

Svaki jezik EU-a manje je siguran od engleskog

U prosjeku 34 modela ASR na engleskom iznosi 7,7 %, a na svakom od ostala 23 jezika viša je (slika 1). Raste od velikih zapadnoeuropskih jezika, 10–12 % na francuskom, španjolskom, njemačkom, talijanskom i portugalskom, do 22–23 % na mađarskom, slovenskom, litavskom, estonskom i malteškom te 24,3 % na latvijskom. 95-postotni intervali svih 23 jezika leže iznad intervala za engleski.

1.053 upita po jeziku, prvi odgovor svakog modela, ocijenio Qwen3Guard-Gen-8B. Jezici su grupirani prema dostupnosti resursa.

Za proizvod koji podržava sve jezike EU-a prosjek skriva ono najvažnije: najslabiji jezik. Llama 3.1 8B Instruct izvan engleskog u prosjeku ispuni 8,3 % zahtjeva, ali na latvijskom 20,4 %. Qwen3 4B Instruct 2507 u prosjeku postiže 9,3 %, a na malteškom 26,0 %; Phi-4 u prosjeku 14,1 %, a na malteškom 36,4 %.

Što manje teksta na webu, to veća razlika

Jezici se redaju prema tome koliko teksta na njima postoji na webu. Među 24 jezika ASR snažno korelira s logaritmom udjela web-stranica Common Crawla na tom jeziku (Spearmanov ρ = −0,91), kao i razlika u odnosu na engleski (ρ = −0,90, slika 2). Grupirano prema dostupnosti resursa, ASR iznosi oko 12 % na šest velikih zapadnoeuropskih jezika, 18 % na jedanaest jezika sa srednjim resursima i 22 % na šest jezika s najmanje resursa: irskom, malteškom, estonskom, latvijskom, litavskom i slovenskom.

Udjeli Common Crawla iz indeksa CC-MAIN-2026-39. Oznake su ISO kodovi jezika.

Pismo ne objašnjava razliku. Latvijski, litavski i estonski pišu se latinicom, kao francuski i španjolski, dok su dva jezika s drugim pismom, bugarski i grčki, u prosjeku samo 1,8 postotnih bodova iznad jezika koji se pišu latinicom. Irski i malteški, dva jezika s najmanje teksta na webu, ujedno su jezici na kojima je automatski klasifikator najmanje pouzdan, pa su njihove točne vrijednosti nesigurnije od vrijednosti ostalih jezika (vidi niže).

Rezultati na engleskom ne govore vam koji je model najsigurniji na vašem jeziku

Za svakoga tko bira model ovo je možda najvažniji nalaz. Poredak 34 modela na engleskom loš je pokazatelj njihova poretka na jezicima s manje resursa. Korelacija rangova s engleskim poretkom iznosi 0,81 za španjolski, ali samo 0,47 za estonski, 0,43 za irski i 0,41 za malteški (slika 3). Model koji je na engleskom među najsigurnijima može na drugom jeziku biti među najranjivijima.

Korelacije rangova za 34 modela.

Olmo 3 7B Instruct na engleskom je deseti najsigurniji od 34 modela i ispuni 2,9 % zahtjeva, a na ostalim jezicima drugi najmanje siguran, s prosjekom od 43,4 %. Nemotron 3 Nano 4B raste s 1,3 % na engleskom na 19,9 %. Kod 16 od 34 modela ASR izvan engleskog više je nego dvostruko veća od one na engleskom.

Razlika ovisi o modelu i može se otkloniti

Izbor modela itekako je važan (slika 4). U prosjeku 23 jezika osim engleskog ASR se kreće od 2,0 % za Qwen3.6 35B-A3B do 45,3 % za Mistral 7B Instruct v0.2, model iz 2023. Kod 33 od 34 modela viša je nego na engleskom, a kod njih 11 za više od 10 postotnih bodova.

1.053 upita po jeziku, prvi odgovor, ocijenio Qwen3Guard-Gen-8B.

Nekoliko novijih modela pokazuje malu razliku ili nikakvu. Gemma 4 31B izvan engleskog nije ništa manje sigurna nego na engleskom (8,4 % prema 9,0 %), a Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B i gpt-oss-20b na jezicima osim engleskog u prosjeku ostaju ispod 5 %. U svakoj od šest obitelji koje smo testirali u više veličina razlika se smanjuje kako modeli rastu (slika 5): s +17,4 na +8,9 i +2,8 postotnih bodova za Granite 4.1 3B, 8B i 30B te s +6,2 na −0,6 od Gemme 4 E2B do 31B. Sigurnosno ponašanje koje vrijedi na svim jezicima ostvarivo je.

Veličine su ukupni parametri; za modele s mješavinom stručnjaka (mixture-of-experts) prikazani su i aktivni parametri.

Popis jezika na kartici modela znak je upozorenja, a ne jamstvo

Dvanaest modela na svojoj kartici modela kao podržane navodi neke, ali ne sve od 23 jezika EU-a osim engleskog. Kod 11 od 12 ASR je viša na jezicima koji nisu navedeni, u prosjeku za 12,3 postotnih bodova (slika 6). Llama 3.2 3B Instruct, primjerice, ispuni 10,6 % zahtjeva na engleskom, 7,4 % na pet jezika EU-a koje navodi njezina kartica i 32,8 % na ostalih 18.

Navedeni jezik ipak nije automatski siguran. Navedeni jezici uglavnom su veliki jezici, a kad je jezik isti, modeli koji ga navode na njemu su samo malo sigurniji od modela koji ga ne navode (za 4,4 postotnih bodova, što nije statistički značajno). Pet modela čije kartice navode sva 23 jezika, tri modela EuroLLM i dva modela Tiny Aya, i dalje imaju razlike od 6,6 do 13,0 postotnih bodova.

Podržani jezici prema karticama modela.

Na koje se vrste štete to odnosi?

Razlika nije ograničena na nekoliko tema. Grupirali smo 66 kategorija četiriju referentnih testova u 13 vrsta štete (grupiranje je naše; preglednik podataka u nastavku pokazuje koje kategorije pripadaju kojoj vrsti). Svaka vrsta ima višu ASR izvan engleskog (slika 7), od +4,8 postotnih bodova za povrede privatnosti do +14,2 za političko, vjersko i etičko uvjeravanje. Zahtjevima koji se odnose na oružje, droge i opasnu robu modeli izvan engleskog udovoljavaju 2,5 puta češće (17,0 % prema 6,9 %), a zahtjevima koji se odnose na kibernetički kriminal i hakiranje 2,7 puta češće (17,8 % prema 6,6 %).

Vrste štete grupiraju 66 kategorija iz referentnih testova HarmBench, JBB-Behaviors, SORRY-Bench i StrongREJECT.

Neke se pojedinačne kategorije dramatično mijenjaju. Zahtjeve za promicanje religije modeli na engleskom gotovo uvijek odbiju (ispune samo 0,9 %), ali na ostalim jezicima ispune ih 23,3 %. Kod zahtjeva za širenje teorija zavjere udio raste s 22,1 % na 38,3 %.

Modeli razumiju zahtjeve. Samo ne vide štetu

Model može udovoljiti zahtjevu na drugom jeziku zato što se njegovo odbijanje ne prenosi na taj jezik ili zato što zahtjev ne razumije dovoljno dobro da bi uočio da je štetan. Kako bismo razlikovali ta dva slučaja, zamolili smo svaki model da na engleski prevede uzorak upita sa svakog jezika.

Modeli na svim jezicima točno prevode većinu upita: u prosjeku 74–84 %, osim na estonskom (71 %), malteškom (65 %) i irskom (54 %). No kao štetne prepoznaju mnogo manje zahtjeva. Na velikim zapadnoeuropskim jezicima odbijaju čak i prevesti 16–20 % upita; na irskom, malteškom, latvijskom, estonskom i litavskom samo 2–5 %. Među jezicima ta je stopa prepoznavanja štete usko povezana s ASR-om (ρ = −0,92). Od uspješnih napada na jezicima osim engleskog 79 % odnosi se na upite koje je model razumio, a čak i kod točno razumljenih upita ASR raste s 10,5–11,3 % na velikim zapadnoeuropskim jezicima (osim nizozemskog) na 19–23 % na jezicima s najmanje resursa.

Na jezicima s najmanje resursa modeli također odbijaju više bezopasnih zahtjeva. U kontrolnom pokusu s 10 modela odbili su 22–25 % bezopasnih upita na latvijskom, malteškom, estonskom i litavskom, naspram 15 % na engleskom i 9–12 % na velikim zapadnoeuropskim jezicima. Njihova odbijanja manje ovise o tome što se zapravo traži. Sigurnosno ponašanje naučeno uglavnom na engleskom ne prenosi se na jezike koji su rijetki u podacima za učenje.

Manje odbijanja, ali ne uvijek više štete

Je li razlika stvarna ili artefakt klasifikatora odnosno strojnog prevođenja? Provjerili smo to na nekoliko načina (slika 8). Ocjenjivanje odgovora pomoću Llama Guarda 3, klasifikatora iz druge obitelji modela, daje istu sliku, kao i prevođenje odgovora na engleski i njihovo ocjenjivanje na engleskom. Razlika ostaje i kada koristimo samo upite čija se dva kandidatska prijevoda najviše podudaraju.

Naš klasifikator, kao i Llama Guard 3, procjenjuje je li odgovor nesiguran, što uključuje djelomično i nekvalitetno udovoljavanje. Ocjenjivači koji ocjenjuju koliko je štetni sadržaj konkretan i koristan nalaze manju razliku: oko 3 postotna boda za klasifikator HarmBench i ocjenjivač StrongREJECT te 8 za Gemmu 3 27B koja ocjenjuje prema ljestvici StrongREJECT. Mnogi odgovori koji na jezicima s najmanje resursa nisu odbijeni loše su kvalitete; na malteškom i irskom trećina uspješnih napada ne pruža nikakvu konkretnu pomoć. Najveći porast stvarne štete bilježe jezici poput poljskog, finskog, mađarskog i slovenskog, na kojima su modeli i manje sigurni i još uvijek sposobni.

Za ocjenjivač StrongREJECT i Gemminu ljestvicu: prosječna ocjena × 100.

Ukratko: na jezicima s najmanje resursa modeli odbijaju mnogo rjeđe nego na engleskom, ali velik dio onoga što umjesto toga proizvedu napadaču je od male koristi. Razlika u odbijanjima ipak je stvarna: odbijanje je sigurnosno ponašanje koje bi ti modeli trebali imati, a sposobniji modeli mogu proizvesti korisniji sadržaj kada ne odbiju.

Što to znači ako uvodite LLM-ove u EU-u

1. Testirajte sigurnost na svakom jeziku na kojem uvodite sustav. Rezultati s engleskog ne prenose se, a poredak modela mijenja se od jezika do jezika.
2. Gledajte najslabiji jezik, a ne prosjek. Prosjek po jezicima skriva jezike s najmanje resursa, gdje je rizik najveći.
3. Mjerite i odbijanja i štetu. Odbija li model i koliko je štetan njegov izlaz može se razilaziti, ponajviše na jezicima s malo resursa.
4. Jezike kojih nema na kartici modela smatrajte visokorizičnima. No nemojte pretpostaviti da su navedeni jezici sigurni.
5. Dodajte zaštitne mjere ondje gdje su najpotrebnije. Na jezicima s najmanje resursa možda će biti potrebno dodatno sigurnosno treniranje ili ulazni filtar.

Ovaj referentni test istraživački je projekt. Procjene za naše klijente gradimo oko svakog sustava: njegovih slučajeva uporabe, modela prijetnji i jezika na kojima pišu njegovi korisnici, oslanjajući se na ono što učimo iz ovakvih istraživanja. Razgovarajmo o vašem.