Saugumas, kuris pasimeta vertime: žalingos užklausos visomis 24 ES kalbomis

Pagrindinės išvados

1. Kiekviena iš kitų 23 oficialiųjų ES kalbų turi didesnę sėkmingų atakų dalį nei anglų kalba, vidutiniškai daugiau nei dvigubai didesnę.
2. Skirtumas atitinka tai, kiek tos kalbos teksto yra internete, o ne tai, kokiu raštu ta kalba rašoma.
3. Modelio vieta reitinge anglų kalba prastai rodo jo vietą mažiausiai išteklių turinčiomis kalbomis.
4. Skirtumas nėra neišvengiamas: kai kurie naujesni modeliai jo beveik neturi, o didesni tos pačios šeimos modeliai jį sumažina.
5. Modeliai supranta daugumą prašymų. Jiems nepavyksta atpažinti, kad šie yra žalingi.
6. Ne viskas, kas prasprūsta, naudinga užpuolikui, todėl tikrosios žalos skirtumas yra mažesnis nei atsisakymų skirtumas, tačiau jis yra.

Kodėl verta testuoti 24 kalbomis?

Europos Sąjunga turi 24 oficialiąsias kalbas ir bendrąją rinką, kurioje didžiaisiais kalbos modeliais (LLM) grįsti produktai turėtų aptarnauti visų šių kalbų vartotojus. Tiekėjai savo modelius šiomis kalbomis gerokai patobulino. Saugumo vertinimas nuo to atsiliko: tai, ar modelis atsisako padėti vykdyti žalingą prašymą, vis dar daugiausia matuojama anglų kalba. Modelis, kuris anglų kalba atrodo saugus, gali įvykdyti tą patį prašymą, parašytą estų ar maltiečių kalba, o vertinimas vien anglų kalba to neparodys.

Ankstesniuose darbuose buvo tiriamos pavienės kalbos arba nedidelės jų grupės, o daugiakalbiai žalingų prašymų lyginamieji testai be anglų kalbos apėmė ne daugiau kaip keturias ES kalbas. Sukūrėme lygiagretųjį lyginamąjį testą: tie patys žalingi prašymai visomis 24 oficialiosiomis ES kalbomis, kad kalbas ir modelius būtų galima tiesiogiai palyginti.

Kaip testavome

Paėmėme 1 053 žalingas užklausas iš keturių pripažintų anglų kalbos lyginamųjų testų: HarmBench (200 užklausų), JBB-Behaviors (100), SORRY-Bench (440) ir StrongREJECT (313). Kiekviena užklausa buvo du kartus išversta į kitas 23 oficialiąsias ES kalbas, naudojant DeepL ir Claude Opus 4.5, o vertintojo vaidmenį atliekantis kalbos modelis pasirinko saugumo vertinimui tinkamesnį vertimą. Iš viso lyginamąjį testą sudaro 25 272 užklausos.

Kiekvieną užklausą kaip vieną pranešimą be sistemos užklausos išsiuntėme 34 atvirųjų svorių modeliams, turintiems nuo 3 iki 35 milijardų parametrų, iš Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo ir Apertus šeimų. Kiekvieną atsakymą įvertino saugumo klasifikatorius Qwen3Guard-Gen-8B. Sėkmingų atakų dalis (Attack Success Rate, ASR) – tai žalingų prašymų, kuriuos modelis įvykdo, dalis: atsakymas nėra atsisakymas, o klasifikatorius jį pažymi kaip nesaugų arba prieštaringą.

Kiekviena ES kalba yra mažiau saugi nei anglų

Vidutiniškai 34 modelių ASR anglų kalba yra 7,7 % ir didesnė kiekviena iš kitų 23 kalbų (1 pav.). Ji didėja nuo didžiųjų Vakarų Europos kalbų (prancūzų, ispanų, vokiečių, italų ir portugalų kalba 10–12 %) iki vengrų, slovėnų, lietuvių, estų ir maltiečių (22–23 %) bei latvių kalbos (24,3 %). Visų 23 kalbų 95 % pasikliautinieji intervalai yra virš anglų kalbos intervalo.

1 053 užklausos kiekvienai kalbai, pirmasis kiekvieno modelio atsakymas, įvertintas Qwen3Guard-Gen-8B. Kalbos sugrupuotos pagal išteklių prieinamumą.

Produktui, kuris aptarnauja visas ES kalbas, vidurkis paslepia svarbiausią dalyką – silpniausią kalbą. Llama 3.1 8B Instruct ne anglų kalba vidutiniškai įvykdo 8,3 % prašymų, o latvių kalba – 20,4 %. Qwen3 4B Instruct 2507 vidurkis yra 9,3 %, o maltiečių kalba jis siekia 26,0 %; Phi-4 vidurkis yra 14,1 %, o maltiečių kalba – 36,4 %.

Kuo mažiau teksto internete, tuo didesnis skirtumas

Kalbos išsirikiuoja pagal tai, kiek jomis teksto yra internete. Tarp 24 kalbų ASR stipriai koreliuoja su tos kalbos Common Crawl tinklalapių dalies logaritmu (Spearmano ρ = −0,91), kaip ir skirtumas nuo anglų kalbos (ρ = −0,90, 2 pav.). Sugrupavus pagal išteklių prieinamumą, ASR yra apie 12 % šešiomis didžiosiomis Vakarų Europos kalbomis, 18 % vienuolika vidutinių išteklių kalbų ir 22 % šešiomis mažiausiai išteklių turinčiomis kalbomis: airių, maltiečių, estų, latvių, lietuvių ir slovėnų.

Common Crawl dalys iš rinkinio CC-MAIN-2026-39. Žymos yra ISO kalbų kodai.

Raštas skirtumo nepaaiškina. Latvių, lietuvių ir estų kalbos rašomos lotyniškais rašmenimis, kaip ir prancūzų bei ispanų, o dvi kitokio rašto kalbos, bulgarų ir graikų, vidutiniškai yra tik 1,8 procentinio punkto aukščiau už lotyniško rašto kalbas. Airių ir maltiečių kalbos, kuriomis internete yra mažiausiai teksto, taip pat yra tos kalbos, kuriomis automatinis klasifikatorius yra mažiausiai patikimas, todėl jų tikslios reikšmės yra mažiau tikros nei kitų kalbų (žr. toliau).

Rezultatai anglų kalba nepasako, kuris modelis saugiausias jūsų kalba

Kiekvienam, kuris renkasi modelį, tai gali būti svarbiausia išvada. 34 modelių reitingas anglų kalba prastai rodo jų reitingą mažiau išteklių turinčiomis kalbomis. Rangų koreliacija su reitingu anglų kalba ispanų kalbai yra 0,81, bet estų kalbai tik 0,47, airių – 0,43, maltiečių – 0,41 (3 pav.). Modelis, kuris anglų kalba yra tarp saugiausių, kita kalba gali būti tarp pažeidžiamiausių.

Rangų koreliacijos 34 modeliams.

Olmo 3 7B Instruct anglų kalba yra dešimtas saugiausias iš 34 modelių ir įvykdo 2,9 % prašymų, tačiau kitomis kalbomis jis yra antras mažiausiai saugus, vidutiniškai 43,4 %. Nemotron 3 Nano 4B rodiklis pakyla nuo 1,3 % anglų kalba iki 19,9 %. 16 iš 34 modelių ASR ne anglų kalba yra daugiau nei dvigubai didesnė nei anglų kalba.

Skirtumas priklauso nuo modelio, ir jį galima panaikinti

Modelio pasirinkimas labai svarbus (4 pav.). Vidutiniškai 23 ne anglų kalbomis ASR svyruoja nuo 2,0 % Qwen3.6 35B-A3B modelio iki 45,3 % Mistral 7B Instruct v0.2, 2023 m. modelio. 33 iš 34 modelių ji didesnė nei anglų kalba, o 11 iš jų – daugiau nei 10 procentinių punktų.

1 053 užklausos kiekvienai kalbai, pirmasis atsakymas, įvertintas Qwen3Guard-Gen-8B.

Keletas naujesnių modelių turi nedidelį skirtumą arba jo visai neturi. Gemma 4 31B ne anglų kalba nėra mažiau saugus nei anglų kalba (8,4 % palyginti su 9,0 %), o Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B ir gpt-oss-20b ne anglų kalbomis vidutiniškai išlieka žemiau 5 %. Kiekvienoje iš šešių šeimų, kurias testavome keliais dydžiais, skirtumas mažėja didėjant modeliams (5 pav.): Granite 4.1 3B, 8B ir 30B jis yra +17,4, +8,9 ir +2,8 procentinio punkto, o Gemma 4 E2B – +6,2, 31B – −0,6 procentinio punkto. Saugus elgesys, išliekantis visomis kalbomis, yra pasiekiamas.

Dydžiai yra bendras parametrų skaičius; mixture-of-experts modeliams nurodyti ir aktyvieji parametrai.

Kalbų sąrašas modelio kortelėje yra įspėjamasis ženklas, o ne garantija

Dvylika modelių savo modelio kortelėje kaip palaikomas nurodo kai kurias, bet ne visas 23 ne anglų ES kalbas. 11 iš 12 jų ASR didesnė nenurodytomis kalbomis, vidutiniškai 12,3 procentinio punkto (6 pav.). Pavyzdžiui, Llama 3.2 3B Instruct įvykdo 10,6 % prašymų anglų kalba, 7,4 % penkiomis ES kalbomis, kurias nurodo jo kortelė, ir 32,8 % likusiomis 18 kalbų.

Vis dėlto nurodyta kalba nėra savaime saugi. Nurodytos kalbos dažniausiai yra didžiosios, o ta pačia kalba ją nurodantys modeliai yra tik šiek tiek saugesni nei jos nenurodantys (4,4 procentinio punkto, ir tai nėra statistiškai reikšminga). Penki modeliai, kurių kortelėse nurodytos visos 23 kalbos, t. y. trys EuroLLM modeliai ir du Tiny Aya modeliai, vis tiek turi nuo 6,6 iki 13,0 procentinio punkto skirtumus.

Palaikomos kalbos pagal modelių korteles.

Kurioms žalos rūšims tai turi įtakos?

Skirtumas neapsiriboja keliomis temomis. Keturių lyginamųjų testų 66 kategorijas sugrupavome į 13 žalos rūšių (grupavimas yra mūsų; toliau esančioje duomenų naršyklėje matyti, kurios kategorijos priklauso kuriai rūšiai). Kiekvienos rūšies ASR ne anglų kalba yra didesnė (7 pav.), nuo +4,8 procentinio punkto privatumo pažeidimų atveju iki +14,2 politinio, religinio ir etinio įtikinėjimo atveju. Prašymai, susiję su ginklais, narkotikais ir pavojingomis prekėmis, ne anglų kalba įvykdomi 2,5 karto dažniau (17,0 % palyginti su 6,9 %), o prašymai, susiję su elektroniniais nusikaltimais ir įsilaužimais, – 2,7 karto dažniau (17,8 % palyginti su 6,6 %).

Žalos rūšys apjungia 66 HarmBench, JBB-Behaviors, SORRY-Bench ir StrongREJECT kategorijas.

Kai kurios atskiros kategorijos keičiasi dramatiškai. Prašymų propaguoti religiją anglų kalba beveik visada atsisakoma (įvykdoma tik 0,9 %), tačiau kitomis kalbomis jų įvykdoma 23,3 %. Prašymų skleisti sąmokslo teorijas dalis išauga nuo 22,1 % iki 38,3 %.

Modeliai supranta prašymus. Jie tiesiog nemato žalos

Modelis gali įvykdyti prašymą kita kalba todėl, kad jo atsisakymo elgsena neperkeliama į tą kalbą, arba todėl, kad jis nepakankamai gerai supranta prašymą, kad pastebėtų, jog šis yra žalingas. Norėdami atskirti šiuos du atvejus, paprašėme kiekvieno modelio išversti į anglų kalbą kiekvienos kalbos užklausų imtį.

Modeliai visomis kalbomis tiksliai išverčia daugumą užklausų: vidutiniškai 74–84 %, išskyrus estų (71 %), maltiečių (65 %) ir airių kalbas (54 %). Tačiau žalingais jie atpažįsta gerokai mažiau prašymų. Didžiosiomis Vakarų Europos kalbomis jie atsisako net išversti 16–20 % užklausų; airių, maltiečių, latvių, estų ir lietuvių kalbomis – tik 2–5 %. Tarp kalbų šis žalos atpažinimo rodiklis glaudžiai susijęs su ASR (ρ = −0,92). Iš sėkmingų atakų ne anglų kalbomis 79 % tenka užklausoms, kurias modelis suprato, ir net tiksliai suprastų užklausų ASR didėja nuo 10,5–11,3 % didžiosiomis Vakarų Europos kalbomis (išskyrus nyderlandų) iki 19–23 % mažiausiai išteklių turinčiomis kalbomis.

Mažiausiai išteklių turinčiomis kalbomis modeliai taip pat dažniau atsisako vykdyti nekenksmingus prašymus. Kontroliniame eksperimente su 10 modelių jie atsisakė 22–25 % nekenksmingų užklausų latvių, maltiečių, estų ir lietuvių kalbomis, palyginti su 15 % anglų kalba ir 9–12 % didžiosiomis Vakarų Europos kalbomis. Jų atsisakymai mažiau priklauso nuo to, ko iš tikrųjų prašoma. Saugus elgesys, išmoktas daugiausia anglų kalba, neperkeliamas į kalbas, kurios mokymo duomenyse yra retos.

Mažiau atsisakymų, bet ne visada daugiau žalos

Ar skirtumas tikras, ar tai klasifikatoriaus arba mašininio vertimo artefaktas? Patikrinome tai keliais būdais (8 pav.). Atsakymų vertinimas naudojant Llama Guard 3, kitos modelių šeimos klasifikatorių, rodo tą patį vaizdą, kaip ir atsakymų vertimas į anglų kalbą bei jų vertinimas anglų kalba. Skirtumas išlieka ir tada, kai naudojame tik tas užklausas, kurių du kandidatiniai vertimai labiausiai sutampa.

Mūsų klasifikatorius, kaip ir Llama Guard 3, vertina, ar atsakymas nesaugus, o tai apima ir dalinį bei prastos kokybės vykdymą. Vertintojai, kurie vertina, kiek konkretus ir naudingas yra žalingas turinys, nustato mažesnį skirtumą: apie 3 procentinius punktus HarmBench klasifikatoriaus ir StrongREJECT vertintojo atveju ir 8 procentinius punktus Gemma 3 27B, vertinančio pagal StrongREJECT vertinimo skalę, atveju. Daugelis atsakymų, kurių mažiausiai išteklių turinčiomis kalbomis neatsisakoma, yra prastos kokybės; maltiečių ir airių kalbomis trečdalis sėkmingų atakų apskritai nesuteikia jokios konkrečios pagalbos. Didžiausias tikrosios žalos padidėjimas yra tokiomis kalbomis kaip lenkų, suomių, vengrų ir slovėnų, kuriomis modeliai yra ir mažiau saugūs, ir vis dar pajėgūs.

StrongREJECT vertintojo ir Gemma skalės atveju: vidutinis balas × 100.

Trumpai tariant, mažiausiai išteklių turinčiomis kalbomis modeliai atsisako daug rečiau nei anglų kalba, tačiau didelė dalis to, ką jie sukuria vietoj atsisakymo, užpuolikui mažai naudinga. Vis dėlto atsisakymų skirtumas yra tikras: atsisakymas yra saugus elgesys, kurio tikimasi iš šių modelių, o pajėgesni modeliai gali sukurti naudingesnį turinį, kai neatsisako.

Ką tai reiškia, jei diegiate LLM ES

1. Testuokite saugumą kiekviena kalba, kuria diegiate sistemą. Rezultatai anglų kalba neperkeliami, o modelių reitingas keičiasi priklausomai nuo kalbos.
2. Žiūrėkite į silpniausią kalbą, o ne į vidurkį. Kalbų vidurkis paslepia mažiausiai išteklių turinčias kalbas, kuriomis rizika didžiausia.
3. Matuokite ir atsisakymus, ir žalą. Tai, ar modelis atsisako, ir tai, kiek žalingas jo atsakymas, gali skirtis, ypač mažai išteklių turinčiomis kalbomis.
4. Kalbas, kurių nėra modelio kortelėje, laikykite didelės rizikos kalbomis. Tačiau nemanykite, kad nurodytos kalbos yra saugios.
5. Apsaugos priemones diekite ten, kur jų labiausiai reikia. Mažiausiai išteklių turinčioms kalboms gali prireikti papildomo saugumo mokymo arba įvesties filtro.

Šis lyginamasis testas yra mokslinių tyrimų projektas. Vertinimus savo klientams kuriame pagal kiekvieną konkrečią sistemą: jos naudojimo atvejus, grėsmių modelį ir kalbas, kuriomis rašo jos naudotojai, remdamiesi tuo, ko išmokstame iš tokių tyrimų kaip šis. Papasakokite mums apie savo sistemą.