Turvalisus, mis tõlkes kaduma läheb: kahjulikud viibad kõigis 24 ELi keeles

7,7%kahjulikest päringutest täidetakse inglise keeles, 34 mudeli keskmine

17,3%täidetakse keskmiselt ülejäänud 23 ELi keeles

24,3%läti keeles, kõrgeim kõigist 24 keelest

33/34mudelit on väljaspool inglise keelt vähem turvalised

Peamised tulemused

Kõigis ülejäänud 23 ELi ametlikus keeles on rünnakute õnnestumismäär kõrgem kui inglise keeles, keskmiselt üle kahe korra kõrgem.
Erinevus järgib seda, kui palju teksti selles keeles veebis leidub, mitte seda, millises kirjas keelt kirjutatakse.
Mudeli koht ingliskeelses pingereas on halb juhis selle kohta, milline on tema koht kõige väiksema ressursiga keeltes.
Erinevus ei ole vältimatu: mõnel uuemal mudelil on see väike või puudub üldse ning sama mudelipere suuremad mudelid vähendavad seda.
Mudelid mõistavad enamikku päringutest. Neil ebaõnnestub nende kahjulikuks tunnistamine.
Kõik, mis läbi pääseb, ei ole ründajale kasulik, seega on erinevus tegelikus kahjus väiksem kui erinevus keeldumistes, kuid see on olemas.

Miks testida 24 keeles?

Euroopa Liidul on 24 ametlikku keelt ja ühtne turg, kus suurtel keelemudelitel (LLM) põhinevad tooted peaksid teenindama kõigi nende keelte kõnelejaid. Pakkujad on oma mudeleid nendes keeltes märkimisväärselt parandanud. Turvalisuse hindamine ei ole sellega sammu pidanud: seda, kas mudel keeldub kahjuliku päringu korral abistamast, mõõdetakse endiselt peamiselt inglise keeles. Mudel, mis tundub inglise keeles turvaline, võib täita sama päringu, kui see on kirjutatud eesti või malta keeles, ja ainult ingliskeelne hindamine seda ei näita.

Varasemad tööd on uurinud üksikuid keeli või väikesi keelerühmi ning kahjulike päringute mitmekeelsed võrdlustestid on hõlmanud lisaks inglise keelele kõige rohkem nelja ELi keelt. Koostasime paralleelse võrdlustesti: samad kahjulikud päringud kõigis 24 ELi ametlikus keeles, et keeli ja mudeleid saaks otse võrrelda.

Kuidas me testisime

Võtsime 1053 kahjulikku viipa neljast väljakujunenud ingliskeelsest võrdlustestist: HarmBench (200 viipa), JBB-Behaviors (100), SORRY-Bench (440) ja StrongREJECT (313). Iga viip tõlgiti ülejäänud 23 ELi ametlikku keelde kaks korda, DeepLi ja Claude Opus 4.5-ga, ning hindaja rollis olnud keelemudel valis turvalisuse hindamiseks sobivama tõlke. Kokku on võrdlustestis 25 272 viipa.

Saatsime iga viiba ühe sõnumina ilma süsteemiviibata 34 avatud kaaludega mudelile, mille suurus on 3–35 miljardit parameetrit ja mis kuuluvad mudeliperedesse Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo ja Apertus. Iga vastust hindas turvalisusklassifikaator Qwen3Guard-Gen-8B. Rünnakute õnnestumismäär (Attack Success Rate, ASR) on nende kahjulike päringute osakaal, mida mudel täidab: vastus ei ole keeldumine ja klassifikaator märgib selle ohtlikuks või vastuoluliseks.

Iga ELi keel on inglise keelest vähem turvaline

34 mudeli keskmisena on ASR inglise keeles 7,7% ja kõrgem igas ülejäänud 23 keeles (joonis 1). See tõuseb suurtest Lääne-Euroopa keeltest (prantsuse, hispaania, saksa, itaalia ja portugali keeles 10–12%) ungari, sloveeni, leedu, eesti ja malta keeleni (22–23%) ning läti keeleni (24,3%). Kõigi 23 keele 95% usaldusvahemikud jäävad inglise keele usaldusvahemikust kõrgemale.

Joonis 1. Rünnakute õnnestumismäär keelte kaupa Täidetud kahjulike päringute osakaal, 34 mudeli keskmine. Peened jooned näitavad 95% bootstrap-usaldusvahemikke.

1053 viipa keele kohta, iga mudeli esimene vastus, hindajaks Qwen3Guard-Gen-8B. Keeled on rühmitatud ressursside kättesaadavuse järgi.

Toote puhul, mis teenindab kõiki ELi keeli, varjab keskmine kõige olulisemat: kõige nõrgemat keelt. Llama 3.1 8B Instruct täidab väljaspool inglise keelt keskmiselt 8,3% päringutest, läti keeles aga 20,4%. Qwen3 4B Instruct 2507 keskmine on 9,3% ja malta keeles 26,0%; Phi-4 keskmine on 14,1% ja malta keeles 36,4%.

Mida vähem teksti veebis, seda suurem erinevus

Keeled järjestuvad selle järgi, kui palju neis veebis teksti leidub. Kõigi 24 keele lõikes on ASR tugevas korrelatsioonis vastavas keeles olevate Common Crawli veebilehtede osakaalu logaritmiga (Spearmani ρ = −0,91) ning sama kehtib erinevuse kohta inglise keelega (ρ = −0,90, joonis 2). Ressursside kättesaadavuse järgi rühmitatuna on ASR umbes 12% kuues suures Lääne-Euroopa keeles, 18% üheteistkümnes keskmise ressursiga keeles ja 22% kuues kõige väiksema ressursiga keeles, milleks on iiri, malta, eesti, läti, leedu ja sloveeni keel.

Joonis 2. Erinevus inglise keelega võrreldes veebiteksti hulgaga Iga punkt on keel: mitu protsendipunkti on selle keele rünnakute õnnestumismäär inglise keele omast kõrgem, võrreldes keele osakaaluga Common Crawli veebilehtedes (logaritmiline skaala).

Common Crawli osakaalud indeksist CC-MAIN-2026-39. Sildid on ISO keelekoodid.

Kiri erinevust ei selgita. Läti, leedu ja eesti keelt kirjutatakse ladina kirjas nagu prantsuse ja hispaania keeltki, samas kui kaks muu kirjaga keelt, bulgaaria ja kreeka keel, on keskmiselt vaid 1,8 protsendipunkti võrra kõrgemal kui ladina kirjaga keeled. Iiri ja malta keel, kaks keelt, milles on veebis kõige vähem teksti, on ühtlasi keeled, milles automaatne klassifikaator on kõige vähem usaldusväärne, mistõttu on nende täpsed väärtused ebakindlamad kui teiste keelte omad (vt allpool).

Ingliskeelsed tulemused ei ütle teile, milline mudel on teie keeles kõige turvalisem

Mudelit valivale inimesele võib see olla kõige olulisem tulemus. 34 mudeli pingerida inglise keeles on halb juhis selle kohta, milline on nende pingerida väiksema ressursiga keeltes. Astakkorrelatsioon ingliskeelse pingereaga on hispaania keele puhul 0,81, kuid eesti keele puhul vaid 0,47, iiri keele puhul 0,43 ja malta keele puhul 0,41 (joonis 3). Mudel, mis on inglise keeles kõige turvalisemate seas, võib teises keeles olla kõige haavatavamate seas.

Joonis 3. Kui hästi ennustab mudelite ingliskeelne pingerida nende pingerida igas keeles Spearmani korrelatsioon 34 mudeli rünnakute õnnestumismäära järgi koostatud pingeridade vahel inglise keeles ja igas teises keeles. Väärtus 1 tähendaks sama järjestust.

Astakkorrelatsioonid 34 mudeli lõikes.

Olmo 3 7B Instruct on inglise keeles 34 mudelist turvalisuselt kümnes ja täidab 2,9% päringutest, kuid teistes keeltes on see eelviimane, keskmiselt 43,4%. Nemotron 3 Nano 4B puhul tõuseb määr inglise keele 1,3% pealt 19,9% peale. 16 mudelil 34-st on ASR väljaspool inglise keelt üle kahe korra kõrgem kui inglise keeles.

Erinevus sõltub mudelist ja selle saab kõrvaldada

Mudeli valik on väga oluline (joonis 4). 23 mitteingliskeelse keele keskmisena ulatub ASR mudeli Qwen3.6 35B-A3B 2,0%-st kuni 2023. aasta mudeli Mistral 7B Instruct v0.2 45,3%-ni. 33 mudelil 34-st on see kõrgem kui inglise keeles ja neist 11 puhul rohkem kui 10 protsendipunkti võrra.

Joonis 4. Iga mudeli rünnakute õnnestumismäär inglise keeles ja ülejäänud 23 keeles Mudelid on järjestatud 23 mitteingliskeelse keele keskmise järgi. Romb tähistab iga mudeli kõige nõrgemat keelt.

1053 viipa keele kohta, esimene vastus, hindajaks Qwen3Guard-Gen-8B.

Mitmel uuemal mudelil on erinevus väike või puudub üldse. Gemma 4 31B ei ole väljaspool inglise keelt vähem turvaline kui inglise keeles (8,4% vs. 9,0%) ning Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B ja gpt-oss-20b jäävad mitteingliskeelsetes keeltes keskmiselt alla 5%. Kõigis kuues mudeliperes, mida testisime mitmes suuruses, erinevus mudelite kasvades väheneb (joonis 5): Granite 4.1 3B, 8B ja 30B puhul on see +17,4, +8,9 ja +2,8 protsendipunkti ning Gemma 4 E2B puhul +6,2 ja 31B puhul −0,6 protsendipunkti. Kõigis keeltes kehtiv turvaline käitumine on saavutatav.

Joonis 5. Sama mudelipere suurematel mudelitel on erinevus väiksem Erinevus 23 mitteingliskeelse keele keskmise ja inglise keele vahel protsendipunktides mudeliperede puhul, mida testiti mitmes suuruses.

Suurused on parameetrite koguarvud; mixture-of-experts-mudelite puhul on näidatud ka aktiivsed parameetrid.

Mudelikaardi keeleloend on hoiatusmärk, mitte garantii

Kaksteist mudelit loetlevad oma mudelikaardil toetatud keeltena mõnda, kuid mitte kõiki 23 mitteingliskeelsest ELi keelest. Neist 12 mudelist 11 puhul on ASR kõrgem keeltes, mida ei ole loetletud, keskmiselt 12,3 protsendipunkti võrra (joonis 6). Näiteks Llama 3.2 3B Instruct täidab inglise keeles 10,6% päringutest, viies tema kaardil loetletud ELi keeles 7,4% ja ülejäänud 18 keeles 32,8%.

Loetletud keel ei ole siiski automaatselt turvaline. Loetletud keeled on enamasti suured keeled ning sama keele puhul on seda loetlevad mudelid selles vaid veidi turvalisemad kui mudelid, mis seda ei loetle (4,4 protsendipunkti, mis ei ole statistiliselt oluline). Viiel mudelil, mille kaardid loetlevad kõiki 23 keelt, st kolmel EuroLLMi mudelil ja kahel Tiny Aya mudelil, on erinevus ikkagi 6,6–13,0 protsendipunkti.

Joonis 6. Rünnakute õnnestumismäär ELi keeltes, mida mudelikaart loetleb toetatud keeltena, ja keeltes, mida see ei loetle Kaksteist mudelit, mille kaart loetleb mõnda, kuid mitte kõiki 23 mitteingliskeelsest ELi keelest.

Toetatud keeled mudelikaartide järgi.

Milliseid kahjuliike see puudutab?

Erinevus ei piirdu mõne teemaga. Rühmitasime nelja võrdlustesti 66 kategooriat 13 kahjuliiki (rühmitus on meie oma; allolev interaktiivne tööriist näitab, millised kategooriad millisesse liiki kuuluvad). Igal liigil on ASR väljaspool inglise keelt kõrgem (joonis 7), alates privaatsuse rikkumiste +4,8 protsendipunktist kuni poliitilise, religioosse ja eetilise mõjutamise +14,2 protsendipunktini. Relvade, uimastite ja ohtlike kaupadega seotud päringuid täidetakse väljaspool inglise keelt 2,5 korda sagedamini (17,0% vs. 6,9%) ning küberkuritegevuse ja häkkimisega seotud päringuid 2,7 korda sagedamini (17,8% vs. 6,6%).

Joonis 7. Rünnakute õnnestumismäär kahjuliigi kaupa Inglise keel ja ülejäänud 23 keele keskmine kõigi 34 mudeli lõikes.

Kahjuliigid rühmitavad HarmBenchi, JBB-Behaviorsi, SORRY-Benchi ja StrongREJECTi 66 kategooriat.

Mõni üksik kategooria muutub dramaatiliselt. Religiooni propageerimise päringutest keelduvad mudelid inglise keeles peaaegu alati (täidetakse vaid 0,9%), teistes keeltes täidetakse aga 23,3% neist. Vandenõuteooriate levitamise päringute puhul tõuseb osakaal 22,1%-lt 38,3%-le.

Mudelid mõistavad päringuid. Nad lihtsalt ei näe kahju

Mudel võib täita päringu teises keeles kas seetõttu, et tema keeldumiskäitumine ei kandu sellesse keelde üle, või seetõttu, et ta ei mõista päringut piisavalt hästi, et märgata selle kahjulikkust. Nende kahe juhtumi eristamiseks palusime igal mudelil tõlkida igast keelest valimi viipadest inglise keelde.

Mudelid tõlgivad enamiku viipadest kõigis keeltes täpselt: keskmiselt 74–84%, välja arvatud eesti (71%), malta (65%) ja iiri keeles (54%). Kahjulikuna tunnevad nad aga ära palju vähem päringuid. Suurtes Lääne-Euroopa keeltes keelduvad nad isegi tõlkimast 16–20% viipadest; iiri, malta, läti, eesti ja leedu keeles vaid 2–5%. Keelte lõikes on see kahju äratundmise määr tihedalt seotud ASR-iga (ρ = −0,92). Mitteingliskeelsete keelte õnnestunud rünnakutest 79% on seotud viipadega, mida mudel mõistis, ja isegi täpselt mõistetud viipade puhul tõuseb ASR suurte Lääne-Euroopa keelte (v.a hollandi keel) 10,5–11,3%-lt kõige väiksema ressursiga keelte 19–23%-ni.

Kõige väiksema ressursiga keeltes keelduvad mudelid ka rohkematest kahjututest päringutest. Kontrollkatses 10 mudeliga keeldusid nad läti, malta, eesti ja leedu keeles 22–25% kahjututest viipadest, võrreldes 15%-ga inglise keeles ja 9–12%-ga suurtes Lääne-Euroopa keeltes. Nende keeldumised sõltuvad vähem sellest, mida tegelikult küsitakse. Peamiselt inglise keeles õpitud turvaline käitumine ei kandu üle keeltesse, mis on treeningandmetes haruldased.

Vähem keeldumisi, kuid mitte alati rohkem kahju

Kas erinevus on tegelik või klassifikaatori või masintõlke artefakt? Kontrollisime seda mitmel viisil (joonis 8). Vastuste hindamine Llama Guard 3-ga, mis on teise mudelipere klassifikaator, annab sama pildi, nagu ka vastuste tõlkimine inglise keelde ja nende hindamine seal. Erinevus säilib ka siis, kui kasutame ainult viipasid, mille kaks kandidaattõlget kattuvad kõige paremini.

Meie klassifikaator, nagu ka Llama Guard 3, hindab, kas vastus on ohtlik, mis hõlmab ka osalist ja madala kvaliteediga täitmist. Hindajad, kes hindavad, kui konkreetne ja kasulik kahjulik sisu on, leiavad väiksema erinevuse: umbes 3 protsendipunkti HarmBenchi klassifikaatori ja StrongREJECTi hindaja puhul ning 8 protsendipunkti StrongREJECTi hindamisskaalaga hindava Gemma 3 27B puhul. Paljud vastused, millest kõige väiksema ressursiga keeltes ei keelduta, on madala kvaliteediga; malta ja iiri keeles ei paku kolmandik õnnestunud rünnakutest üldse konkreetset abi. Tegelik kahju kasvab kõige rohkem sellistes keeltes nagu poola, soome, ungari ja sloveeni, kus mudelid on korraga vähem turvalised ja endiselt võimekad.

Joonis 8. Keeltevaheline erinevus eri hindajate puhul Rünnakute õnnestumismäär inglise keeles ja ülejäänud 23 keele keskmisena 16 320 vastusest koosneval valideerimisvalimil. Ohtliku sisu hindajad arvestavad ka osalist ja madala kvaliteediga täitmist; tegeliku kahju hindajad hindavad, kui kasulik oleks sisu ründajale.

StrongREJECTi hindaja ja Gemma skaala puhul: keskmine skoor × 100.

Lühidalt: kõige väiksema ressursiga keeltes keelduvad mudelid palju harvemini kui inglise keeles, kuid suur osa sellest, mida nad selle asemel toodavad, on ründajale vähese väärtusega. Erinevus keeldumistes on sellegipoolest tegelik: keeldumine on turvaline käitumine, mida neilt mudelitelt oodatakse, ja võimekamad mudelid võivad keeldumata jätmisel luua kasulikumat sisu.

Mida see tähendab, kui võtate ELis kasutusele LLM-e

Testige turvalisust igas keeles, milles süsteemi kasutusele võtate. Ingliskeelsed tulemused ei kandu üle ja mudelite pingerida muutub keeleti.
Vaadake kõige nõrgemat keelt, mitte keskmist. Keelte keskmine varjab kõige väiksema ressursiga keeli, kus risk on suurim.
Mõõtke nii keeldumisi kui ka kahju. See, kas mudel keeldub, ja see, kui kahjulik on tema väljund, võivad lahkneda, eriti vähese ressursiga keeltes.
Käsitlege mudelikaardilt puuduvaid keeli kõrge riskiga keeltena. Ärge aga eeldage, et loetletud keeled on turvalised.
Lisage kaitsemeetmeid sinna, kus neid kõige rohkem vaja on. Kõige väiksema ressursiga keeltes võib olla vaja täiendavat turvalisuskoolitust või sisendfiltrit.

See võrdlustest on teadusprojekt. Meie klientide hindamised ehitame üles iga süsteemi ümber: selle kasutusjuhtude, ohumudeli ja keelte põhjal, milles selle kasutajad kirjutavad, tuginedes sellele, mida sellistest uuringutest õpime. Rääkige meile oma süsteemist.