Turvallisuus, joka katoaa käännöksessä: haitalliset kehotteet kaikilla 24 EU-kielellä

Keskeiset havainnot

1. Jokaisella muulla 23 EU:n virallisella kielellä hyökkäysten onnistumisaste on korkeampi kuin englanniksi, keskimäärin yli kaksinkertainen.
2. Ero seuraa sitä, kuinka paljon kielellä on tekstiä verkossa, ei sitä, millä kirjaimistolla kieltä kirjoitetaan.
3. Mallin sijoitus englanniksi kertoo huonosti sen sijoituksesta vähäresurssisimmilla kielillä.
4. Ero ei ole väistämätön: joissakin uudemmissa malleissa sitä on vähän tai ei lainkaan, ja saman malliperheen suuremmat mallit kaventavat sitä.
5. Mallit ymmärtävät useimmat pyynnöt. Ne eivät vain tunnista niitä haitallisiksi.
6. Kaikki läpi päässyt ei ole hyökkääjälle hyödyllistä, joten todellisen haitan ero on pienempi kuin kieltäytymisten ero, mutta se on olemassa.

Miksi testata 24 kielellä?

Euroopan unionilla on 24 virallista kieltä ja yhtenäiset sisämarkkinat, joilla suurten kielimallien (LLM) varaan rakennettujen tuotteiden odotetaan palvelevan kaikkien näiden kielten puhujia. Mallien tarjoajat ovat parantaneet mallejaan näillä kielillä huomattavasti. Turvallisuusarviointi ei ole pysynyt perässä: sitä, kieltäytyykö malli auttamasta haitallisessa pyynnössä, mitataan yhä enimmäkseen englanniksi. Englanniksi turvalliselta näyttävä malli voi täyttää saman pyynnön viroksi tai maltaksi kirjoitettuna, eikä pelkästään englanniksi tehty arviointi paljasta sitä.

Aiemmat tutkimukset ovat tarkastelleet yksittäisiä kieliä tai pieniä kieliryhmiä, ja haitallisten pyyntöjen monikieliset vertailutestit ovat kattaneet englannin lisäksi enintään neljä EU-kieltä. Rakensimme rinnakkaisen vertailutestin: samat haitalliset pyynnöt kaikilla 24 EU:n virallisella kielellä, jotta kieliä ja malleja voi verrata suoraan.

Näin testasimme

Otimme 1 053 haitallista kehotetta neljästä vakiintuneesta englanninkielisestä vertailutestistä: HarmBench (200 kehotetta), JBB-Behaviors (100), SORRY-Bench (440) ja StrongREJECT (313). Jokainen kehote käännettiin muille 23 EU:n viralliselle kielelle kahdesti, DeepL:llä ja Claude Opus 4.5:llä, ja arvioijana toiminut kielimalli valitsi turvallisuusarviointiin paremmin sopivan käännöksen. Vertailutestissä on kaikkiaan 25 272 kehotetta.

Lähetimme jokaisen kehotteen yhtenä viestinä ilman järjestelmäkehotetta 34 avoimien painojen mallille, joiden koko on 3–35 miljardia parametria ja jotka kuuluvat malliperheisiin Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo ja Apertus. Jokaisen vastauksen arvioi turvallisuusluokitin Qwen3Guard-Gen-8B. Hyökkäysten onnistumisaste (Attack Success Rate, ASR) on niiden haitallisten pyyntöjen osuus, jotka malli täyttää: vastaus ei ole kieltäytyminen, ja luokitin merkitsee sen vaaralliseksi tai kiistanalaiseksi.

Jokainen EU-kieli on englantia turvattomampi

34 mallin keskiarvona ASR on englanniksi 7,7 % ja korkeampi jokaisella muulla 23 kielellä (kuva 1). Se nousee suurista länsieurooppalaisista kielistä, ranskasta, espanjasta, saksasta, italiasta ja portugalista (10–12 %), unkariin, sloveeniin, liettuaan, viroon ja maltaan (22–23 %) ja latviaan (24,3 %). Kaikkien 23 kielen 95 %:n luottamusvälit ovat englannin luottamusvälin yläpuolella.

1 053 kehotetta kieltä kohden, kunkin mallin ensimmäinen vastaus, arvioijana Qwen3Guard-Gen-8B. Kielet on ryhmitelty resurssien saatavuuden mukaan.

Tuotteessa, joka palvelee kaikkia EU-kieliä, keskiarvo kätkee tärkeimmän: heikoimman kielen. Llama 3.1 8B Instruct täyttää englannin ulkopuolella keskimäärin 8,3 % pyynnöistä mutta latviaksi 20,4 %. Qwen3 4B Instruct 2507:n keskiarvo on 9,3 % ja maltaksi 26,0 %; Phi-4:n keskiarvo on 14,1 % ja maltaksi 36,4 %.

Mitä vähemmän tekstiä verkossa, sitä suurempi ero

Kielet asettuvat järjestykseen sen mukaan, kuinka paljon niillä on tekstiä verkossa. 24 kielen joukossa ASR korreloi vahvasti kunkin kielen Common Crawl -verkkosivujen osuuden logaritmin kanssa (Spearmanin ρ = −0,91), ja samoin ero englantiin (ρ = −0,90, kuva 2). Resurssien saatavuuden mukaan ryhmiteltynä ASR on noin 12 % kuudella suurella länsieurooppalaisella kielellä, 18 % yhdellätoista keskiresurssisella kielellä ja 22 % kuudella vähäresurssisimmalla kielellä, joita ovat iiri, malta, viro, latvia, liettua ja sloveeni.

Common Crawl -osuudet indeksoinnista CC-MAIN-2026-39. Tunnisteet ovat ISO-kielikoodeja.

Kirjaimisto ei selitä eroa. Latviaa, liettuaa ja viroa kirjoitetaan latinalaisilla kirjaimilla, kuten ranskaa ja espanjaa, kun taas kaksi muuta kirjaimistoa käyttävää kieltä, bulgaria ja kreikka, ovat keskimäärin vain 1,8 prosenttiyksikköä latinalaisia kirjaimia käyttävien kielten yläpuolella. Iiri ja malta, kaksi kieltä, joilla on vähiten tekstiä verkossa, ovat myös kielet, joilla automaattinen luokitin on epäluotettavin, joten niiden tarkat arvot ovat epävarmempia kuin muiden kielten (ks. alla).

Englanninkieliset tulokset eivät kerro, mikä malli on turvallisin sinun kielelläsi

Mallia valitsevalle tämä voi olla tärkein havainto. Se, miten 34 mallia sijoittuvat englanniksi, kertoo huonosti, miten ne sijoittuvat vähäresurssisemmilla kielillä. Järjestyskorrelaatio englannin järjestyksen kanssa on espanjalle 0,81, mutta virolle vain 0,47, iirille 0,43 ja maltalle 0,41 (kuva 3). Malli, joka on englanniksi turvallisimpien joukossa, voi olla toisella kielellä haavoittuvimpien joukossa.

Järjestyskorrelaatiot 34 mallin yli.

Olmo 3 7B Instruct on englanniksi 34 mallista kymmenenneksi turvallisin ja täyttää 2,9 % pyynnöistä, mutta muilla kielillä se on toiseksi turvattomin keskiarvolla 43,4 %. Nemotron 3 Nano 4B nousee englannin 1,3 %:sta 19,9 %:iin. 16 mallilla 34:stä ASR on englannin ulkopuolella yli kaksinkertainen englantiin verrattuna.

Ero riippuu mallista, ja sen voi kuroa umpeen

Mallin valinnalla on suuri merkitys (kuva 4). 23 muun kuin englannin kielen keskiarvona ASR vaihtelee Qwen3.6 35B-A3B:n 2,0 %:sta vuoden 2023 mallin Mistral 7B Instruct v0.2:n 45,3 %:iin. 33 mallilla 34:stä se on korkeampi kuin englanniksi, ja niistä 11:llä yli 10 prosenttiyksikköä.

1 053 kehotetta kieltä kohden, ensimmäinen vastaus, arvioijana Qwen3Guard-Gen-8B.

Useissa uudemmissa malleissa ero on pieni tai sitä ei ole lainkaan. Gemma 4 31B ei ole englannin ulkopuolella yhtään turvattomampi kuin englanniksi (8,4 % vs. 9,0 %), ja Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B ja gpt-oss-20b pysyvät muilla kuin englannin kielellä keskimäärin alle 5 %:n. Jokaisessa kuudesta malliperheestä, joita testasimme useana kokona, ero pienenee mallien kasvaessa (kuva 5): Granite 4.1 3B:llä, 8B:llä ja 30B:llä se on +17,4, +8,9 ja +2,8 prosenttiyksikköä, Gemma 4 E2B:llä +6,2 ja 31B:llä −0,6 prosenttiyksikköä. Kaikilla kielillä pätevä turvallisuuskäyttäytyminen on saavutettavissa.

Koot ovat parametrien kokonaismääriä; mixture-of-experts-malleille näytetään myös aktiiviset parametrit.

Mallikortin kieliluettelo on varoitusmerkki, ei takuu

Kahdentoista mallin mallikortti mainitsee tuettuina osan 23 muusta EU-kielestä kuin englannista, mutta ei kaikkia. Näistä 12 mallista 11:llä ASR on korkeampi kielillä, joita ei mainita, keskimäärin 12,3 prosenttiyksikköä (kuva 6). Esimerkiksi Llama 3.2 3B Instruct täyttää englanniksi 10,6 % pyynnöistä, viidellä kortissaan mainitulla EU-kielellä 7,4 % ja muilla 18 kielellä 32,8 %.

Mainittu kieli ei silti ole automaattisesti turvallinen. Mainitut kielet ovat enimmäkseen suuria kieliä, ja saman kielen sisällä sen mainitsevat mallit ovat sillä vain hieman turvallisempia kuin mallit, jotka eivät sitä mainitse (4,4 prosenttiyksikköä, mikä ei ole tilastollisesti merkitsevä ero). Viidellä mallilla, joiden kortit mainitsevat kaikki 23 kieltä, eli kolmella EuroLLM-mallilla ja kahdella Tiny Aya -mallilla, on silti 6,6–13,0 prosenttiyksikön ero.

Tuetut kielet mallikorttien mukaan.

Mitä haittatyyppejä tämä koskee?

Ero ei rajoitu muutamaan aiheeseen. Ryhmittelimme neljän vertailutestin 66 kategoriaa 13 haittatyyppiin (ryhmittely on omamme; alla oleva tulosselain näyttää, mitkä kategoriat kuuluvat mihinkin tyyppiin). Jokaisella tyypillä ASR on englannin ulkopuolella korkeampi (kuva 7), yksityisyyden loukkausten +4,8 prosenttiyksiköstä poliittisen, uskonnollisen ja eettisen suostuttelun +14,2 prosenttiyksikköön. Aseisiin, huumeisiin ja vaarallisiin tuotteisiin liittyvät pyynnöt täytetään englannin ulkopuolella 2,5 kertaa niin usein (17,0 % vs. 6,9 %) ja tietoverkkorikollisuuteen ja hakkerointiin liittyvät pyynnöt 2,7 kertaa niin usein (17,8 % vs. 6,6 %).

Haittatyypit ryhmittelevät HarmBenchin, JBB-Behaviorsin, SORRY-Benchin ja StrongREJECTin 66 kategoriaa.

Jotkin yksittäiset kategoriat muuttuvat dramaattisesti. Uskonnon edistämistä koskevista pyynnöistä kieltäydytään englanniksi lähes aina (vain 0,9 % täytetään), mutta muilla kielillä niistä täytetään 23,3 %. Salaliittoteorioiden levittämistä koskevien pyyntöjen osuus nousee 22,1 %:sta 38,3 %:iin.

Mallit ymmärtävät pyynnöt. Ne eivät vain näe haittaa

Malli voi täyttää pyynnön toisella kielellä joko siksi, että sen kieltäytymiskäyttäytyminen ei siirry tälle kielelle, tai siksi, että se ei ymmärrä pyyntöä tarpeeksi hyvin huomatakseen sen haitallisuuden. Erottaaksemme nämä kaksi pyysimme jokaista mallia kääntämään otoksen kunkin kielen kehotteista englanniksi.

Mallit kääntävät useimmat kehotteet oikein kaikilla kielillä: keskimäärin 74–84 %, paitsi viroksi (71 %), maltaksi (65 %) ja iiriksi (54 %). Haitallisiksi ne kuitenkin tunnistavat paljon harvemmat pyynnöt. Suurilla länsieurooppalaisilla kielillä ne kieltäytyvät jopa kääntämästä 16–20 % kehotteista; iiriksi, maltaksi, latviaksi, viroksi ja liettuaksi vain 2–5 %. Kielten välillä tämä haitan tunnistamisen osuus on tiiviisti yhteydessä ASR:ään (ρ = −0,92). Muiden kuin englannin kielten onnistuneista hyökkäyksistä 79 % kohdistuu kehotteisiin, jotka malli ymmärsi, ja jopa oikein ymmärretyillä kehotteilla ASR nousee suurten länsieurooppalaisten kielten 10,5–11,3 %:sta (hollantia lukuun ottamatta) vähäresurssisimpien kielten 19–23 %:iin.

Vähäresurssisimmilla kielillä mallit kieltäytyvät myös useammista harmittomista pyynnöistä. Kymmenellä mallilla tehdyssä kontrollikokeessa ne kieltäytyivät 22–25 %:sta harmittomista kehotteista latviaksi, maltaksi, viroksi ja liettuaksi, kun englanniksi osuus oli 15 % ja suurilla länsieurooppalaisilla kielillä 9–12 %. Niiden kieltäytymiset riippuvat vähemmän siitä, mitä oikeasti pyydetään. Pääosin englanniksi opittu turvallisuuskäyttäytyminen ei siirry kielille, jotka ovat harvinaisia koulutusdatassa.

Vähemmän kieltäytymisiä, mutta ei aina enemmän haittaa

Onko ero todellinen vai luokittimen tai konekäännöksen aiheuttama artefakti? Tarkistimme sen usealla tavalla (kuva 8). Kun vastaukset arvioidaan Llama Guard 3:lla, joka on toisen malliperheen luokitin, kuva pysyy samana, ja niin käy myös, kun vastaukset käännetään englanniksi ja arvioidaan englanniksi. Ero säilyy myös silloin, kun käytämme vain kehotteita, joiden kaksi ehdokaskäännöstä vastaavat toisiaan parhaiten.

Luokittimemme, kuten Llama Guard 3, arvioi, onko vastaus vaarallinen, mikä kattaa myös osittaisen ja heikkolaatuisen myöntymisen. Arvioijat, jotka pisteyttävät, kuinka täsmällistä ja hyödyllistä haitallinen sisältö on, löytävät pienemmän eron: noin 3 prosenttiyksikköä HarmBench-luokittimella ja StrongREJECT-pisteyttäjällä sekä 8 prosenttiyksikköä StrongREJECT-arviointiasteikolla pisteyttävällä Gemma 3 27B:llä. Monet vastaukset, joista vähäresurssisimmilla kielillä ei kieltäydytä, ovat heikkolaatuisia; maltaksi ja iiriksi kolmannes onnistuneista hyökkäyksistä ei tarjoa lainkaan konkreettista apua. Todellinen haitta kasvaa eniten kielillä, kuten puola, suomi, unkari ja sloveeni, joilla mallit ovat sekä turvattomampia että yhä kyvykkäitä.

StrongREJECT-pisteyttäjälle ja Gemma-asteikolle: keskimääräinen pistemäärä × 100.

Lyhyesti: vähäresurssisimmilla kielillä mallit kieltäytyvät paljon harvemmin kuin englanniksi, mutta suuri osa siitä, mitä ne tuottavat sen sijaan, on hyökkääjälle vähäarvoista. Kieltäytymisten ero on silti todellinen: kieltäytyminen on se turvallisuuskäyttäytyminen, jota näiltä malleilta edellytetään, ja kyvykkäämmät mallit voivat tuottaa hyödyllisempää sisältöä, kun ne eivät kieltäydy.

Mitä tämä tarkoittaa, jos otat kielimalleja käyttöön EU:ssa

1. Testaa turvallisuus jokaisella kielellä, jolla otat järjestelmän käyttöön. Englanninkieliset tulokset eivät siirry muille kielille, ja mallien järjestys vaihtuu kielestä toiseen.
2. Katso heikointa kieltä, älä keskiarvoa. Kielten yli laskettu keskiarvo kätkee vähäresurssisimmat kielet, joilla riski on suurin.
3. Mittaa sekä kieltäytymisiä että haittaa. Se, kieltäytyykö malli, ja se, kuinka haitallinen sen tuotos on, voivat erota toisistaan, varsinkin vähäresurssisilla kielillä.
4. Pidä mallikortista puuttuvia kieliä korkean riskin kielinä. Älä kuitenkaan oleta, että mainitut kielet ovat turvallisia.
5. Lisää suojauksia sinne, missä niitä tarvitaan eniten. Vähäresurssisimmilla kielillä voidaan tarvita lisää turvallisuuskoulutusta tai syötesuodatin.

Tämä vertailutesti on tutkimushanke. Rakennamme asiakkaidemme arvioinnit kunkin järjestelmän ympärille: sen käyttötapausten, uhkamallin ja niiden kielten pohjalta, joilla sen käyttäjät kirjoittavat, ja hyödynnämme sitä, mitä opimme tämänkaltaisesta tutkimuksesta. Kerro meille omastasi.