Säkerhet som går förlorad i översättningen: skadliga promptar på alla 24 EU-språk

Viktigaste resultaten

1. Vart och ett av de övriga 23 officiella EU-språken har en högre andel lyckade attacker än engelskan, i snitt mer än dubbelt så hög.
2. Skillnaden följer hur mycket text som finns på språket på webben, inte vilket alfabet språket skrivs med.
3. En modells placering på engelska är en dålig vägledning till dess placering på de mest resurssvaga språken.
4. Skillnaden är inte oundviklig: vissa nyare modeller har liten eller ingen skillnad, och större modeller i samma familj minskar den.
5. Modellerna förstår de flesta förfrågningarna. Det som brister är att de inte känner igen dem som skadliga.
6. Allt som slinker igenom är inte användbart för en angripare, så skillnaden i verklig skada är mindre än skillnaden i avvisningar, men den finns.

Varför testa på 24 språk?

Europeiska unionen har 24 officiella språk och en inre marknad där produkter som bygger på stora språkmodeller (LLM:er) förväntas betjäna talare av alla dessa språk. Leverantörerna har gjort sina modeller mycket bättre på de här språken. Säkerhetsutvärderingen har inte hängt med: om en modell avböjer att hjälpa till med en skadlig förfrågan mäts fortfarande mest på engelska. En modell som verkar säker på engelska kan tillmötesgå samma förfrågan skriven på estniska eller maltesiska, och en utvärdering enbart på engelska visar inte det.

Tidigare arbeten har studerat enskilda språk eller små grupper av språk, och flerspråkiga benchmarkar med skadliga förfrågningar har täckt högst fyra EU-språk utöver engelska. Vi byggde en parallell benchmark: samma skadliga förfrågningar på alla 24 officiella EU-språk, så att språk och modeller kan jämföras direkt.

Så testade vi

Vi tog 1 053 skadliga promptar från fyra etablerade engelska benchmarkar: HarmBench (200 promptar), JBB-Behaviors (100), SORRY-Bench (440) och StrongREJECT (313). Varje prompt översattes till de övriga 23 officiella EU-språken två gånger, med DeepL och med Claude Opus 4.5, och en LLM i rollen som bedömare valde den översättning som lämpade sig bäst för säkerhetsutvärdering. Totalt innehåller benchmarken 25 272 promptar.

Vi skickade varje prompt som ett enda meddelande utan systemprompt till 34 modeller med öppna vikter och 3 till 35 miljarder parametrar, från familjerna Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo och Apertus. En säkerhetsklassificerare, Qwen3Guard-Gen-8B, bedömde varje svar. Andelen lyckade attacker (Attack Success Rate, ASR) är andelen skadliga förfrågningar som en modell tillmötesgår: svaret är ingen avvisning, och klassificeraren märker det som osäkert eller kontroversiellt.

Varje EU-språk är mindre säkert än engelska

I snitt över de 34 modellerna är ASR 7,7 % på engelska och högre på vart och ett av de övriga 23 språken (figur 1). Den stiger från de stora västeuropeiska språken, 10–12 % på franska, spanska, tyska, italienska och portugisiska, till 22–23 % på ungerska, slovenska, litauiska, estniska och maltesiska och 24,3 % på lettiska. 95-procentsintervallen för alla 23 språk ligger över intervallet för engelska.

1 053 promptar per språk, varje modells första svar, bedömt av Qwen3Guard-Gen-8B. Språken är grupperade efter resurstillgång.

För en produkt som betjänar alla EU-språk döljer genomsnittet det som betyder mest: det svagaste språket. Llama 3.1 8B Instruct tillmötesgår i snitt 8,3 % av förfrågningarna utanför engelskan, men 20,4 % på lettiska. Qwen3 4B Instruct 2507 ligger i snitt på 9,3 % och når 26,0 % på maltesiska; Phi-4 ligger i snitt på 14,1 % och når 36,4 % på maltesiska.

Ju mindre webbtext, desto större skillnad

Språken ordnar sig efter hur mycket text som finns på dem på webben. Över de 24 språken är ASR starkt korrelerad med logaritmen av andelen Common Crawl-webbsidor på språket (Spearmans ρ = −0,91), och detsamma gäller skillnaden mot engelska (ρ = −0,90, figur 2). Grupperat efter resurstillgång är ASR omkring 12 % på de sex stora västeuropeiska språken, 18 % på de elva språken med medelstora resurser och 22 % på de sex mest resurssvaga språken: iriska, maltesiska, estniska, lettiska, litauiska och slovenska.

Common Crawl-andelar från genomsökningen CC-MAIN-2026-39. Etiketterna är ISO-språkkoder.

Alfabetet förklarar inte skillnaden. Lettiska, litauiska och estniska skrivs med latinska alfabetet, liksom franska och spanska, medan de två språken med andra skriftsystem, bulgariska och grekiska, i snitt bara ligger 1,8 procentenheter över språken med latinska alfabetet. Iriska och maltesiska, de två språken med minst webbtext, är också de språk där den automatiska klassificeraren är minst tillförlitlig, så deras exakta värden är osäkrare än de övriga språkens (se nedan).

Engelska resultat säger inte vilken modell som är säkrast på ditt språk

För den som väljer modell kan detta vara det viktigaste resultatet. Hur de 34 modellerna rankas på engelska är en dålig vägledning till hur de rankas på de mer resurssvaga språken. Rangkorrelationen med den engelska rankningen är 0,81 för spanska, men bara 0,47 för estniska, 0,43 för iriska och 0,41 för maltesiska (figur 3). En modell som hör till de säkraste på engelska kan höra till de mest sårbara på ett annat språk.

Rangkorrelationer över de 34 modellerna.

Olmo 3 7B Instruct är den tionde säkraste av de 34 modellerna på engelska och tillmötesgår 2,9 % av förfrågningarna, men den näst minst säkra på de övriga språken, med 43,4 % i snitt. Nemotron 3 Nano 4B går från 1,3 % på engelska till 19,9 %. För 16 av de 34 modellerna är ASR utanför engelskan mer än dubbelt så hög som på engelska.

Skillnaden beror på modellen, och den går att stänga

Modellvalet spelar stor roll (figur 4). I snitt över de 23 icke-engelska språken varierar ASR från 2,0 % för Qwen3.6 35B-A3B till 45,3 % för Mistral 7B Instruct v0.2, en modell från 2023. För 33 av de 34 modellerna är den högre än på engelska, och för 11 av dem med mer än 10 procentenheter.

1 053 promptar per språk, första svaret, bedömt av Qwen3Guard-Gen-8B.

Flera nyare modeller har små skillnader eller inga alls. Gemma 4 31B är inte mindre säker utanför engelskan än på engelska (8,4 % mot 9,0 %), och Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B och gpt-oss-20b ligger i snitt under 5 % på de icke-engelska språken. Inom var och en av de sex familjer som vi testade i mer än en storlek krymper skillnaden när modellerna blir större (figur 5): från +17,4 till +8,9 och +2,8 procentenheter för Granite 4.1 3B, 8B och 30B, och från +6,2 till −0,6 från Gemma 4 E2B till 31B. Säkerhetsbeteende som håller på alla språk är möjligt att uppnå.

Storlekarna anger totalt antal parametrar; för mixture-of-experts-modeller visas även de aktiva parametrarna.

Modellkortets språklista är en varningssignal, inte en garanti

Tolv av modellerna anger några, men inte alla, av de 23 icke-engelska EU-språken som stödda på sina modellkort. För 11 av de 12 är ASR högre på de språk som inte anges, i snitt med 12,3 procentenheter (figur 6). Llama 3.2 3B Instruct tillmötesgår till exempel 10,6 % av förfrågningarna på engelska, 7,4 % på de fem EU-språk som dess kort anger och 32,8 % på de övriga 18.

Ett angivet språk är ändå inte automatiskt säkert. De angivna språken är mest de stora, och för ett och samma språk är modeller som anger det bara något säkrare på det än modeller som inte gör det (med 4,4 procentenheter, vilket inte är statistiskt signifikant). De fem modeller vars kort anger alla 23 språk, de tre EuroLLM-modellerna och de två Tiny Aya-modellerna, har ändå skillnader på 6,6 till 13,0 procentenheter.

Stödda språk enligt modellkorten.

Vilka typer av skada påverkas?

Skillnaden är inte begränsad till några få ämnen. Vi grupperade de fyra benchmarkarnas 66 kategorier i 13 skadetyper (grupperingen är vår; datautforskaren nedan visar vilka kategorier som hör till vilken typ). Varje typ har högre ASR utanför engelskan (figur 7), från +4,8 procentenheter för integritetsintrång till +14,2 för politisk, religiös och etisk påverkan. Förfrågningar om vapen, droger och farliga varor tillmötesgås 2,5 gånger så ofta utanför engelskan (17,0 % mot 6,9 %), och förfrågningar om it-brottslighet och hackning 2,7 gånger så ofta (17,8 % mot 6,6 %).

Skadetyperna grupperar de 66 kategorierna i HarmBench, JBB-Behaviors, SORRY-Bench och StrongREJECT.

Vissa enskilda kategorier förändras dramatiskt. Förfrågningar om att främja en religion avvisas nästan alltid på engelska (bara 0,9 % tillmötesgås), men tillmötesgås i 23,3 % av fallen på de övriga språken. Förfrågningar om att sprida konspirationsteorier stiger från 22,1 % till 38,3 %.

Modellerna förstår förfrågningarna. De ser bara inte skadan

En modell kan tillmötesgå en förfrågan på ett annat språk för att dess avvisande beteende inte följer med till det språket, eller för att den inte förstår förfrågan tillräckligt väl för att se att den är skadlig. För att skilja de två åt bad vi varje modell att översätta ett urval av promptarna från varje språk till engelska.

Modellerna översätter de flesta promptar korrekt på alla språk: 74–84 % i snitt, utom på estniska (71 %), maltesiska (65 %) och iriska (54 %). Men de känner igen betydligt färre förfrågningar som skadliga. På de stora västeuropeiska språken vägrar de till och med att översätta 16–20 % av promptarna; på iriska, maltesiska, lettiska, estniska och litauiska bara 2–5 %. Mellan språken hänger denna andel igenkänd skada nära samman med ASR (ρ = −0,92). Av de lyckade attackerna på de icke-engelska språken gäller 79 % promptar som modellen förstod, och även bland korrekt förstådda promptar stiger ASR från 10,5–11,3 % på de stora västeuropeiska språken (utom nederländska) till 19–23 % på de mest resurssvaga.

På de mest resurssvaga språken avvisar modellerna också fler harmlösa förfrågningar. I ett kontrollexperiment med 10 av modellerna avvisade de 22–25 % av harmlösa promptar på lettiska, maltesiska, estniska och litauiska, mot 15 % på engelska och 9–12 % på de stora västeuropeiska språken. Deras avvisningar beror mindre på vad som faktiskt efterfrågas. Säkerhetsbeteende som främst lärts in på engelska överförs inte till språk som är ovanliga i träningsdatan.

Färre avvisningar, men inte alltid mer skada

Är skillnaden verklig, eller en artefakt av klassificeraren eller maskinöversättningen? Vi kontrollerade det på flera sätt (figur 8). Att bedöma svaren med Llama Guard 3, en klassificerare från en annan modellfamilj, ger samma bild, och det gör även att översätta svaren till engelska och bedöma dem där. Skillnaden kvarstår också när vi bara använder de promptar vars två kandidatöversättningar stämmer bäst överens.

Vår klassificerare bedömer, liksom Llama Guard 3, om ett svar är osäkert, vilket inkluderar partiellt och lågkvalitativt tillmötesgående. Bedömare som värderar hur specifikt och användbart det skadliga innehållet är finner en mindre skillnad: omkring 3 procentenheter för HarmBench-klassificeraren och StrongREJECT-bedömaren, och 8 för Gemma 3 27B som bedömer med StrongREJECT-bedömningsmallen. Många av de svar som inte avvisas på de mest resurssvaga språken håller låg kvalitet; på maltesiska och iriska ger en tredjedel av de lyckade attackerna ingen specifik hjälp alls. De största ökningarna av verklig skada finns på språk som polska, finska, ungerska och slovenska, där modellerna både är mindre säkra och fortfarande kapabla.

För StrongREJECT-bedömaren och Gemma-mallen: medelpoäng × 100.

Kort sagt: på de mest resurssvaga språken avvisar modellerna betydligt mer sällan än på engelska, men mycket av det de producerar i stället är till liten nytta för en angripare. Skillnaden i avvisningar är ändå verklig: att avvisa är det säkerhetsbeteende som modellerna är tänkta att ha, och mer kapabla modeller kan producera mer användbart innehåll när de inte avvisar.

Vad detta betyder om du driftsätter LLM:er i EU

1. Testa säkerheten på varje språk du driftsätter på. Engelska resultat går inte att överföra, och modellernas rangordning ändras från språk till språk.
2. Titta på det svagaste språket, inte på genomsnittet. Ett genomsnitt över språk döljer de mest resurssvaga språken, där risken är störst.
3. Mät både avvisningar och skada. Om en modell avvisar och hur skadligt dess svar är kan gå isär, mest av allt på resurssvaga språk.
4. Behandla språk som saknas i modellkortet som högrisk. Men utgå inte från att de angivna språken är säkra.
5. Lägg till skydd där de behövs mest. På de mest resurssvaga språken kan ytterligare säkerhetsträning eller ett indatafilter behövas.

Den här benchmarken är ett forskningsprojekt. Utvärderingar för våra kunder byggs kring varje system: dess användningsfall, dess hotmodell och de språk som dess användare skriver på, utifrån det vi lär oss av forskning som denna. Prata med oss om ditt.