Sikkerhed, der går tabt i oversættelsen: skadelige prompts på alle 24 EU-sprog

Vigtigste resultater

1. Hvert af de 23 øvrige officielle EU-sprog har en højere andel af vellykkede angreb end engelsk, i gennemsnit mere end dobbelt så høj.
2. Forskellen følger, hvor meget tekst der findes på sproget på nettet, ikke hvilket alfabet sproget skrives med.
3. En models placering på engelsk er en dårlig rettesnor for dens placering på sprogene med færrest ressourcer.
4. Forskellen er ikke uundgåelig: nogle nyere modeller har lille eller ingen forskel, og større modeller i samme familie mindsker den.
5. Modellerne forstår de fleste anmodninger. Det, der svigter, er at genkende dem som skadelige.
6. Ikke alt, der slipper igennem, er nyttigt for en angriber, så forskellen i reel skade er mindre end forskellen i afvisninger, men den er der.

Hvorfor teste på 24 sprog?

Den Europæiske Union har 24 officielle sprog og et indre marked, hvor produkter bygget på store sprogmodeller (LLM'er) forventes at betjene brugere på alle disse sprog. Udbyderne har gjort deres modeller meget bedre på disse sprog. Sikkerhedsevalueringen har ikke fulgt med: om en model afslår at hjælpe med en skadelig anmodning, måles stadig mest på engelsk. En model, der virker sikker på engelsk, kan efterkomme den samme anmodning skrevet på estisk eller maltesisk, og en evaluering kun på engelsk vil ikke vise det.

Tidligere arbejde har undersøgt enkelte sprog eller små grupper af sprog, og flersprogede benchmarks med skadelige anmodninger har dækket højst fire EU-sprog ud over engelsk. Vi byggede en parallel benchmark: de samme skadelige anmodninger på alle 24 officielle EU-sprog, så sprog og modeller kan sammenlignes direkte.

Sådan testede vi

Vi tog 1.053 skadelige prompts fra fire etablerede engelske benchmarks: HarmBench (200 prompts), JBB-Behaviors (100), SORRY-Bench (440) og StrongREJECT (313). Hver prompt blev oversat til de 23 øvrige officielle EU-sprog to gange, af DeepL og af Claude Opus 4.5, og en LLM i rollen som bedømmer valgte den oversættelse, der egnede sig bedst til sikkerhedsevaluering. I alt indeholder benchmarken 25.272 prompts.

Vi sendte hver prompt som en enkelt besked uden systemprompt til 34 modeller med åbne vægte og 3 til 35 milliarder parametre fra familierne Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo og Apertus. En sikkerhedsklassifikator, Qwen3Guard-Gen-8B, bedømte hvert svar. Andelen af vellykkede angreb (Attack Success Rate, ASR) er andelen af skadelige anmodninger, som en model efterkommer: svaret er ikke en afvisning, og klassifikatoren mærker det som usikkert eller kontroversielt.

Alle EU-sprog er mindre sikre end engelsk

I gennemsnit for de 34 modeller er ASR 7,7 % på engelsk og højere på hvert af de 23 øvrige sprog (figur 1). Den stiger fra de store vesteuropæiske sprog, 10–12 % på fransk, spansk, tysk, italiensk og portugisisk, til 22–23 % på ungarsk, slovensk, litauisk, estisk og maltesisk og 24,3 % på lettisk. 95 %-intervallerne for alle 23 sprog ligger over intervallet for engelsk.

1.053 prompts pr. sprog, hver models første svar, bedømt af Qwen3Guard-Gen-8B. Sprogene er grupperet efter ressourcer.

For et produkt, der betjener alle EU-sprog, skjuler gennemsnittet det, der betyder mest: det svageste sprog. Llama 3.1 8B Instruct efterkommer i gennemsnit 8,3 % af anmodningerne uden for engelsk, men 20,4 % på lettisk. Qwen3 4B Instruct 2507 ligger i gennemsnit på 9,3 % og når 26,0 % på maltesisk; Phi-4 ligger i gennemsnit på 14,1 % og når 36,4 % på maltesisk.

Jo mindre tekst på nettet, desto større forskel

Sprogene ordner sig efter, hvor meget tekst der findes på dem på nettet. På tværs af de 24 sprog er ASR stærkt korreleret med logaritmen af andelen af Common Crawl-websider på sproget (Spearmans ρ = −0,91), og det samme gælder forskellen til engelsk (ρ = −0,90, figur 2). Grupperet efter ressourcer er ASR omkring 12 % på de seks store vesteuropæiske sprog, 18 % på de elleve sprog med mellemstore ressourcer og 22 % på de seks sprog med færrest ressourcer: irsk, maltesisk, estisk, lettisk, litauisk og slovensk.

Common Crawl-andele fra crawlet CC-MAIN-2026-39. Etiketterne er ISO-sprogkoder.

Alfabetet forklarer ikke forskellen. Lettisk, litauisk og estisk skrives med det latinske alfabet, ligesom fransk og spansk, mens de to sprog med andre skriftsystemer, bulgarsk og græsk, i gennemsnit kun ligger 1,8 procentpoint over sprogene med latinsk alfabet. Irsk og maltesisk, de to sprog med mindst tekst på nettet, er også de sprog, hvor den automatiske klassifikator er mindst pålidelig, så deres præcise værdier er mere usikre end de øvrige sprogs (se nedenfor).

Resultater på engelsk fortæller dig ikke, hvilken model der er sikrest på dit sprog

For alle, der vælger en model, er dette måske det vigtigste resultat. Hvordan de 34 modeller placerer sig på engelsk, er en dårlig rettesnor for, hvordan de placerer sig på sprog med færre ressourcer. Rangkorrelationen med den engelske rangering er 0,81 for spansk, men kun 0,47 for estisk, 0,43 for irsk og 0,41 for maltesisk (figur 3). En model, der er blandt de sikreste på engelsk, kan være blandt de mest sårbare på et andet sprog.

Rangkorrelationer for de 34 modeller.

Olmo 3 7B Instruct er den tiende sikreste af de 34 modeller på engelsk og efterkommer 2,9 % af anmodningerne, men den næstmindst sikre på de øvrige sprog med 43,4 % i gennemsnit. Nemotron 3 Nano 4B går fra 1,3 % på engelsk til 19,9 %. For 16 af de 34 modeller er ASR uden for engelsk mere end dobbelt så høj som på engelsk.

Forskellen afhænger af modellen, og den kan lukkes

Valget af model betyder meget (figur 4). I gennemsnit for de 23 ikke-engelske sprog spænder ASR fra 2,0 % for Qwen3.6 35B-A3B til 45,3 % for Mistral 7B Instruct v0.2, en model fra 2023. For 33 af de 34 modeller er den højere end på engelsk, og for 11 af dem med mere end 10 procentpoint.

1.053 prompts pr. sprog, første svar, bedømt af Qwen3Guard-Gen-8B.

Flere nyere modeller har små eller ingen forskelle. Gemma 4 31B er ikke mindre sikker uden for engelsk end på engelsk (8,4 % mod 9,0 %), og Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B og gpt-oss-20b ligger i gennemsnit under 5 % på de ikke-engelske sprog. Inden for hver af de seks familier, som vi testede i mere end én størrelse, skrumper forskellen, når modellerne bliver større (figur 5): fra +17,4 til +8,9 og +2,8 procentpoint for Granite 4.1 3B, 8B og 30B og fra +6,2 til −0,6 fra Gemma 4 E2B til 31B. Sikkerhedsadfærd, der holder på alle sprog, er mulig at opnå.

Størrelserne er det samlede antal parametre; for mixture-of-experts-modeller vises også de aktive parametre.

Modelkortets sprogliste er et advarselstegn, ikke en garanti

Tolv af modellerne angiver nogle, men ikke alle, af de 23 ikke-engelske EU-sprog som understøttede på deres modelkort. For 11 af de 12 er ASR højere på de sprog, der ikke er angivet, i gennemsnit med 12,3 procentpoint (figur 6). Llama 3.2 3B Instruct efterkommer for eksempel 10,6 % af anmodningerne på engelsk, 7,4 % på de fem EU-sprog, som dens kort angiver, og 32,8 % på de øvrige 18.

Et angivet sprog er dog ikke automatisk sikkert. De angivne sprog er for det meste de store, og for det samme sprog er modeller, der angiver det, kun lidt sikrere på det end modeller, der ikke gør (med 4,4 procentpoint, hvilket ikke er statistisk signifikant). De fem modeller, hvis kort angiver alle 23 sprog, de tre EuroLLM-modeller og de to Tiny Aya-modeller, har stadig forskelle på 6,6 til 13,0 procentpoint.

Understøttede sprog som angivet på modelkortene.

Hvilke typer skade er berørt?

Forskellen er ikke begrænset til nogle få emner. Vi grupperede de 66 kategorier fra de fire benchmarks i 13 skadestyper (grupperingen er vores; dataudforskeren nedenfor viser, hvilke kategorier der hører til hvilken type). Alle typer har højere ASR uden for engelsk (figur 7), fra +4,8 procentpoint for krænkelser af privatlivet til +14,2 for politisk, religiøs og etisk påvirkning. Anmodninger om våben, stoffer og farlige varer efterkommes 2,5 gange så ofte uden for engelsk (17,0 % mod 6,9 %), og anmodninger om it-kriminalitet og hacking 2,7 gange så ofte (17,8 % mod 6,6 %).

Skadestyperne grupperer de 66 kategorier fra HarmBench, JBB-Behaviors, SORRY-Bench og StrongREJECT.

Nogle enkelte kategorier ændrer sig dramatisk. Anmodninger om at fremme en religion afvises næsten altid på engelsk (kun 0,9 % efterkommes), men efterkommes i 23,3 % af tilfældene på de øvrige sprog. Anmodninger om at udbrede konspirationsteorier stiger fra 22,1 % til 38,3 %.

Modellerne forstår anmodningerne. De ser bare ikke skaden

En model kan efterkomme en anmodning på et andet sprog, fordi dens afvisningsadfærd ikke overføres til det sprog, eller fordi den ikke forstår anmodningen godt nok til at se, at den er skadelig. For at skelne mellem de to bad vi hver model om at oversætte et udvalg af prompts fra hvert sprog til engelsk.

Modellerne oversætter de fleste prompts korrekt på alle sprog: 74–84 % i gennemsnit, undtagen på estisk (71 %), maltesisk (65 %) og irsk (54 %). Men de genkender langt færre anmodninger som skadelige. På de store vesteuropæiske sprog afslår de endda at oversætte 16–20 % af dem; på irsk, maltesisk, lettisk, estisk og litauisk kun 2–5 %. På tværs af sprog hænger denne andel af genkendt skade tæt sammen med ASR (ρ = −0,92). Af de vellykkede angreb på de ikke-engelske sprog gælder 79 % prompts, som modellen forstod, og selv blandt korrekt forståede prompts stiger ASR fra 10,5–11,3 % på de store vesteuropæiske sprog (undtagen nederlandsk) til 19–23 % på sprogene med færrest ressourcer.

På sprogene med færrest ressourcer afviser modellerne også flere harmløse anmodninger. I et kontroleksperiment med 10 af modellerne afviste de 22–25 % af harmløse prompts på lettisk, maltesisk, estisk og litauisk mod 15 % på engelsk og 9–12 % på de store vesteuropæiske sprog. Deres afvisninger afhænger mindre af, hvad der faktisk bliver spurgt om. Sikkerhedsadfærd, der primært er lært på engelsk, overføres ikke til sprog, der er sjældne i træningsdataene.

Færre afvisninger, men ikke altid mere skade

Er forskellen reel, eller er den en artefakt af klassifikatoren eller maskinoversættelsen? Vi tjekkede det på flere måder (figur 8). At bedømme svarene med Llama Guard 3, en klassifikator fra en anden modelfamilie, giver det samme billede, og det gør det også at oversætte svarene til engelsk og bedømme dem der. Forskellen består også, når vi kun bruger de prompts, hvis to kandidatoversættelser stemmer bedst overens.

Vores klassifikator vurderer ligesom Llama Guard 3, om et svar er usikkert, hvilket også omfatter delvise svar og svar af lav kvalitet. Bedømmere, der vurderer, hvor specifikt og nyttigt det skadelige indhold er, finder en mindre forskel: omkring 3 procentpoint for HarmBench-klassifikatoren og StrongREJECT-bedømmeren og 8 for Gemma 3 27B, der bedømmer efter StrongREJECT-skemaet. Mange af de svar, der ikke afvises på sprogene med færrest ressourcer, er af lav kvalitet; på maltesisk og irsk giver en tredjedel af de vellykkede angreb slet ingen specifik hjælp. De største stigninger i reel skade ses på sprog som polsk, finsk, ungarsk og slovensk, hvor modellerne både er mindre sikre og stadig kompetente.

For StrongREJECT-bedømmeren og Gemma-skemaet: gennemsnitlig score × 100.

Kort sagt: på sprogene med færrest ressourcer afviser modellerne langt sjældnere end på engelsk, men meget af det, de producerer i stedet, er til lille nytte for en angriber. Forskellen i afvisninger er ikke desto mindre reel: at afvise er den sikkerhedsadfærd, modellerne skal have, og mere kompetente modeller kan producere mere nyttigt indhold, når de ikke afviser.

Hvad det betyder, hvis du tager LLM'er i brug i EU

1. Test sikkerheden på hvert sprog, du tager systemet i brug på. Resultater fra engelsk kan ikke overføres, og rangeringen af modeller ændrer sig fra sprog til sprog.
2. Se på det svageste sprog, ikke på gennemsnittet. Et gennemsnit på tværs af sprog skjuler sprogene med færrest ressourcer, hvor risikoen er størst.
3. Mål både afvisninger og skade. Om en model afviser, og hvor skadeligt dens output er, kan gå i hver sin retning, især på sprog med få ressourcer.
4. Behandl sprog, der mangler på modelkortet, som højrisiko. Men gå ikke ud fra, at de angivne sprog er sikre.
5. Tilføj sikkerhedsforanstaltninger, hvor de er mest nødvendige. På sprogene med færrest ressourcer kan yderligere sikkerhedstræning eller et inputfilter være nødvendigt.

Denne benchmark er et forskningsprojekt. Evalueringer for vores kunder bygges op omkring det enkelte system: dets anvendelsestilfælde, dets trusselsmodel og de sprog, dets brugere skriver på, baseret på det, vi lærer af forskning som denne. Tal med os om dit.