Veiligheid die zich niet laat vertalen: schadelijke prompts in alle 24 EU-talen

Belangrijkste bevindingen

1. Elk van de 23 andere officiële EU-talen heeft een hoger aanvalssuccespercentage dan het Engels, gemiddeld meer dan twee keer zo hoog.
2. De kloof volgt hoeveel tekst er in een taal op het web bestaat, niet het alfabet waarin de taal wordt geschreven.
3. Hoe een model in het Engels scoort, zegt weinig over zijn positie in de talen met de minste bronnen.
4. De kloof is niet onvermijdelijk: sommige recente modellen vertonen er nauwelijks of geen, en grotere modellen uit dezelfde familie verkleinen hem.
5. De modellen begrijpen de meeste verzoeken. Wat ontbreekt, is ze als schadelijk herkennen.
6. Niet alles wat erdoorheen glipt, is nuttig voor een aanvaller. De kloof in werkelijke schade is daarom kleiner dan de kloof in weigeringen, maar hij bestaat.

Waarom testen in 24 talen?

De Europese Unie heeft 24 officiële talen en één interne markt waarin producten op basis van grote taalmodellen (LLM's) sprekers van al die talen moeten bedienen. Aanbieders hebben hun modellen in deze talen sterk verbeterd. De veiligheidsevaluatie heeft dat tempo niet bijgehouden: of een model weigert te helpen bij een schadelijk verzoek, wordt nog steeds vooral in het Engels gemeten. Een model dat in het Engels veilig lijkt, kan hetzelfde verzoek in het Ests of Maltees uitvoeren, en een evaluatie in alleen het Engels laat dat niet zien.

Eerder onderzoek richtte zich op afzonderlijke talen of kleine groepen talen, en meertalige benchmarks van schadelijke verzoeken besloegen naast het Engels hooguit vier EU-talen. Wij bouwden een parallelle benchmark: dezelfde schadelijke verzoeken in alle 24 officiële EU-talen, zodat talen en modellen rechtstreeks kunnen worden vergeleken.

Hoe we hebben getest

We namen 1.053 schadelijke prompts uit vier gevestigde Engelse benchmarks: HarmBench (200 prompts), JBB-Behaviors (100), SORRY-Bench (440) en StrongREJECT (313). Elke prompt werd twee keer vertaald in de 23 andere officiële EU-talen, door DeepL en door Claude Opus 4.5, en een LLM koos als beoordelaar de vertaling die het meest geschikt is voor veiligheidsevaluatie. In totaal telt de benchmark 25.272 prompts.

We stuurden elke prompt naar 34 open-weight-modellen met 3 tot 35 miljard parameters, uit de families Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo en Apertus, als één bericht zonder systeemprompt. Een veiligheidsclassificator, Qwen3Guard-Gen-8B, beoordeelde elk antwoord. Het aanvalssuccespercentage (Attack Success Rate, ASR) is het aandeel schadelijke verzoeken dat een model uitvoert: het antwoord is geen weigering en de classificator beoordeelt het als onveilig of controversieel.

Elke EU-taal is minder veilig dan het Engels

Gemiddeld over de 34 modellen is de ASR 7,7% in het Engels en hoger in elk van de 23 andere talen (figuur 1). Hij stijgt via de grote West-Europese talen, 10–12% in het Frans, Spaans, Duits, Italiaans en Portugees, tot 22–23% in het Hongaars, Sloveens, Litouws, Ests en Maltees, en 24,3% in het Lets. De 95%-intervallen van alle 23 talen liggen boven dat van het Engels.

1.053 prompts per taal, eerste antwoord van elk model, beoordeeld door Qwen3Guard-Gen-8B. Talen gegroepeerd naar beschikbare bronnen.

Voor een product dat alle EU-talen bedient, verbergt het gemiddelde waar het het meest om gaat: de zwakste taal. Llama 3.1 8B Instruct voert buiten het Engels gemiddeld 8,3% van de verzoeken uit, maar in het Lets 20,4%. Qwen3 4B Instruct 2507 komt gemiddeld op 9,3% en in het Maltees op 26,0%; Phi-4 gemiddeld op 14,1% en in het Maltees op 36,4%.

Hoe minder webtekst, hoe groter de kloof

De talen rangschikken zich naar hoeveel tekst er in elke taal op het web bestaat. Over de 24 talen hangt de ASR sterk samen met de logaritme van het aandeel Common Crawl-webpagina's in de taal (Spearman ρ = −0,91), en dat geldt ook voor de kloof met het Engels (ρ = −0,90, figuur 2). Gegroepeerd naar beschikbare bronnen is de ASR ongeveer 12% in de zes grote West-Europese talen, 18% in de elf talen met gemiddelde bronnen en 22% in de zes talen met de minste bronnen: Iers, Maltees, Ests, Lets, Litouws en Sloveens.

Common Crawl-aandelen uit de crawl CC-MAIN-2026-39. De labels zijn ISO-taalcodes.

Het alfabet verklaart de kloof niet. Lets, Litouws en Ests worden net als Frans en Spaans in het Latijnse alfabet geschreven, terwijl de twee talen met een ander schrift, Bulgaars en Grieks, gemiddeld maar 1,8 procentpunt boven de talen met Latijns schrift liggen. Iers en Maltees, de twee talen met de minste webtekst, zijn ook de talen waarin de automatische classificator het minst betrouwbaar is, zodat hun exacte waarden onzekerder zijn dan die van de andere talen (zie verderop).

Engelse resultaten vertellen u niet welk model in uw taal het veiligst is

Voor wie een model moet kiezen, is dit misschien de belangrijkste bevinding. De rangorde van de 34 modellen in het Engels zegt weinig over hun rangorde in de talen met minder bronnen. De rangcorrelatie met de Engelse rangorde is 0,81 voor het Spaans, maar slechts 0,47 voor het Ests, 0,43 voor het Iers en 0,41 voor het Maltees (figuur 3). Een model dat in het Engels tot de veiligste behoort, kan in een andere taal tot de kwetsbaarste behoren.

Rangcorrelaties over de 34 modellen.

Olmo 3 7B Instruct is in het Engels het tiende veiligste van de 34 modellen en voert 2,9% van de verzoeken uit, maar in de andere talen het op een na minst veilige, met gemiddeld 43,4%. Nemotron 3 Nano 4B gaat van 1,3% in het Engels naar 19,9%. Bij 16 van de 34 modellen is de ASR buiten het Engels meer dan twee keer zo hoog als in het Engels.

De kloof hangt af van het model, en is te dichten

De keuze van het model maakt veel uit (figuur 4). Gemiddeld over de 23 niet-Engelse talen loopt de ASR van 2,0% bij Qwen3.6 35B-A3B tot 45,3% bij Mistral 7B Instruct v0.2, een model uit 2023. Bij 33 van de 34 modellen ligt hij hoger dan in het Engels, en bij 11 daarvan meer dan 10 procentpunt.

1.053 prompts per taal, eerste antwoord, beoordeeld door Qwen3Guard-Gen-8B.

Verscheidene recente modellen vertonen een kleine of geen kloof. Gemma 4 31B is buiten het Engels niet minder veilig dan in het Engels (8,4% tegenover 9,0%), en Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B en gpt-oss-20b blijven in de niet-Engelse talen gemiddeld onder 5%. In elk van de zes families die we in meer dan één grootte hebben getest, krimpt de kloof naarmate de modellen groter worden (figuur 5): van +17,4 via +8,9 naar +2,8 procentpunt bij Granite 4.1 3B, 8B en 30B, en van +6,2 naar −0,6 van Gemma 4 E2B tot 31B. Veiligheidsgedrag dat in alle talen standhoudt, is haalbaar.

Groottes zijn totale parameters; bij mixture-of-experts-modellen staan ook de actieve parameters vermeld.

De talenlijst op de modelkaart is een waarschuwingssignaal, geen garantie

Twaalf van de modellen vermelden op hun modelkaart sommige, maar niet alle, van de 23 niet-Engelse EU-talen als ondersteund. Bij 11 van de 12 is de ASR hoger in de talen die niet worden vermeld, gemiddeld met 12,3 procentpunt (figuur 6). Llama 3.2 3B Instruct bijvoorbeeld voert 10,6% van de verzoeken uit in het Engels, 7,4% in de vijf EU-talen die zijn kaart vermeldt en 32,8% in de overige 18.

Een vermelde taal is echter niet automatisch veilig. De vermelde talen zijn vooral de grote, en bij gelijke taal zijn modellen die de taal vermelden er maar iets veiliger in dan modellen die dat niet doen (4,4 procentpunt, wat statistisch niet significant is). De vijf modellen waarvan de kaart alle 23 talen vermeldt, de drie EuroLLM-modellen en de twee Tiny Aya-modellen, hebben toch kloven van 6,6 tot 13,0 procentpunt.

Ondersteunde talen volgens de modelkaarten.

Welke soorten schade zijn er gevoelig voor?

De kloof beperkt zich niet tot een paar onderwerpen. We hebben de 66 categorieën van de vier benchmarks ondergebracht in 13 schadetypen (de indeling is van ons; de verkenner hieronder laat zien welke categorieën bij welk type horen). Elk type heeft buiten het Engels een hogere ASR (figuur 7), van +4,8 procentpunt bij privacyschendingen tot +14,2 bij politieke, religieuze en ethische beïnvloeding. Verzoeken over wapens, drugs en gevaarlijke goederen worden buiten het Engels 2,5 keer zo vaak uitgevoerd (17,0% tegenover 6,9%), verzoeken over cybercriminaliteit en hacking 2,7 keer zo vaak (17,8% tegenover 6,6%).

De schadetypen groeperen de 66 categorieën van HarmBench, JBB-Behaviors, SORRY-Bench en StrongREJECT.

Sommige afzonderlijke categorieën veranderen ingrijpend. Verzoeken om een religie te promoten worden in het Engels bijna altijd geweigerd (0,9% uitgevoerd), maar in de andere talen in 23,3% van de gevallen uitgevoerd. Bij verzoeken om complottheorieën te verspreiden stijgt het aandeel van 22,1% naar 38,3%.

De modellen begrijpen de verzoeken, maar zien de schade niet

Een model kan een verzoek in een andere taal uitvoeren omdat zijn weigergedrag niet naar die taal wordt overgedragen, of omdat het het verzoek niet goed genoeg begrijpt om te zien dat het schadelijk is. Om die twee te onderscheiden, vroegen we elk model een steekproef van de prompts uit elke taal naar het Engels te vertalen.

De modellen vertalen de meeste prompts in elke taal correct: gemiddeld 74–84%, behalve in het Ests (71%), het Maltees (65%) en het Iers (54%). Maar ze herkennen veel minder verzoeken als schadelijk. In de grote West-Europese talen weigeren ze zelfs 16–20% van de prompts te vertalen; in het Iers, Maltees, Lets, Ests en Litouws slechts 2–5%. Over de talen heen hangt dit percentage herkende schade nauw samen met de ASR (ρ = −0,92). Van de geslaagde aanvallen in de niet-Engelse talen betreft 79% prompts die het model begreep, en zelfs bij correct begrepen prompts stijgt de ASR van 10,5–11,3% in de grote West-Europese talen (behalve het Nederlands) tot 19–23% in de talen met de minste bronnen.

In de talen met de minste bronnen weigeren de modellen ook meer onschuldige verzoeken. In een controle-experiment met 10 van de modellen weigerden ze 22–25% van de onschuldige prompts in het Lets, Maltees, Ests en Litouws, tegenover 15% in het Engels en 9–12% in de grote West-Europese talen. Hun weigeringen hangen minder af van wat er werkelijk wordt gevraagd. Veiligheidsgedrag dat vooral in het Engels is aangeleerd, wordt niet overgedragen naar talen die zelden voorkomen in de trainingsdata.

Minder weigeringen, maar niet altijd meer schade

Is de kloof echt, of een artefact van de classificator of van de machinevertaling? We hebben dat op verschillende manieren gecontroleerd (figuur 8). De antwoorden beoordelen met Llama Guard 3, een classificator uit een andere modelfamilie, geeft hetzelfde beeld, net als de antwoorden naar het Engels vertalen en daar beoordelen. De kloof blijft ook bestaan als we alleen de prompts gebruiken waarvan de twee kandidaat-vertalingen het meest overeenkomen.

Onze classificator beoordeelt, net als Llama Guard 3, of een antwoord onveilig is, wat ook gedeeltelijke uitvoering en uitvoering van lage kwaliteit omvat. Beoordelaars die inschatten hoe specifiek en bruikbaar de schadelijke inhoud is, vinden een kleinere kloof: ongeveer 3 procentpunt bij de HarmBench-classificator en de StrongREJECT-beoordelaar, en 8 bij Gemma 3 27B met het StrongREJECT-beoordelingsschema. Veel van de niet-geweigerde antwoorden in de talen met de minste bronnen zijn van lage kwaliteit; in het Maltees en Iers biedt een derde van de geslaagde aanvallen helemaal geen concrete hulp. De grootste toenames van werkelijke schade zitten in talen als het Pools, Fins, Hongaars en Sloveens, waarin de modellen zowel minder veilig als nog capabel zijn.

Bij de StrongREJECT-beoordelaar en het Gemma-beoordelingsschema: gemiddelde score × 100.

Kortom: in de talen met de minste bronnen weigeren de modellen veel minder vaak dan in het Engels, maar veel van wat ze in plaats daarvan produceren, is voor een aanvaller nauwelijks bruikbaar. De kloof in weigeringen is desondanks echt: weigeren is het veiligheidsgedrag dat deze modellen horen te hebben, en capabelere modellen kunnen bruikbaardere inhoud leveren als ze niet weigeren.

Wat dit betekent als u LLM's inzet in de EU

1. Test de veiligheid in elke taal waarin u uw systeem inzet. Engelse resultaten zijn niet over te dragen, en de rangorde van modellen verschilt per taal.
2. Kijk naar de zwakste taal, niet naar het gemiddelde. Een gemiddelde over talen verbergt de talen met de minste bronnen, waar het risico het grootst is.
3. Meet zowel weigeringen als schade. Of een model weigert en hoe schadelijk zijn uitvoer is, kan uiteenlopen, vooral in talen met weinig bronnen.
4. Behandel talen die niet op de modelkaart staan als hoog risico. Maar ga er niet van uit dat de vermelde talen veilig zijn.
5. Zet extra waarborgen in waar ze het meest nodig zijn. In de talen met de minste bronnen kunnen extra veiligheidstraining of een invoerfilter nodig zijn.

Deze benchmark is een onderzoeksproject. Evaluaties voor onze klanten bouwen we rond elk systeem: de toepassingen, het dreigingsmodel en de talen waarin de gebruikers schrijven, op basis van wat we leren van onderzoek als dit. Praat met ons over het uwe.