Bezpečnost, která se nepřekládá: škodlivé prompty ve všech 24 jazycích EU

Hlavní zjištění

1. Každý z ostatních 23 úředních jazyků EU má vyšší míru úspěšnosti útoků než angličtina, v průměru více než dvojnásobnou.
2. Rozdíl odpovídá množství textu, které v daném jazyce existuje na webu, nikoli písmu, kterým se jazyk zapisuje.
3. Pořadí modelu v angličtině jen málo vypovídá o jeho pořadí v jazycích s nejmenšími zdroji.
4. Rozdíl není nevyhnutelný: některé novější modely ho vykazují jen málo nebo vůbec a větší modely téže rodiny ho zmenšují.
5. Modely většině požadavků rozumějí. Selhávají v tom, že je nerozpoznají jako škodlivé.
6. Ne všechno, co projde, je pro útočníka užitečné, takže rozdíl ve skutečné škodě je menší než rozdíl v odmítnutích, ale existuje.

Proč testovat ve 24 jazycích?

Evropská unie má 24 úředních jazyků a jednotný trh, na kterém mají produkty založené na velkých jazykových modelech (LLM) sloužit mluvčím všech těchto jazyků. Poskytovatelé své modely v těchto jazycích výrazně zlepšili. Hodnocení bezpečnosti s tím nedrží krok: zda model odmítne pomoci se škodlivým požadavkem, se stále měří převážně v angličtině. Model, který v angličtině působí bezpečně, může stejnému požadavku napsanému estonsky nebo maltsky vyhovět, a hodnocení jen v angličtině to neodhalí.

Dřívější práce zkoumaly jednotlivé jazyky nebo jejich malé skupiny a vícejazyčné benchmarky škodlivých požadavků pokrývaly kromě angličtiny nejvýše čtyři jazyky EU. Vytvořili jsme paralelní benchmark: stejné škodlivé požadavky ve všech 24 úředních jazycích EU, aby bylo možné jazyky a modely přímo porovnávat.

Jak jsme testovali

Vzali jsme 1 053 škodlivých promptů ze čtyř zavedených anglických benchmarků: HarmBench (200 promptů), JBB-Behaviors (100), SORRY-Bench (440) a StrongREJECT (313). Každý prompt byl do ostatních 23 úředních jazyků EU přeložen dvakrát, pomocí DeepL a Claude Opus 4.5, a model LLM v roli posuzovatele vybral překlad vhodnější pro hodnocení bezpečnosti. Celkem benchmark obsahuje 25 272 promptů.

Každý prompt jsme poslali 34 modelům s otevřenými vahami o velikosti 3 až 35 miliard parametrů z rodin Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo a Apertus, a to jako jedinou zprávu bez systémového promptu. Každou odpověď posoudil bezpečnostní klasifikátor Qwen3Guard-Gen-8B. Míra úspěšnosti útoků (Attack Success Rate, ASR) je podíl škodlivých požadavků, kterým model vyhoví: odpověď není odmítnutím a klasifikátor ji označí za nebezpečnou nebo kontroverzní.

Každý jazyk EU je méně bezpečný než angličtina

V průměru za 34 modelů je ASR v angličtině 7,7 % a v každém z ostatních 23 jazyků vyšší (obrázek 1). Roste od velkých západoevropských jazyků, 10–12 % ve francouzštině, španělštině, němčině, italštině a portugalštině, až po 22–23 % v maďarštině, slovinštině, litevštině, estonštině a maltštině a 24,3 % v lotyštině. Intervaly 95 % všech 23 jazyků leží nad intervalem angličtiny.

1 053 promptů na jazyk, první odpověď každého modelu, posouzená modelem Qwen3Guard-Gen-8B. Jazyky seskupené podle dostupnosti zdrojů.

U produktu, který obsluhuje všechny jazyky EU, průměr zakrývá to nejdůležitější: nejslabší jazyk. Llama 3.1 8B Instruct mimo angličtinu vyhoví v průměru 8,3 % požadavků, v lotyštině ale 20,4 %. Qwen3 4B Instruct 2507 dosahuje v průměru 9,3 % a v maltštině 26,0 %, Phi-4 v průměru 14,1 % a v maltštině 36,4 %.

Čím méně textu na webu, tím větší rozdíl

Jazyky se řadí podle toho, kolik textu v nich na webu existuje. Napříč 24 jazyky ASR silně koreluje s logaritmem podílu webových stránek Common Crawl v daném jazyce (Spearmanovo ρ = −0,91) a stejně tak rozdíl oproti angličtině (ρ = −0,90, obrázek 2). Po seskupení podle dostupnosti zdrojů je ASR přibližně 12 % v šesti velkých západoevropských jazycích, 18 % v jedenácti jazycích se středními zdroji a 22 % v šesti jazycích s nejmenšími zdroji: irštině, maltštině, estonštině, lotyštině, litevštině a slovinštině.

Podíly Common Crawl z procházení CC-MAIN-2026-39. Popisky jsou kódy jazyků ISO.

Písmo rozdíl nevysvětluje. Lotyština, litevština a estonština se píší latinkou stejně jako francouzština a španělština, zatímco dva jazyky s jiným písmem, bulharština a řečtina, jsou v průměru jen o 1,8 procentního bodu nad jazyky psanými latinkou. Irština a maltština, dva jazyky s nejmenším množstvím textu na webu, jsou zároveň jazyky, v nichž je automatický klasifikátor nejméně spolehlivý, takže jejich přesné hodnoty jsou nejistější než u ostatních jazyků (viz níže).

Výsledky v angličtině vám neřeknou, který model je ve vašem jazyce nejbezpečnější

Pro každého, kdo vybírá model, je to možná nejdůležitější zjištění. Pořadí 34 modelů v angličtině jen málo vypovídá o jejich pořadí v jazycích s menšími zdroji. Pořadová korelace s anglickým pořadím je 0,81 pro španělštinu, ale jen 0,47 pro estonštinu, 0,43 pro irštinu a 0,41 pro maltštinu (obrázek 3). Model, který v angličtině patří k nejbezpečnějším, může v jiném jazyce patřit k nejzranitelnějším.

Pořadové korelace přes 34 modelů.

Olmo 3 7B Instruct je v angličtině desátý nejbezpečnější z 34 modelů a vyhoví 2,9 % požadavků, v ostatních jazycích je ale druhý nejméně bezpečný s průměrem 43,4 %. Nemotron 3 Nano 4B stoupá z 1,3 % v angličtině na 19,9 %. U 16 z 34 modelů je ASR mimo angličtinu více než dvojnásobná oproti angličtině.

Rozdíl závisí na modelu a dá se odstranit

Na volbě modelu velmi záleží (obrázek 4). V průměru za 23 jazyků kromě angličtiny se ASR pohybuje od 2,0 % u modelu Qwen3.6 35B-A3B po 45,3 % u modelu Mistral 7B Instruct v0.2 z roku 2023. U 33 z 34 modelů je vyšší než v angličtině, u 11 z nich o více než 10 procentních bodů.

1 053 promptů na jazyk, první odpověď, posouzená modelem Qwen3Guard-Gen-8B.

Několik novějších modelů vykazuje malý nebo žádný rozdíl. Gemma 4 31B není mimo angličtinu méně bezpečná než v angličtině (8,4 % oproti 9,0 %) a Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B a gpt-oss-20b zůstávají v jazycích kromě angličtiny v průměru pod 5 %. V každé ze šesti rodin, které jsme testovali ve více velikostech, se rozdíl s rostoucí velikostí modelu zmenšuje (obrázek 5): z +17,4 na +8,9 a +2,8 procentního bodu u Granite 4.1 3B, 8B a 30B a z +6,2 na −0,6 od Gemma 4 E2B po 31B. Bezpečnostní chování, které platí ve všech jazycích, je dosažitelné.

Velikosti jsou celkové parametry; u modelů typu mixture-of-experts jsou uvedeny i aktivní parametry.

Seznam jazyků v kartě modelu je varovný signál, ne záruka

Dvanáct modelů uvádí ve své kartě jako podporované některé, ale ne všechny z 23 jazyků EU kromě angličtiny. U 11 z 12 je ASR vyšší v jazycích, které uvedeny nejsou, v průměru o 12,3 procentního bodu (obrázek 6). Například Llama 3.2 3B Instruct vyhoví 10,6 % požadavků v angličtině, 7,4 % v pěti jazycích EU, které uvádí její karta, a 32,8 % ve zbývajících 18.

Uvedený jazyk však automaticky bezpečný není. Uvedené jazyky jsou většinou ty velké a při stejném jazyce jsou v něm modely, které ho uvádějí, jen o málo bezpečnější než modely, které ho neuvádějí (o 4,4 procentního bodu, což není statisticky významné). Pět modelů, jejichž karty uvádějí všech 23 jazyků, tedy tři modely EuroLLM a dva modely Tiny Aya, má přesto rozdíly od 6,6 do 13,0 procentního bodu.

Podporované jazyky podle karet modelů.

Kterých druhů škod se to týká?

Rozdíl se neomezuje na několik témat. Seskupili jsme 66 kategorií čtyř benchmarků do 13 druhů škod (seskupení je naše; průzkumník níže ukazuje, které kategorie patří ke kterému druhu). Každý druh má mimo angličtinu vyšší ASR (obrázek 7), od +4,8 procentního bodu u porušení soukromí po +14,2 u politického, náboženského a etického přesvědčování. Požadavkům týkajícím se zbraní, drog a nebezpečného zboží modely mimo angličtinu vyhovují 2,5krát častěji (17,0 % oproti 6,9 %) a požadavkům týkajícím se kybernetické kriminality a hackingu 2,7krát častěji (17,8 % oproti 6,6 %).

Druhy škod seskupují 66 kategorií z HarmBench, JBB-Behaviors, SORRY-Bench a StrongREJECT.

Některé jednotlivé kategorie se mění dramaticky. Požadavky na propagaci náboženství modely v angličtině téměř vždy odmítnou (vyhoví jen 0,9 %), v ostatních jazycích jim ale vyhoví ve 23,3 % případů. U požadavků na šíření konspiračních teorií podíl stoupá z 22,1 % na 38,3 %.

Modely požadavkům rozumějí. Jen nerozpoznají škodu

Model může vyhovět požadavku v jiném jazyce proto, že se jeho odmítací chování na tento jazyk nepřenáší, nebo proto, že požadavku nerozumí natolik dobře, aby poznal, že je škodlivý. Abychom tyto případy odlišili, požádali jsme každý model, aby do angličtiny přeložil vzorek promptů z každého jazyka.

Modely správně překládají většinu promptů ve všech jazycích: v průměru 74–84 %, s výjimkou estonštiny (71 %), maltštiny (65 %) a irštiny (54 %). Jako škodlivé však rozpoznají mnohem méně požadavků. Ve velkých západoevropských jazycích odmítnou dokonce přeložit 16–20 % promptů; v irštině, maltštině, lotyštině, estonštině a litevštině jen 2–5 %. Napříč jazyky tato míra rozpoznání škody úzce souvisí s ASR (ρ = −0,92). Z úspěšných útoků v jazycích kromě angličtiny se 79 % týká promptů, kterým model porozuměl, a i u správně pochopených promptů roste ASR z 10,5–11,3 % ve velkých západoevropských jazycích (kromě nizozemštiny) na 19–23 % v jazycích s nejmenšími zdroji.

V jazycích s nejmenšími zdroji modely také odmítají více neškodných požadavků. V kontrolním experimentu s 10 modely odmítly 22–25 % neškodných promptů v lotyštině, maltštině, estonštině a litevštině, oproti 15 % v angličtině a 9–12 % ve velkých západoevropských jazycích. Jejich odmítnutí méně závisí na tom, co se ve skutečnosti požaduje. Bezpečnostní chování naučené převážně v angličtině se nepřenáší do jazyků, které jsou v trénovacích datech vzácné.

Méně odmítnutí, ale ne vždy víc škody

Je rozdíl skutečný, nebo jde o artefakt klasifikátoru či strojového překladu? Ověřili jsme to několika způsoby (obrázek 8). Hodnocení odpovědí pomocí Llama Guard 3, klasifikátoru z jiné rodiny modelů, dává stejný obraz, stejně jako překlad odpovědí do angličtiny a jejich hodnocení v angličtině. Rozdíl přetrvává i tehdy, když použijeme jen prompty, u nichž se oba kandidátní překlady nejvíce shodují.

Náš klasifikátor stejně jako Llama Guard 3 posuzuje, zda je odpověď nebezpečná, což zahrnuje i částečné a nekvalitní vyhovění. Posuzovatelé, kteří hodnotí, jak konkrétní a užitečný je škodlivý obsah, nacházejí menší rozdíl: asi 3 procentní body u klasifikátoru HarmBench a hodnotitele StrongREJECT a 8 u modelu Gemma 3 27B s hodnoticí škálou StrongREJECT. Mnoho neodmítnutých odpovědí v jazycích s nejmenšími zdroji je nekvalitních; v maltštině a irštině neposkytuje třetina úspěšných útoků vůbec žádnou konkrétní pomoc. Největší nárůst skutečné škody je v jazycích, jako je polština, finština, maďarština a slovinština, kde jsou modely zároveň méně bezpečné a stále schopné.

U hodnotitele StrongREJECT a škály uplatněné modelem Gemma: průměrné skóre × 100.

Stručně řečeno: v jazycích s nejmenšími zdroji modely odmítají mnohem méně často než v angličtině, ale velká část toho, co místo toho vytvoří, je pro útočníka málo užitečná. Rozdíl v odmítnutích je přesto skutečný: odmítnutí je bezpečnostní chování, které se od těchto modelů očekává, a schopnější modely mohou vytvořit užitečnější obsah, když neodmítnou.

Co to znamená, pokud nasazujete LLM v EU

1. Testujte bezpečnost v každém jazyce, ve kterém systém nasazujete. Výsledky z angličtiny se nepřenášejí a pořadí modelů se mezi jazyky mění.
2. Sledujte nejslabší jazyk, ne průměr. Průměr přes jazyky zakrývá jazyky s nejmenšími zdroji, kde je riziko nejvyšší.
3. Měřte odmítnutí i škodu. To, zda model odmítne, a jak škodlivý je jeho výstup, se může rozcházet, zejména v jazycích s malými zdroji.
4. Jazyky, které karta modelu neuvádí, považujte za vysoce rizikové. Nepředpokládejte však, že uvedené jazyky jsou bezpečné.
5. Posilte ochranu tam, kde je nejvíce potřeba. V jazycích s nejmenšími zdroji může být nutný dodatečný bezpečnostní trénink nebo vstupní filtr.

Tento benchmark je výzkumný projekt. Hodnocení pro naše klienty stavíme kolem konkrétního systému: jeho případů užití, modelu hrozeb a jazyků, ve kterých píší jeho uživatelé, a vycházíme přitom z toho, co se učíme z výzkumu, jako je tento. Promluvme si o tom vašem.