Bezpečnosť, ktorá sa neprekladá: škodlivé prompty vo všetkých 24 jazykoch EÚ

Hlavné zistenia

1. Každý z ostatných 23 úradných jazykov EÚ má vyššiu mieru úspešnosti útokov ako angličtina, v priemere viac ako dvojnásobnú.
2. Rozdiel zodpovedá množstvu textu, ktoré v danom jazyku existuje na webe, nie písmu, ktorým sa jazyk zapisuje.
3. Poradie modelu v angličtine len málo vypovedá o jeho poradí v jazykoch s najmenšími zdrojmi.
4. Rozdiel nie je nevyhnutný: niektoré novšie modely ho vykazujú len málo alebo vôbec a väčšie modely tej istej rodiny ho zmenšujú.
5. Modely väčšine požiadaviek rozumejú. Zlyhávajú v tom, že ich nerozpoznajú ako škodlivé.
6. Nie všetko, čo prejde, je pre útočníka užitočné, takže rozdiel v skutočnej škode je menší ako rozdiel v odmietnutiach, ale existuje.

Prečo testovať v 24 jazykoch?

Európska únia má 24 úradných jazykov a jednotný trh, na ktorom majú produkty založené na veľkých jazykových modeloch (LLM) slúžiť hovoriacim všetkými týmito jazykmi. Poskytovatelia svoje modely v týchto jazykoch výrazne zlepšili. Hodnotenie bezpečnosti s tým nedrží krok: či model odmietne pomôcť so škodlivou požiadavkou, sa stále meria prevažne v angličtine. Model, ktorý v angličtine pôsobí bezpečne, môže tej istej požiadavke napísanej po estónsky alebo po maltsky vyhovieť a hodnotenie iba v angličtine to neodhalí.

Predchádzajúce práce skúmali jednotlivé jazyky alebo ich malé skupiny a viacjazyčné benchmarky škodlivých požiadaviek pokrývali okrem angličtiny najviac štyri jazyky EÚ. Vytvorili sme paralelný benchmark: rovnaké škodlivé požiadavky vo všetkých 24 úradných jazykoch EÚ, aby bolo možné jazyky a modely priamo porovnávať.

Ako sme testovali

Vzali sme 1 053 škodlivých promptov zo štyroch zavedených anglických benchmarkov: HarmBench (200 promptov), JBB-Behaviors (100), SORRY-Bench (440) a StrongREJECT (313). Každý prompt bol do ostatných 23 úradných jazykov EÚ preložený dvakrát, pomocou DeepL a Claude Opus 4.5, a model LLM v úlohe posudzovateľa vybral preklad vhodnejší na hodnotenie bezpečnosti. Celkovo benchmark obsahuje 25 272 promptov.

Každý prompt sme poslali 34 modelom s otvorenými váhami s veľkosťou od 3 do 35 miliárd parametrov z rodín Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo a Apertus, a to ako jedinú správu bez systémového promptu. Každú odpoveď posúdil bezpečnostný klasifikátor Qwen3Guard-Gen-8B. Miera úspešnosti útokov (Attack Success Rate, ASR) je podiel škodlivých požiadaviek, ktorým model vyhovie: odpoveď nie je odmietnutím a klasifikátor ju označí za nebezpečnú alebo kontroverznú.

Každý jazyk EÚ je menej bezpečný ako angličtina

V priemere za 34 modelov je ASR v angličtine 7,7 % a v každom z ostatných 23 jazykov vyššia (obrázok 1). Rastie od veľkých západoeurópskych jazykov, 10–12 % vo francúzštine, španielčine, nemčine, taliančine a portugalčine, až po 22–23 % v maďarčine, slovinčine, litovčine, estónčine a maltčine a 24,3 % v lotyštine. Intervaly 95 % všetkých 23 jazykov ležia nad intervalom angličtiny.

1 053 promptov na jazyk, prvá odpoveď každého modelu, posúdená modelom Qwen3Guard-Gen-8B. Jazyky zoskupené podľa dostupnosti zdrojov.

Pri produkte, ktorý obsluhuje všetky jazyky EÚ, priemer zakrýva to najdôležitejšie: najslabší jazyk. Llama 3.1 8B Instruct mimo angličtiny vyhovie v priemere 8,3 % požiadaviek, v lotyštine však 20,4 %. Qwen3 4B Instruct 2507 dosahuje v priemere 9,3 % a v maltčine 26,0 %, Phi-4 v priemere 14,1 % a v maltčine 36,4 %.

Čím menej textu na webe, tým väčší rozdiel

Jazyky sa radia podľa toho, koľko textu v nich na webe existuje. Naprieč 24 jazykmi ASR silno koreluje s logaritmom podielu webových stránok Common Crawl v danom jazyku (Spearmanovo ρ = −0,91) a rovnako aj rozdiel oproti angličtine (ρ = −0,90, obrázok 2). Po zoskupení podľa dostupnosti zdrojov je ASR približne 12 % v šiestich veľkých západoeurópskych jazykoch, 18 % v jedenástich jazykoch so strednými zdrojmi a 22 % v šiestich jazykoch s najmenšími zdrojmi: írčine, maltčine, estónčine, lotyštine, litovčine a slovinčine.

Podiely Common Crawl z prehľadávania CC-MAIN-2026-39. Popisky sú kódy jazykov ISO.

Písmo rozdiel nevysvetľuje. Lotyština, litovčina a estónčina sa píšu latinkou rovnako ako francúzština a španielčina, zatiaľ čo dva jazyky s iným písmom, bulharčina a gréčtina, sú v priemere len o 1,8 percentuálneho bodu nad jazykmi písanými latinkou. Írčina a maltčina, dva jazyky s najmenším množstvom textu na webe, sú zároveň jazykmi, v ktorých je automatický klasifikátor najmenej spoľahlivý, takže ich presné hodnoty sú neistejšie ako pri ostatných jazykoch (pozri nižšie).

Výsledky v angličtine vám nepovedia, ktorý model je vo vašom jazyku najbezpečnejší

Pre každého, kto vyberá model, je to možno najdôležitejšie zistenie. Poradie 34 modelov v angličtine len málo vypovedá o ich poradí v jazykoch s menšími zdrojmi. Poradová korelácia s anglickým poradím je 0,81 pre španielčinu, ale len 0,47 pre estónčinu, 0,43 pre írčinu a 0,41 pre maltčinu (obrázok 3). Model, ktorý v angličtine patrí k najbezpečnejším, môže v inom jazyku patriť k najzraniteľnejším.

Poradové korelácie naprieč 34 modelmi.

Olmo 3 7B Instruct je v angličtine desiaty najbezpečnejší z 34 modelov a vyhovie 2,9 % požiadaviek, v ostatných jazykoch je však druhý najmenej bezpečný s priemerom 43,4 %. Nemotron 3 Nano 4B stúpa z 1,3 % v angličtine na 19,9 %. Pri 16 z 34 modelov je ASR mimo angličtiny viac ako dvojnásobná oproti angličtine.

Rozdiel závisí od modelu a dá sa odstrániť

Na výbere modelu veľmi záleží (obrázok 4). V priemere za 23 jazykov okrem angličtiny sa ASR pohybuje od 2,0 % pri modeli Qwen3.6 35B-A3B po 45,3 % pri modeli Mistral 7B Instruct v0.2 z roku 2023. Pri 33 z 34 modelov je vyššia ako v angličtine, pri 11 z nich o viac ako 10 percentuálnych bodov.

1 053 promptov na jazyk, prvá odpoveď, posúdená modelom Qwen3Guard-Gen-8B.

Niekoľko novších modelov vykazuje malý alebo žiadny rozdiel. Gemma 4 31B nie je mimo angličtiny menej bezpečná ako v angličtine (8,4 % oproti 9,0 %) a Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B a gpt-oss-20b zostávajú v jazykoch okrem angličtiny v priemere pod 5 %. V každej zo šiestich rodín, ktoré sme testovali vo viacerých veľkostiach, sa rozdiel s rastúcou veľkosťou modelu zmenšuje (obrázok 5): z +17,4 na +8,9 a +2,8 percentuálneho bodu pri Granite 4.1 3B, 8B a 30B a z +6,2 na −0,6 od Gemma 4 E2B po 31B. Bezpečnostné správanie, ktoré platí vo všetkých jazykoch, je dosiahnuteľné.

Veľkosti sú celkové parametre; pri modeloch typu mixture-of-experts sú uvedené aj aktívne parametre.

Zoznam jazykov v karte modelu je varovný signál, nie záruka

Dvanásť modelov uvádza vo svojej karte ako podporované niektoré, ale nie všetky z 23 jazykov EÚ okrem angličtiny. Pri 11 z 12 je ASR vyššia v jazykoch, ktoré uvedené nie sú, v priemere o 12,3 percentuálneho bodu (obrázok 6). Napríklad Llama 3.2 3B Instruct vyhovie 10,6 % požiadaviek v angličtine, 7,4 % v piatich jazykoch EÚ, ktoré uvádza jej karta, a 32,8 % vo zvyšných 18.

Uvedený jazyk však nie je automaticky bezpečný. Uvedené jazyky sú väčšinou tie veľké a pri rovnakom jazyku sú v ňom modely, ktoré ho uvádzajú, len o málo bezpečnejšie ako modely, ktoré ho neuvádzajú (o 4,4 percentuálneho bodu, čo nie je štatisticky významné). Päť modelov, ktorých karty uvádzajú všetkých 23 jazykov, teda tri modely EuroLLM a dva modely Tiny Aya, má napriek tomu rozdiely od 6,6 do 13,0 percentuálneho bodu.

Podporované jazyky podľa kariet modelov.

Ktorých druhov škôd sa to týka?

Rozdiel sa neobmedzuje na niekoľko tém. Zoskupili sme 66 kategórií štyroch benchmarkov do 13 druhov škôd (zoskupenie je naše; prieskumník nižšie ukazuje, ktoré kategórie patria ku ktorému druhu). Každý druh má mimo angličtiny vyššiu ASR (obrázok 7), od +4,8 percentuálneho bodu pri porušení súkromia po +14,2 pri politickom, náboženskom a etickom presviedčaní. Požiadavkám týkajúcim sa zbraní, drog a nebezpečného tovaru modely mimo angličtiny vyhovujú 2,5-krát častejšie (17,0 % oproti 6,9 %) a požiadavkám týkajúcim sa kybernetickej kriminality a hackingu 2,7-krát častejšie (17,8 % oproti 6,6 %).

Druhy škôd zoskupujú 66 kategórií z HarmBench, JBB-Behaviors, SORRY-Bench a StrongREJECT.

Niektoré jednotlivé kategórie sa menia dramaticky. Požiadavky na propagáciu náboženstva modely v angličtine takmer vždy odmietnu (vyhovejú len v 0,9 % prípadov), v ostatných jazykoch im však vyhovejú v 23,3 % prípadov. Pri požiadavkách na šírenie konšpiračných teórií podiel stúpa z 22,1 % na 38,3 %.

Modely požiadavkám rozumejú. Len nerozpoznajú škodu

Model môže vyhovieť požiadavke v inom jazyku preto, že sa jeho odmietavé správanie na tento jazyk neprenáša, alebo preto, že požiadavke nerozumie natoľko dobre, aby rozpoznal, že je škodlivá. Aby sme tieto prípady odlíšili, požiadali sme každý model, aby do angličtiny preložil vzorku promptov z každého jazyka.

Modely správne prekladajú väčšinu promptov vo všetkých jazykoch: v priemere 74–84 %, s výnimkou estónčiny (71 %), maltčiny (65 %) a írčiny (54 %). Ako škodlivé však rozpoznajú oveľa menej požiadaviek. Vo veľkých západoeurópskych jazykoch odmietnu dokonca preložiť 16–20 % promptov; v írčine, maltčine, lotyštine, estónčine a litovčine len 2–5 %. Naprieč jazykmi táto miera rozpoznania škody úzko súvisí s ASR (ρ = −0,92). Z úspešných útokov v jazykoch okrem angličtiny sa 79 % týka promptov, ktorým model porozumel, a aj pri správne pochopených promptoch rastie ASR z 10,5–11,3 % vo veľkých západoeurópskych jazykoch (okrem holandčiny) na 19–23 % v jazykoch s najmenšími zdrojmi.

V jazykoch s najmenšími zdrojmi modely tiež odmietajú viac neškodných požiadaviek. V kontrolnom experimente s 10 modelmi odmietli 22–25 % neškodných promptov v lotyštine, maltčine, estónčine a litovčine, oproti 15 % v angličtine a 9–12 % vo veľkých západoeurópskych jazykoch. Ich odmietnutia menej závisia od toho, čo sa v skutočnosti požaduje. Bezpečnostné správanie naučené prevažne v angličtine sa neprenáša do jazykov, ktoré sú v trénovacích dátach zriedkavé.

Menej odmietnutí, ale nie vždy viac škody

Je rozdiel skutočný, alebo ide o artefakt klasifikátora či strojového prekladu? Overili sme to niekoľkými spôsobmi (obrázok 8). Hodnotenie odpovedí pomocou Llama Guard 3, klasifikátora z inej rodiny modelov, dáva rovnaký obraz, rovnako ako preklad odpovedí do angličtiny a ich hodnotenie v angličtine. Rozdiel pretrváva aj vtedy, keď použijeme len prompty, pri ktorých sa oba kandidátske preklady najviac zhodujú.

Náš klasifikátor rovnako ako Llama Guard 3 posudzuje, či je odpoveď nebezpečná, čo zahŕňa aj čiastočné a nekvalitné vyhovenie. Posudzovatelia, ktorí hodnotia, aký konkrétny a užitočný je škodlivý obsah, nachádzajú menší rozdiel: asi 3 percentuálne body pri klasifikátore HarmBench a hodnotiteľovi StrongREJECT a 8 pri modeli Gemma 3 27B s hodnotiacou škálou StrongREJECT. Mnohé neodmietnuté odpovede v jazykoch s najmenšími zdrojmi sú nekvalitné; v maltčine a írčine neposkytuje tretina úspešných útokov vôbec žiadnu konkrétnu pomoc. Najväčší nárast skutočnej škody je v jazykoch, ako je poľština, fínčina, maďarčina a slovinčina, kde sú modely zároveň menej bezpečné a stále schopné.

Pri hodnotiteľovi StrongREJECT a škále uplatnenej modelom Gemma: priemerné skóre × 100.

Stručne povedané: v jazykoch s najmenšími zdrojmi modely odmietajú oveľa menej často ako v angličtine, ale veľká časť toho, čo namiesto toho vytvoria, je pre útočníka málo užitočná. Rozdiel v odmietnutiach je napriek tomu skutočný: odmietnutie je bezpečnostné správanie, ktoré sa od týchto modelov očakáva, a schopnejšie modely môžu vytvoriť užitočnejší obsah, keď neodmietnu.

Čo to znamená, ak nasadzujete LLM v EÚ

1. Testujte bezpečnosť v každom jazyku, v ktorom systém nasadzujete. Výsledky z angličtiny sa neprenášajú a poradie modelov sa medzi jazykmi mení.
2. Sledujte najslabší jazyk, nie priemer. Priemer naprieč jazykmi zakrýva jazyky s najmenšími zdrojmi, kde je riziko najvyššie.
3. Merajte odmietnutia aj škodu. To, či model odmietne, a aký škodlivý je jeho výstup, sa môže rozchádzať, najmä v jazykoch s malými zdrojmi.
4. Jazyky, ktoré karta modelu neuvádza, považujte za vysoko rizikové. Nepredpokladajte však, že uvedené jazyky sú bezpečné.
5. Posilnite ochranu tam, kde je najviac potrebná. V jazykoch s najmenšími zdrojmi môže byť potrebný dodatočný bezpečnostný tréning alebo vstupný filter.

Tento benchmark je výskumný projekt. Hodnotenia pre našich klientov staviame okolo konkrétneho systému: jeho prípadov použitia, modelu hrozieb a jazykov, v ktorých píšu jeho používatelia, pričom vychádzame z toho, čo sa učíme z výskumu, ako je tento. Porozprávajme sa o tom vašom.