Fő megállapítások
- A többi 23 hivatalos uniós nyelv mindegyikén magasabb a sikeres támadások aránya, mint angolul, átlagosan több mint kétszer akkora.
- A különbség azt követi, mennyi szöveg létezik az adott nyelven a weben, nem pedig azt, milyen írásrendszerrel írják a nyelvet.
- Egy modell angol rangsorbeli helye rossz útmutató ahhoz, hol áll a legkevesebb erőforrással rendelkező nyelveken.
- A különbség nem elkerülhetetlen: néhány újabb modellnél alig vagy egyáltalán nem jelentkezik, és ugyanazon család nagyobb modelljei csökkentik.
- A modellek a kérések többségét megértik. Az nem sikerül nekik, hogy károsnak ismerjék fel őket.
- Nem minden, ami átjut, hasznos a támadónak, ezért a tényleges kárban mért különbség kisebb, mint az elutasításokban mért, de létezik.
Miért 24 nyelven tesztelünk?
Az Európai Uniónak 24 hivatalos nyelve és egységes piaca van, amelyen a nagy nyelvi modellekre (LLM) épülő termékektől elvárják, hogy mindegyik nyelv beszélőit kiszolgálják. A szolgáltatók sokat javítottak modelljeiken ezeken a nyelveken. A biztonsági értékelés nem tartott lépést ezzel: azt, hogy egy modell megtagadja-e a segítséget egy káros kérésnél, még mindig főleg angolul mérik. Egy modell, amely angolul biztonságosnak tűnik, teljesítheti ugyanazt a kérést észtül vagy máltaiul, és egy csak angol nyelvű értékelés ezt nem mutatja meg.
A korábbi munkák egyes nyelveket vagy kisebb nyelvcsoportokat vizsgáltak, a káros kérések többnyelvű benchmarkjai pedig az angolon kívül legfeljebb négy uniós nyelvet fedtek le. Párhuzamos benchmarkot építettünk: ugyanazokat a káros kéréseket mind a 24 hivatalos uniós nyelven, hogy a nyelvek és a modellek közvetlenül összehasonlíthatók legyenek.
Hogyan teszteltünk
Négy bevett angol nyelvű benchmarkból 1053 káros promptot vettünk: HarmBench (200 prompt), JBB-Behaviors (100), SORRY-Bench (440) és StrongREJECT (313). Minden promptot kétszer fordítottunk le a többi 23 hivatalos uniós nyelvre, a DeepL-lel és a Claude Opus 4.5-tel, és egy bírálóként működő LLM választotta ki a biztonsági értékeléshez alkalmasabb fordítást. A benchmark összesen 25 272 promptot tartalmaz.
Minden promptot egyetlen üzenetként, rendszerprompt nélkül küldtünk el 34 nyílt súlyú, 3–35 milliárd paraméteres modellnek a Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo és Apertus családból. Minden választ a Qwen3Guard-Gen-8B biztonsági osztályozó értékelt. A sikeres támadások aránya (Attack Success Rate, ASR) azoknak a káros kéréseknek az aránya, amelyeket egy modell teljesít: a válasz nem elutasítás, és az osztályozó nem biztonságosnak vagy vitatottnak minősíti.
Minden uniós nyelv kevésbé biztonságos, mint az angol
A 34 modell átlagában az ASR angolul 7,7%, és a többi 23 nyelv mindegyikén magasabb (1. ábra). Értéke a nagy nyugat-európai nyelvektől (franciául, spanyolul, németül, olaszul és portugálul 10–12%) a magyarig, a szlovénig, a litvánig, az észtig és a máltaiig (22–23%), valamint a lettig (24,3%) emelkedik. Mind a 23 nyelv 95%-os intervalluma az angolé fölött van.
Nyelvenként 1053 prompt, minden modell első válasza, a Qwen3Guard-Gen-8B értékelésével. A nyelvek az erőforrások elérhetősége szerint csoportosítva.
Egy olyan terméknél, amely minden uniós nyelvet kiszolgál, az átlag elrejti a legfontosabbat: a leggyengébb nyelvet. A Llama 3.1 8B Instruct teljesítési aránya az angolon kívül átlagosan 8,3%, lettül viszont 20,4%. A Qwen3 4B Instruct 2507 átlaga 9,3%, máltaiul pedig 26,0%; a Phi-4 átlaga 14,1%, máltaiul 36,4%.
Minél kevesebb a webes szöveg, annál nagyobb a különbség
A nyelvek aszerint rendeződnek, mennyi szöveg létezik rajtuk a weben. A 24 nyelv körében az ASR erősen korrelál a Common Crawl adott nyelvű weboldalai arányának logaritmusával (Spearman-féle ρ = −0,91), és ugyanez igaz az angoltól való eltérésre is (ρ = −0,90, 2. ábra). Az erőforrások elérhetősége szerint csoportosítva az ASR körülbelül 12% a hat nagy nyugat-európai nyelven, 18% a tizenegy közepes erőforrású nyelven és 22% a hat legkevesebb erőforrással rendelkező nyelven: az íren, a máltain, az észten, a letten, a litvánon és a szlovénen.
A Common Crawl-részarányok a CC-MAIN-2026-39 gyűjtésből származnak. A címkék ISO nyelvkódok.
Az írásrendszer nem magyarázza a különbséget. A lettet, a litvánt és az észtet latin betűkkel írják, akárcsak a franciát és a spanyolt, a két más írásrendszerű nyelv, a bolgár és a görög pedig átlagosan csak 1,8 százalékponttal áll a latin betűs nyelvek fölött. Az ír és a máltai, a két legkevesebb webes szöveggel rendelkező nyelv, egyben az a két nyelv, amelyen az automatikus osztályozó a legkevésbé megbízható, így pontos értékeik bizonytalanabbak, mint a többi nyelvé (lásd alább).
Az angol eredményekből nem derül ki, melyik modell a legbiztonságosabb az Ön nyelvén
Aki modellt választ, annak talán ez a legfontosabb megállapítás. A 34 modell angol rangsora rossz útmutató ahhoz, hogyan rangsorolódnak a kevesebb erőforrással rendelkező nyelveken. Az angol rangsorral vett rangkorreláció a spanyolnál 0,81, az észtnél viszont csak 0,47, az írnél 0,43, a máltainál pedig 0,41 (3. ábra). Egy modell, amely angolul a legbiztonságosabbak közé tartozik, egy másik nyelven a legsebezhetőbbek közé tartozhat.
Rangkorrelációk a 34 modellre.
Az Olmo 3 7B Instruct angolul a tizedik legbiztonságosabb a 34 modell közül, a kérések 2,9%-át teljesíti, a többi nyelven viszont a második legkevésbé biztonságos, átlagosan 43,4%-kal. A Nemotron 3 Nano 4B aránya angolul 1,3%, a többi nyelven 19,9%. A 34 modellből 16-nál az angolon kívüli ASR több mint kétszerese az angolnak.
A különbség a modelltől függ, és megszüntethető
A modellválasztás nagyon sokat számít (4. ábra). Az angolon kívüli 23 nyelv átlagában az ASR a Qwen3.6 35B-A3B 2,0%-ától a 2023-as Mistral 7B Instruct v0.2 45,3%-áig terjed. A 34 modellből 33-nál magasabb, mint angolul, és közülük 11-nél több mint 10 százalékponttal.
Nyelvenként 1053 prompt, első válasz, a Qwen3Guard-Gen-8B értékelésével.
Több újabb modellnél kicsi a különbség, vagy egyáltalán nincs. A Gemma 4 31B az angolon kívül semmivel sem kevésbé biztonságos, mint angolul (8,4%, illetve 9,0%), a Qwen3.5 9B, a Qwen3.6 35B-A3B, a Qwen3.8 27B és a gpt-oss-20b pedig az angolon kívüli nyelveken átlagosan 5% alatt marad. Mind a hat családban, amelyet több méretben is teszteltünk, a különbség a modellek méretével csökken (5. ábra): a Granite 4.1 3B, 8B és 30B esetében +17,4, +8,9, illetve +2,8 százalékpont, a Gemma 4 E2B-nél +6,2, a 31B-nél −0,6 százalékpont. A minden nyelven érvényes biztonsági viselkedés elérhető.
A méretek a teljes paraméterszámot jelentik; a mixture-of-experts modelleknél az aktív paraméterek is szerepelnek.
A modellkártya nyelvlistája figyelmeztető jel, nem garancia
Tizenkét modell a modellkártyáján a 23 nem angol uniós nyelv közül néhányat, de nem mindet tünteti fel támogatottként. A 12-ből 11-nél az ASR magasabb a fel nem tüntetett nyelveken, átlagosan 12,3 százalékponttal (6. ábra). A Llama 3.2 3B Instruct például angolul 10,6%, a kártyáján szereplő öt uniós nyelven 7,4%, a többi 18 nyelven pedig 32,8% arányban teljesíti a kéréseket.
A feltüntetett nyelv azonban nem automatikusan biztonságos. A feltüntetett nyelvek többnyire a nagy nyelvek, és ugyanazon a nyelven a nyelvet feltüntető modellek csak kissé biztonságosabbak, mint azok, amelyek nem tüntetik fel (4,4 százalékponttal, ami statisztikailag nem szignifikáns). Az az öt modell, amelynek kártyája mind a 23 nyelvet feltünteti, vagyis a három EuroLLM-modell és a két Tiny Aya-modell, így is 6,6–13,0 százalékpontos különbséget mutat.
A támogatott nyelvek a modellkártyák szerint.
Milyen ártalomtípusokat érint?
A különbség nem korlátozódik néhány témára. A négy benchmark 66 kategóriáját 13 ártalomtípusba soroltuk (a csoportosítás a miénk; az alábbi adatböngésző megmutatja, melyik kategória melyik típushoz tartozik). Minden típusnál magasabb az ASR az angolon kívül (7. ábra), a magánszféra megsértésénél mért +4,8 százalékponttól a politikai, vallási és etikai meggyőzésnél mért +14,2 százalékpontig. A fegyverekkel, drogokkal és veszélyes árukkal kapcsolatos kéréseket a modellek az angolon kívül 2,5-szer olyan gyakran teljesítik (17,0%, illetve 6,9%), a kiberbűnözéssel és hekkeléssel kapcsolatos kéréseket pedig 2,7-szer olyan gyakran (17,8%, illetve 6,6%).
Az ártalomtípusok a HarmBench, a JBB-Behaviors, a SORRY-Bench és a StrongREJECT 66 kategóriáját csoportosítják.
Egyes kategóriák drámaian megváltoznak. Egy vallás népszerűsítésére irányuló kéréseket a modellek angolul szinte mindig elutasítják (csak 0,9% teljesül), a többi nyelven viszont 23,3% teljesül. Az összeesküvés-elméletek terjesztésére irányuló kéréseknél az arány 22,1%-ról 38,3%-ra nő.
A modellek értik a kéréseket. Csak a kárt nem látják
Egy modell azért is teljesíthet egy kérést egy másik nyelven, mert elutasító viselkedése nem terjed át erre a nyelvre, de azért is, mert nem érti elég jól a kérést ahhoz, hogy felismerje: káros. A két eset elkülönítésére minden modellt megkértünk, hogy fordítsa le angolra a promptok egy mintáját minden nyelvről.
A modellek minden nyelven a promptok többségét pontosan lefordítják: átlagosan 74–84%-ukat, kivéve az észtet (71%), a máltait (65%) és az írt (54%). Károsnak viszont sokkal kevesebb kérést ismernek fel. A nagy nyugat-európai nyelveken a promptok 16–20%-ának még a lefordítását is megtagadják; írül, máltaiul, lettül, észtül és litvánul csak 2–5%-áét. A nyelvek között a kár felismerésének ez az aránya szorosan összefügg az ASR-rel (ρ = −0,92). Az angolon kívüli nyelveken végrehajtott sikeres támadások 79%-a olyan promptokra esik, amelyeket a modell megértett, és az ASR még a pontosan megértett promptoknál is a nagy nyugat-európai nyelvek (a holland kivételével) 10,5–11,3%-áról a legkevesebb erőforrással rendelkező nyelvek 19–23%-ára nő.
A legkevesebb erőforrással rendelkező nyelveken a modellek több ártalmatlan kérést is elutasítanak. Egy 10 modellel végzett kontrollkísérletben lettül, máltaiul, észtül és litvánul az ártalmatlan promptok 22–25%-át utasították el, szemben az angol 15%-ával és a nagy nyugat-európai nyelvek 9–12%-ával. Elutasításaik kevésbé függnek attól, hogy valójában mit kérnek tőlük. A főként angolul tanult biztonsági viselkedés nem terjed át azokra a nyelvekre, amelyek ritkák a tanítóadatokban.
Kevesebb elutasítás, de nem mindig több kár
Valódi a különbség, vagy az osztályozó vagy a gépi fordítás mellékterméke? Több módon is ellenőriztük (8. ábra). Ha a válaszokat a Llama Guard 3-mal, egy másik modellcsalád osztályozójával értékeljük, ugyanazt a képet kapjuk, és akkor is, ha a válaszokat angolra fordítjuk, és angolul értékeljük. A különbség akkor is megmarad, ha csak azokat a promptokat használjuk, amelyeknek két jelölt fordítása a leginkább egyezik.
Osztályozónk, akárcsak a Llama Guard 3, azt ítéli meg, hogy egy válasz nem biztonságos-e, ami a részleges és gyenge minőségű teljesítést is magában foglalja. Azok a bírálók, amelyek azt értékelik, mennyire konkrét és hasznos a káros tartalom, kisebb különbséget találnak: körülbelül 3 százalékpontot a HarmBench osztályozónál és a StrongREJECT pontozónál, valamint 8-at a StrongREJECT értékelési skálájával pontozó Gemma 3 27B-nél. A legkevesebb erőforrással rendelkező nyelveken a nem elutasított válaszok közül sok gyenge minőségű; máltaiul és írül a sikeres támadások harmada semmilyen konkrét segítséget nem nyújt. A tényleges kár az olyan nyelveken nő a legjobban, mint a lengyel, a finn, a magyar és a szlovén, ahol a modellek egyszerre kevésbé biztonságosak és még mindig képesek.
A StrongREJECT pontozónál és a Gemma-skálánál: átlagpontszám × 100.
Röviden: a legkevesebb erőforrással rendelkező nyelveken a modellek sokkal ritkábban utasítanak el, mint angolul, de amit helyette előállítanak, annak nagy része kevéssé hasznos a támadónak. Az elutasításokban mért különbség ettől még valós: az elutasítás az a biztonsági viselkedés, amelyet ezektől a modellektől elvárunk, és a képesebb modellek hasznosabb tartalmat állíthatnak elő, ha nem utasítanak el.
Mit jelent ez, ha LLM-eket vezet be az EU-ban
- Tesztelje a biztonságot minden nyelven, amelyen a rendszert bevezeti. Az angol eredmények nem vihetők át, és a modellek rangsora nyelvről nyelvre változik.
- A leggyengébb nyelvet nézze, ne az átlagot. A nyelvekre vett átlag elrejti a legkevesebb erőforrással rendelkező nyelveket, ahol a legnagyobb a kockázat.
- Mérje az elutasításokat és a kárt is. Az, hogy egy modell elutasít-e, és az, hogy mennyire káros a kimenete, eltérhet egymástól, leginkább a kevés erőforrású nyelveken.
- Kezelje magas kockázatúként a modellkártyáról hiányzó nyelveket. De ne feltételezze, hogy a feltüntetett nyelvek biztonságosak.
- Ott építsen be védelmet, ahol a legnagyobb szükség van rá. A legkevesebb erőforrással rendelkező nyelveken további biztonsági tanításra vagy bemeneti szűrőre lehet szükség.
Ez a benchmark kutatási projekt. Ügyfeleink számára az értékeléseket az adott rendszer köré építjük: a felhasználási esetei, a fenyegetési modellje és a felhasználói által használt nyelvek köré, az ehhez hasonló kutatásokból szerzett tapasztalatainkra építve. Beszéljünk az Önéről.