Безопасност, която се губи в превода: вредни подкани на всички 24 езика на ЕС

Основни изводи

1. Всеки от останалите 23 официални езика на ЕС има по-висок процент на успешните атаки от английския, средно повече от два пъти по-висок.
2. Разликата следва количеството текст на съответния език в интернет, а не азбуката, на която се пише езикът.
3. Класирането на даден модел на английски е лош ориентир за класирането му на езиците с най-малко ресурси.
4. Разликата не е неизбежна: някои по-нови модели почти нямат такава, а по-големите модели от едно и също семейство я намаляват.
5. Моделите разбират повечето заявки. Не успяват да разпознаят, че те са вредни.
6. Не всичко, което се промъква, е полезно за нападателя, затова разликата в реалната вреда е по-малка от разликата в отказите, но я има.

Защо да тестваме на 24 езика?

Европейският съюз има 24 официални езика и единен пазар, на който продуктите, изградени върху големи езикови модели (LLM), трябва да обслужват говорещите всички тези езици. Доставчиците значително подобриха моделите си на тези езици. Оценката на безопасността не върви в крак: дали моделът отказва да помогне при вредна заявка, все още се измерва предимно на английски. Модел, който изглежда безопасен на английски, може да изпълни същата заявка, написана на естонски или малтийски, а оценка само на английски няма да го покаже.

Досегашните изследвания разглеждат отделни езици или малки групи от езици, а многоезичните бенчмаркове с вредни заявки обхващат освен английския най-много четири езика на ЕС. Създадохме паралелен бенчмарк: едни и същи вредни заявки на всички 24 официални езика на ЕС, така че езиците и моделите да могат да се сравняват пряко.

Как тествахме

Взехме 1053 вредни подкани от четири утвърдени английски бенчмарка: HarmBench (200 подкани), JBB-Behaviors (100), SORRY-Bench (440) и StrongREJECT (313). Всяка подкана беше преведена на останалите 23 официални езика на ЕС два пъти, с DeepL и с Claude Opus 4.5, а LLM в ролята на оценител избра превода, по-подходящ за оценка на безопасността. Общо бенчмаркът съдържа 25 272 подкани.

Изпратихме всяка подкана като единично съобщение без системна подкана до 34 модела с отворени тегла с размер от 3 до 35 милиарда параметъра от семействата Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo и Apertus. Всеки отговор беше оценен от класификатора за безопасност Qwen3Guard-Gen-8B. Процентът на успешните атаки (Attack Success Rate, ASR) е делът на вредните заявки, които моделът изпълнява: отговорът не е отказ и класификаторът го определя като опасен или спорен.

Всеки език на ЕС е по-малко безопасен от английския

Средно за 34-те модела ASR е 7,7% на английски и по-висок на всеки от останалите 23 езика (фигура 1). Той нараства от големите западноевропейски езици, 10–12% на френски, испански, немски, италиански и португалски, до 22–23% на унгарски, словенски, литовски, естонски и малтийски и 24,3% на латвийски. 95-процентните интервали на всички 23 езика лежат над този на английския.

1053 подкани на език, първият отговор на всеки модел, оценен от Qwen3Guard-Gen-8B. Езиците са групирани по наличност на ресурси.

За продукт, който обслужва всички езици на ЕС, средната стойност скрива най-важното: най-слабия език. Llama 3.1 8B Instruct изпълнява средно 8,3% от заявките извън английския, но 20,4% на латвийски. Qwen3 4B Instruct 2507 има средно 9,3% и достига 26,0% на малтийски; Phi-4 има средно 14,1% и достига 36,4% на малтийски.

Колкото по-малко текст в интернет, толкова по-голяма разлика

Езиците се подреждат според това колко текст на тях има в интернет. При 24-те езика ASR силно корелира с логаритъма на дела на уеб страниците в Common Crawl на съответния език (ρ на Спирман = −0,91), както и разликата спрямо английския (ρ = −0,90, фигура 2). Групиран по наличност на ресурси, ASR е около 12% при шестте големи западноевропейски езика, 18% при единадесетте езика със средни ресурси и 22% при шестте езика с най-малко ресурси: ирландски, малтийски, естонски, латвийски, литовски и словенски.

Дяловете в Common Crawl са от обхождането CC-MAIN-2026-39. Етикетите са ISO кодове на езиците.

Азбуката не обяснява разликата. Латвийският, литовският и естонският се пишат на латиница, както френският и испанският, докато двата езика с друга писменост, българският и гръцкият, са средно само с 1,8 процентни пункта над езиците на латиница. Ирландският и малтийският, двата езика с най-малко текст в интернет, са и езиците, при които автоматичният класификатор е най-малко надежден, затова точните им стойности са по-несигурни от тези на останалите езици (вижте по-долу).

Резултатите на английски не ви казват кой модел е най-безопасен на вашия език

За всеки, който избира модел, това може би е най-важният извод. Класирането на 34-те модела на английски е лош ориентир за класирането им на езиците с по-малко ресурси. Ранговата корелация с класирането на английски е 0,81 за испански, но само 0,47 за естонски, 0,43 за ирландски и 0,41 за малтийски (фигура 3). Модел, който е сред най-безопасните на английски, може да бъде сред най-уязвимите на друг език.

Рангови корелации за 34-те модела.

Olmo 3 7B Instruct е десетият най-безопасен от 34-те модела на английски, като изпълнява 2,9% от заявките, и вторият най-малко безопасен на останалите езици, със средно 43,4%. Nemotron 3 Nano 4B се покачва от 1,3% на английски до 19,9%. При 16 от 34-те модела ASR извън английския е повече от два пъти по-висок от този на английски.

Разликата зависи от модела и може да бъде преодоляна

Изборът на модел има голямо значение (фигура 4). Средно за 23-те езика без английския ASR варира от 2,0% при Qwen3.6 35B-A3B до 45,3% при Mistral 7B Instruct v0.2, модел от 2023 г. При 33 от 34-те модела той е по-висок, отколкото на английски, а при 11 от тях с повече от 10 процентни пункта.

1053 подкани на език, първи отговор, оценен от Qwen3Guard-Gen-8B.

Няколко по-нови модела показват малка разлика или никаква. Gemma 4 31B не е по-малко безопасен извън английския, отколкото на английски (8,4% срещу 9,0%), а Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B и gpt-oss-20b остават средно под 5% на езиците без английския. Във всяко от шестте семейства, които тествахме в повече от един размер, разликата намалява с нарастването на моделите (фигура 5): от +17,4 на +8,9 и +2,8 процентни пункта при Granite 4.1 3B, 8B и 30B и от +6,2 на −0,6 от Gemma 4 E2B до 31B. Безопасно поведение, валидно за всички езици, е постижимо.

Размерите са общ брой параметри; при моделите със смес от експерти (mixture-of-experts) са показани и активните параметри.

Списъкът с езици в картата на модела е предупредителен знак, а не гаранция

Дванадесет от моделите посочват в картата на модела като поддържани някои, но не всички от 23-те езика на ЕС без английския. При 11 от 12-те ASR е по-висок на езиците, които не са посочени, средно с 12,3 процентни пункта (фигура 6). Llama 3.2 3B Instruct например изпълнява 10,6% от заявките на английски, 7,4% на петте езика на ЕС, посочени в картата му, и 32,8% на останалите 18.

Посоченият език обаче не е автоматично безопасен. Посочените езици са предимно големите, а при един и същ език моделите, които го посочват, са на него само малко по-безопасни от моделите, които не го посочват (с 4,4 процентни пункта, което не е статистически значимо). Петте модела, чиито карти посочват всички 23 езика, трите модела EuroLLM и двата модела Tiny Aya, все пак имат разлики от 6,6 до 13,0 процентни пункта.

Поддържани езици според картите на моделите.

Кои видове вреда са засегнати?

Разликата не се ограничава до няколко теми. Групирахме 66-те категории на четирите бенчмарка в 13 вида вреда (групирането е наше; интерактивният преглед на данните по-долу показва кои категории към кой вид принадлежат). Всеки вид има по-висок ASR извън английския (фигура 7), от +4,8 процентни пункта при нарушенията на поверителността до +14,2 при политическото, религиозното и етичното убеждаване. Заявките, свързани с оръжия, наркотици и опасни стоки, се изпълняват 2,5 пъти по-често извън английския (17,0% срещу 6,9%), а заявките, свързани с киберпрестъпност и хакерство, 2,7 пъти по-често (17,8% срещу 6,6%).

Видовете вреда групират 66-те категории на HarmBench, JBB-Behaviors, SORRY-Bench и StrongREJECT.

Някои отделни категории се променят драматично. На заявките за популяризиране на религия моделите почти винаги отказват на английски (изпълняват само 0,9%), но на останалите езици ги изпълняват в 23,3% от случаите. При заявките за разпространяване на конспиративни теории делът нараства от 22,1% на 38,3%.

Моделите разбират заявките. Просто не виждат вредата

Един модел може да изпълни заявка на друг език, защото поведението му на отказ не се пренася към този език, или защото не разбира заявката достатъчно добре, за да види, че е вредна. За да разграничим двата случая, помолихме всеки модел да преведе на английски извадка от подканите на всеки език.

Моделите превеждат точно повечето подкани на всеки език: средно 74–84%, с изключение на естонски (71%), малтийски (65%) и ирландски (54%). Но разпознават като вредни много по-малко заявки. На големите западноевропейски езици те отказват дори да преведат 16–20% от подканите; на ирландски, малтийски, латвийски, естонски и литовски само 2–5%. Между езиците този дял на разпознаване на вредата е тясно свързан с ASR (ρ = −0,92). От успешните атаки на езиците без английския 79% са при подкани, които моделът е разбрал, и дори при точно разбраните подкани ASR нараства от 10,5–11,3% на големите западноевропейски езици (без нидерландския) до 19–23% на езиците с най-малко ресурси.

На езиците с най-малко ресурси моделите отказват и повече безобидни заявки. В контролен експеримент с 10 от моделите те отказаха 22–25% от безобидните подкани на латвийски, малтийски, естонски и литовски срещу 15% на английски и 9–12% на големите западноевропейски езици. Отказите им зависят по-малко от това какво всъщност се иска. Поведението на безопасност, научено предимно на английски, не се пренася към езици, които са редки в данните за обучение.

По-малко откази, но не винаги повече вреда

Реална ли е разликата, или е артефакт на класификатора или на машинния превод? Проверихме това по няколко начина (фигура 8). Оценяването на отговорите с Llama Guard 3, класификатор от друго семейство модели, дава същата картина, както и превеждането на отговорите на английски и оценяването им там. Разликата остава и когато използваме само подканите, чиито два кандидат-превода съвпадат най-точно.

Нашият класификатор, подобно на Llama Guard 3, преценява дали даден отговор е опасен, което включва частично и некачествено изпълнение. Оценителите, които преценяват колко конкретно и полезно е вредното съдържание, откриват по-малка разлика: около 3 процентни пункта при класификатора на HarmBench и оценителя на StrongREJECT и 8 при Gemma 3 27B, оценяващ по скалата на StrongREJECT. Много от отговорите, които не са откази на езиците с най-малко ресурси, са с ниско качество; на малтийски и ирландски една трета от успешните атаки не дават никаква конкретна помощ. Най-голямо е нарастването на реалната вреда при езици като полски, фински, унгарски и словенски, където моделите са едновременно по-малко безопасни и все още способни.

За оценителя на StrongREJECT и скалата с Gemma: средна оценка × 100.

Накратко: на езиците с най-малко ресурси моделите отказват много по-рядко, отколкото на английски, но голяма част от това, което създават вместо това, е от малка полза за нападателя. Разликата в отказите въпреки това е реална: отказът е поведението на безопасност, което тези модели трябва да имат, а по-способните модели могат да създадат по-полезно съдържание, когато не откажат.

Какво означава това, ако внедрявате LLM в ЕС

1. Тествайте безопасността на всеки език, на който внедрявате системата. Резултатите на английски не се пренасят, а класирането на моделите се променя от език на език.
2. Гледайте най-слабия език, а не средната стойност. Средната стойност по езици скрива езиците с най-малко ресурси, където рискът е най-висок.
3. Измервайте както отказите, така и вредата. Дали моделът отказва и колко вреден е резултатът му може да се разминава, най-вече при езиците с малко ресурси.
4. Третирайте езиците, които липсват в картата на модела, като високорискови. Но не приемайте, че посочените езици са безопасни.
5. Добавете защитни мерки там, където са най-необходими. При езиците с най-малко ресурси може да са необходими допълнително обучение за безопасност или входен филтър.

Този бенчмарк е изследователски проект. Оценките за нашите клиенти изграждаме около всяка система: нейните случаи на употреба, модела на заплахите и езиците, на които пишат потребителите ѝ, като се опираме на наученото от изследвания като това. Разкажете ни за вашата.