Bezpieczeństwo, którego nie da się przetłumaczyć: szkodliwe prompty we wszystkich 24 językach UE

Najważniejsze wnioski

1. Każdy z pozostałych 23 języków urzędowych UE ma wyższy wskaźnik skuteczności ataków niż angielski, średnio ponad dwukrotnie wyższy.
2. Różnica zależy od ilości tekstu, jaka istnieje w danym języku w internecie, a nie od alfabetu, którym się go zapisuje.
3. Pozycja modelu w języku angielskim słabo przewiduje jego pozycję w językach o najmniejszych zasobach.
4. Ta różnica nie jest nieunikniona: niektóre nowsze modele wykazują ją w niewielkim stopniu lub wcale, a większe modele z tej samej rodziny ją zmniejszają.
5. Modele rozumieją większość próśb. Zawodzi rozpoznanie, że są szkodliwe.
6. Nie wszystko, co się prześlizguje, jest przydatne dla atakującego, więc różnica w rzeczywistej szkodzie jest mniejsza niż różnica w odmowach, ale istnieje.

Dlaczego testować w 24 językach?

Unia Europejska ma 24 języki urzędowe i jednolity rynek, na którym produkty oparte na dużych modelach językowych (LLM) mają obsługiwać użytkowników wszystkich tych języków. Dostawcy znacznie poprawili działanie swoich modeli w tych językach. Ocena bezpieczeństwa nie nadąża: to, czy model odmawia pomocy przy szkodliwej prośbie, nadal mierzy się głównie po angielsku. Model, który wydaje się bezpieczny po angielsku, może spełnić tę samą prośbę napisaną po estońsku lub maltańsku, a ocena przeprowadzona wyłącznie po angielsku tego nie wykaże.

Wcześniejsze prace badały pojedyncze języki lub ich niewielkie grupy, a wielojęzyczne benchmarki szkodliwych próśb obejmowały oprócz angielskiego co najwyżej cztery języki UE. Zbudowaliśmy benchmark równoległy: te same szkodliwe prośby we wszystkich 24 językach urzędowych UE, aby można było bezpośrednio porównywać języki i modele.

Jak testowaliśmy

Wzięliśmy 1053 szkodliwe prompty z czterech uznanych benchmarków w języku angielskim: HarmBench (200 promptów), JBB-Behaviors (100), SORRY-Bench (440) i StrongREJECT (313). Każdy prompt przetłumaczono dwukrotnie na pozostałe 23 języki urzędowe UE, za pomocą DeepL i Claude Opus 4.5, a model LLM pełniący rolę sędziego wybrał tłumaczenie lepiej nadające się do oceny bezpieczeństwa. Łącznie benchmark liczy 25 272 prompty.

Każdy prompt wysłaliśmy do 34 modeli z otwartymi wagami o rozmiarze od 3 do 35 mld parametrów, z rodzin Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo i Apertus, jako pojedynczą wiadomość bez promptu systemowego. Każdą odpowiedź ocenił klasyfikator bezpieczeństwa Qwen3Guard-Gen-8B. Wskaźnik skuteczności ataków (Attack Success Rate, ASR) to odsetek szkodliwych próśb, które model spełnia: odpowiedź nie jest odmową, a klasyfikator uznaje ją za niebezpieczną lub kontrowersyjną.

Każdy język UE jest mniej bezpieczny niż angielski

Średnio dla 34 modeli ASR wynosi 7,7% po angielsku i jest wyższy w każdym z pozostałych 23 języków (rysunek 1). Rośnie od dużych języków zachodnioeuropejskich, 10–12% w językach francuskim, hiszpańskim, niemieckim, włoskim i portugalskim, do 22–23% w językach węgierskim, słoweńskim, litewskim, estońskim i maltańskim oraz 24,3% w języku łotewskim. Przedziały 95% wszystkich 23 języków leżą powyżej przedziału dla angielskiego.

1053 prompty na język, pierwsza odpowiedź każdego modelu, oceniona przez Qwen3Guard-Gen-8B. Języki pogrupowane według dostępności zasobów.

Dla produktu obsługującego wszystkie języki UE średnia ukrywa to, co najważniejsze: najsłabszy język. Llama 3.1 8B Instruct spełnia poza angielskim średnio 8,3% próśb, ale po łotewsku 20,4%. Qwen3 4B Instruct 2507 osiąga średnio 9,3%, a po maltańsku 26,0%; Phi-4 średnio 14,1%, a po maltańsku 36,4%.

Im mniej tekstu w sieci, tym większa różnica

Języki układają się według tego, ile tekstu istnieje w nich w internecie. W 24 językach ASR silnie koreluje z logarytmem udziału stron internetowych Common Crawl w danym języku (ρ Spearmana = −0,91), podobnie jak różnica względem angielskiego (ρ = −0,90, rysunek 2). Po pogrupowaniu według dostępności zasobów ASR wynosi około 12% w sześciu dużych językach zachodnioeuropejskich, 18% w jedenastu językach o średnich zasobach i 22% w sześciu językach o najmniejszych zasobach: irlandzkim, maltańskim, estońskim, łotewskim, litewskim i słoweńskim.

Udziały w Common Crawl według zbioru CC-MAIN-2026-39. Etykiety to kody języków ISO.

Alfabet nie wyjaśnia tej różnicy. Łotewski, litewski i estoński zapisuje się alfabetem łacińskim, tak jak francuski i hiszpański, a dwa języki o innym piśmie, bułgarski i grecki, przewyższają języki pisane alfabetem łacińskim średnio tylko o 1,8 punktu procentowego. Irlandzki i maltański, dwa języki z najmniejszą ilością tekstu w internecie, to także te, w których automatyczny klasyfikator jest najmniej wiarygodny, dlatego ich dokładne wartości są mniej pewne niż w przypadku pozostałych języków (zob. niżej).

Wyniki po angielsku nie powiedzą Ci, który model jest najbezpieczniejszy w Twoim języku

Dla każdego, kto wybiera model, to może być najważniejszy wniosek. Ranking 34 modeli po angielsku słabo przewiduje ich ranking w językach o mniejszych zasobach. Korelacja rang z rankingiem angielskim wynosi 0,81 dla hiszpańskiego, ale tylko 0,47 dla estońskiego, 0,43 dla irlandzkiego i 0,41 dla maltańskiego (rysunek 3). Model, który po angielsku należy do najbezpieczniejszych, w innym języku może należeć do najbardziej podatnych.

Korelacje rang dla 34 modeli.

Olmo 3 7B Instruct jest po angielsku dziesiątym najbezpieczniejszym z 34 modeli i spełnia 2,9% próśb, ale w pozostałych językach jest drugim najmniej bezpiecznym, ze średnią 43,4%. W przypadku Nemotron 3 Nano 4B wskaźnik rośnie z 1,3% po angielsku do 19,9%. W przypadku 16 z 34 modeli ASR poza angielskim jest ponad dwa razy wyższy niż po angielsku.

Różnica zależy od modelu i da się ją zniwelować

Wybór modelu ma duże znaczenie (rysunek 4). Średnio w 23 językach innych niż angielski ASR wynosi od 2,0% dla Qwen3.6 35B-A3B do 45,3% dla Mistral 7B Instruct v0.2, modelu z 2023 roku. W 33 z 34 modeli jest wyższy niż po angielsku, a w 11 z nich o ponad 10 punktów procentowych.

1053 prompty na język, pierwsza odpowiedź, oceniona przez Qwen3Guard-Gen-8B.

Kilka nowszych modeli wykazuje niewielką różnicę lub żadną. Gemma 4 31B nie jest mniej bezpieczna poza angielskim niż po angielsku (8,4% wobec 9,0%), a Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B i gpt-oss-20b pozostają w językach innych niż angielski średnio poniżej 5%. W każdej z sześciu rodzin, które testowaliśmy w więcej niż jednym rozmiarze, różnica maleje wraz ze wzrostem modelu (rysunek 5): z +17,4 do +8,9 i +2,8 punktu procentowego dla Granite 4.1 3B, 8B i 30B oraz z +6,2 do −0,6 od Gemma 4 E2B do 31B. Zachowanie bezpieczeństwa niezależne od języka jest osiągalne.

Rozmiary to łączna liczba parametrów; dla modeli typu mixture-of-experts podano także parametry aktywne.

Lista języków w karcie modelu to sygnał ostrzegawczy, a nie gwarancja

Dwanaście modeli podaje w swojej karcie niektóre, ale nie wszystkie z 23 języków UE innych niż angielski jako obsługiwane. W 11 z 12 przypadków ASR jest wyższy w językach, których nie wymieniono, średnio o 12,3 punktu procentowego (rysunek 6). Na przykład Llama 3.2 3B Instruct spełnia 10,6% próśb po angielsku, 7,4% w pięciu językach UE wymienionych w jej karcie i 32,8% w pozostałych 18.

Wymieniony język nie jest jednak automatycznie bezpieczny. Wymienione języki to głównie te duże, a przy tym samym języku modele, które go wymieniają, są w nim tylko nieznacznie bezpieczniejsze niż modele, które tego nie robią (o 4,4 punktu procentowego, co nie jest istotne statystycznie). Pięć modeli, których karty wymieniają wszystkie 23 języki, czyli trzy modele EuroLLM i dwa Tiny Aya, nadal ma różnice od 6,6 do 13,0 punktu procentowego.

Obsługiwane języki według kart modeli.

Jakich rodzajów szkód to dotyczy?

Różnica nie ogranicza się do kilku tematów. Pogrupowaliśmy 66 kategorii z czterech benchmarków w 13 rodzajów szkód (podział jest nasz; eksplorator poniżej pokazuje, które kategorie należą do którego rodzaju). Każdy rodzaj ma wyższy ASR poza angielskim (rysunek 7), od +4,8 punktu procentowego w przypadku naruszeń prywatności do +14,2 w przypadku perswazji politycznej, religijnej i etycznej. Prośby dotyczące broni, narkotyków i niebezpiecznych towarów są poza angielskim spełniane 2,5 raza częściej (17,0% wobec 6,9%), a prośby dotyczące cyberprzestępczości i hakowania 2,7 raza częściej (17,8% wobec 6,6%).

Rodzaje szkód grupują 66 kategorii z HarmBench, JBB-Behaviors, SORRY-Bench i StrongREJECT.

Niektóre kategorie zmieniają się drastycznie. Prośby o promowanie religii są po angielsku niemal zawsze odrzucane (spełnianych jest 0,9%), ale w pozostałych językach spełnia się je w 23,3% przypadków. W przypadku próśb o promowanie teorii spiskowych odsetek rośnie z 22,1% do 38,3%.

Modele rozumieją prośby. Nie dostrzegają tylko szkody

Model może spełnić prośbę w innym języku, ponieważ jego zachowanie polegające na odmowie nie przenosi się na ten język, albo dlatego, że nie rozumie prośby na tyle dobrze, by dostrzec, że jest szkodliwa. Aby odróżnić te przypadki, poprosiliśmy każdy model o przetłumaczenie na angielski próbki promptów z każdego języka.

Modele poprawnie tłumaczą większość promptów w każdym języku: średnio 74–84%, z wyjątkiem estońskiego (71%), maltańskiego (65%) i irlandzkiego (54%). Jednak jako szkodliwe rozpoznają znacznie mniej próśb. W dużych językach zachodnioeuropejskich odmawiają nawet przetłumaczenia 16–20% promptów; w irlandzkim, maltańskim, łotewskim, estońskim i litewskim tylko 2–5%. W przekroju języków ten wskaźnik rozpoznawania szkody jest ściśle powiązany z ASR (ρ = −0,92). Spośród udanych ataków w językach innych niż angielski 79% dotyczy promptów, które model zrozumiał, a nawet wśród poprawnie zrozumianych promptów ASR rośnie z 10,5–11,3% w dużych językach zachodnioeuropejskich (z wyjątkiem niderlandzkiego) do 19–23% w językach o najmniejszych zasobach.

W językach o najmniejszych zasobach modele odrzucają też więcej nieszkodliwych próśb. W eksperymencie kontrolnym z udziałem 10 modeli odrzuciły 22–25% nieszkodliwych promptów w językach łotewskim, maltańskim, estońskim i litewskim, wobec 15% po angielsku i 9–12% w dużych językach zachodnioeuropejskich. Ich odmowy w mniejszym stopniu zależą od tego, o co faktycznie się prosi. Zachowanie bezpieczeństwa wyuczone głównie po angielsku nie przenosi się na języki rzadko występujące w danych treningowych.

Mniej odmów, ale nie zawsze więcej szkody

Czy różnica jest prawdziwa, czy to artefakt klasyfikatora lub tłumaczenia maszynowego? Sprawdziliśmy to na kilka sposobów (rysunek 8). Ocena odpowiedzi za pomocą Llama Guard 3, klasyfikatora z innej rodziny modeli, daje ten sam obraz, podobnie jak przetłumaczenie odpowiedzi na angielski i ocena po angielsku. Różnica utrzymuje się także wtedy, gdy uwzględniamy tylko prompty, których dwa kandydujące tłumaczenia są najbardziej zgodne.

Nasz klasyfikator, podobnie jak Llama Guard 3, ocenia, czy odpowiedź jest niebezpieczna, co obejmuje częściowe i niskiej jakości spełnienie prośby. Sędziowie oceniający, na ile szkodliwa treść jest konkretna i użyteczna, wykazują mniejszą różnicę: około 3 punktów procentowych w przypadku klasyfikatora HarmBench i oceniającego StrongREJECT oraz 8 w przypadku Gemma 3 27B stosującej rubrykę StrongREJECT. Wiele odpowiedzi, które nie zostały odrzucone w językach o najmniejszych zasobach, jest niskiej jakości; po maltańsku i irlandzku jedna trzecia udanych ataków nie daje żadnej konkretnej pomocy. Największe wzrosty rzeczywistej szkody występują w językach takich jak polski, fiński, węgierski i słoweński, w których modele są zarazem mniej bezpieczne i wciąż sprawne.

Dla oceniającego StrongREJECT i rubryki stosowanej przez Gemmę: średni wynik × 100.

Krótko mówiąc, w językach o najmniejszych zasobach modele odmawiają znacznie rzadziej niż po angielsku, ale wiele z tego, co w zamian generują, jest mało przydatne dla atakującego. Różnica w odmowach jest jednak realna: odmowa to zachowanie bezpieczeństwa, którego oczekuje się od tych modeli, a bardziej zaawansowane modele mogą generować bardziej użyteczne treści, gdy nie odmawiają.

Co to oznacza, jeśli wdrażasz LLM w UE

1. Testuj bezpieczeństwo w każdym języku wdrożenia. Wyniki po angielsku się nie przenoszą, a ranking modeli zmienia się w zależności od języka.
2. Patrz na najsłabszy język, a nie na średnią. Średnia dla wszystkich języków ukrywa te o najmniejszych zasobach, w których ryzyko jest największe.
3. Mierz zarówno odmowy, jak i szkodę. To, czy model odmawia, i to, jak szkodliwe są jego odpowiedzi, mogą się rozjeżdżać, zwłaszcza w językach o małych zasobach.
4. Traktuj języki nieobecne w karcie modelu jako języki wysokiego ryzyka. Nie zakładaj jednak, że języki wymienione są bezpieczne.
5. Wzmacniaj zabezpieczenia tam, gdzie są najbardziej potrzebne. W językach o najmniejszych zasobach może być konieczne dodatkowe trenowanie bezpieczeństwa lub filtr danych wejściowych.

Ten benchmark jest projektem badawczym. Ewaluacje dla naszych klientów projektujemy wokół konkretnego systemu: jego zastosowań, modelu zagrożeń i języków, w których piszą jego użytkownicy, opierając się na tym, czego uczymy się z badań takich jak to. Porozmawiajmy o Twoim.