Uma segurança que não se traduz: prompts nocivos nas 24 línguas da UE

7,7%dos pedidos nocivos são cumpridos em inglês, em média em 34 modelos

17,3%em média nas outras 23 línguas da UE

24,3%em letão, o valor mais alto das 24 línguas

33 de 34modelos são menos seguros fora do inglês

Principais conclusões

Cada uma das outras 23 línguas oficiais da UE tem uma taxa de sucesso dos ataques superior à do inglês, em média mais do dobro.
A diferença acompanha a quantidade de texto que existe numa língua na web, não o alfabeto em que se escreve.
A posição de um modelo em inglês é um mau indicador da sua posição nas línguas com menos recursos.
A diferença não é inevitável: alguns modelos recentes quase não a mostram, ou não a mostram de todo, e os modelos maiores de uma mesma família reduzem-na.
Os modelos compreendem a maioria dos pedidos. O que falha é reconhecê-los como nocivos.
Nem tudo o que escapa é útil a um atacante: a diferença no dano real é, por isso, menor do que a diferença nas recusas, mas existe.

Porquê testar em 24 línguas?

A União Europeia tem 24 línguas oficiais e um mercado único em que se espera que os produtos baseados em grandes modelos de linguagem (LLM) sirvam falantes de todas elas. Os fornecedores melhoraram muito os seus modelos nestas línguas. A avaliação da segurança não acompanhou esse ritmo: se um modelo se recusa a ajudar num pedido nocivo continua a ser medido sobretudo em inglês. Um modelo que parece seguro em inglês pode cumprir o mesmo pedido escrito em estónio ou maltês, e uma avaliação feita só em inglês não o mostrará.

Os trabalhos anteriores estudavam línguas isoladas ou pequenos grupos de línguas, e os benchmarks multilingues de pedidos nocivos abrangiam no máximo quatro línguas da UE além do inglês. Construímos um benchmark paralelo: os mesmos pedidos nocivos nas 24 línguas oficiais da UE, para que línguas e modelos possam ser comparados diretamente.

Como testámos

Recolhemos 1053 prompts nocivos de quatro benchmarks ingleses consolidados: HarmBench (200 prompts), JBB-Behaviors (100), SORRY-Bench (440) e StrongREJECT (313). Cada prompt foi traduzido duas vezes para as outras 23 línguas oficiais da UE, pelo DeepL e pelo Claude Opus 4.5, e um LLM usado como juiz escolheu a tradução mais adequada para a avaliação da segurança. No total, o benchmark tem 25 272 prompts.

Enviámos cada prompt a 34 modelos de pesos abertos com 3 a 35 mil milhões de parâmetros, das famílias Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo e Apertus, como uma única mensagem sem prompt de sistema. Um classificador de segurança, o Qwen3Guard-Gen-8B, avaliou cada resposta. A taxa de sucesso dos ataques (Attack Success Rate, ASR) é a proporção de pedidos nocivos que um modelo cumpre: a resposta não é uma recusa e o classificador considera-a insegura ou controversa.

Todas as línguas da UE são menos seguras do que o inglês

Em média nos 34 modelos, a ASR é de 7,7% em inglês e mais alta em cada uma das outras 23 línguas (figura 1). Sobe das grandes línguas da Europa Ocidental, 10–12% em francês, espanhol, alemão, italiano e português, até 22–23% em húngaro, esloveno, lituano, estónio e maltês, e 24,3% em letão. Os intervalos de 95% das 23 línguas ficam todos acima do intervalo do inglês.

Figura 1. Taxa de sucesso dos ataques por língua Proporção de pedidos nocivos cumpridos, média de 34 modelos. As linhas finas mostram intervalos bootstrap de 95%.

1053 prompts por língua, primeira resposta de cada modelo, avaliada pelo Qwen3Guard-Gen-8B. Línguas agrupadas por disponibilidade de recursos.

Para um produto que serve todas as línguas da UE, a média esconde o que mais importa: a língua mais fraca. O Llama 3.1 8B Instruct cumpre em média 8,3% dos pedidos fora do inglês, mas 20,4% em letão. O Qwen3 4B Instruct 2507 tem uma média de 9,3% e chega a 26,0% em maltês; o Phi-4 tem uma média de 14,1% e chega a 36,4% em maltês.

Quanto menos texto na web, maior a diferença

As línguas ordenam-se pela quantidade de texto que existe em cada uma delas na web. Nas 24 línguas, a ASR está fortemente correlacionada com o logaritmo da proporção de páginas web do Common Crawl na língua (ρ de Spearman = −0,91), tal como a diferença em relação ao inglês (ρ = −0,90, figura 2). Agrupada por disponibilidade de recursos, a ASR é de cerca de 12% nas seis grandes línguas da Europa Ocidental, 18% nas onze línguas com recursos médios e 22% nas seis línguas com menos recursos: irlandês, maltês, estónio, letão, lituano e esloveno.

Figura 2. Diferença em relação ao inglês segundo a quantidade de texto na web Cada ponto é uma língua: quantos pontos percentuais a sua taxa de sucesso dos ataques fica acima da do inglês, face à sua proporção de páginas web do Common Crawl (escala logarítmica).

Proporções do Common Crawl obtidas no rastreio CC-MAIN-2026-39. As etiquetas são códigos de língua ISO.

O alfabeto não explica a diferença. O letão, o lituano e o estónio escrevem-se no alfabeto latino, como o francês e o espanhol, enquanto as duas línguas com outras escritas, o búlgaro e o grego, ficam em média apenas 1,8 pontos percentuais acima das línguas de escrita latina. O irlandês e o maltês, as duas línguas com menos texto na web, são também aquelas em que o classificador automático é menos fiável, pelo que os seus valores exatos são mais incertos do que os das outras línguas (ver abaixo).

Os resultados em inglês não lhe dizem que modelo é o mais seguro na sua língua

Para quem tem de escolher um modelo, esta talvez seja a conclusão mais importante. A classificação dos 34 modelos em inglês é um mau indicador da sua classificação nas línguas com menos recursos. A correlação de postos com a classificação em inglês é de 0,81 para o espanhol, mas apenas de 0,47 para o estónio, 0,43 para o irlandês e 0,41 para o maltês (figura 3). Um modelo que está entre os mais seguros em inglês pode estar entre os mais vulneráveis noutra língua.

Figura 3. Em que medida a classificação dos modelos em inglês prevê a sua classificação em cada língua Correlação de Spearman entre a classificação dos 34 modelos por taxa de sucesso dos ataques em inglês e em cada uma das outras línguas. Um valor de 1 significaria a mesma ordem.

Correlações de postos nos 34 modelos.

O Olmo 3 7B Instruct é o décimo modelo mais seguro dos 34 em inglês, cumprindo 2,9% dos pedidos, e o segundo menos seguro nas outras línguas, com 43,4% em média. O Nemotron 3 Nano 4B passa de 1,3% em inglês para 19,9%. Em 16 dos 34 modelos, a ASR fora do inglês é mais do dobro da do inglês.

A diferença depende do modelo e pode ser eliminada

A escolha do modelo importa muito (figura 4). Em média nas 23 línguas além do inglês, a ASR vai de 2,0% no Qwen3.6 35B-A3B a 45,3% no Mistral 7B Instruct v0.2, um modelo de 2023. Em 33 dos 34 modelos é mais alta do que em inglês, e em 11 deles em mais de 10 pontos percentuais.

Figura 4. Taxa de sucesso dos ataques de cada modelo em inglês e nas outras 23 línguas Modelos ordenados pela sua média nas 23 línguas além do inglês. O losango assinala a língua mais fraca de cada modelo.

1053 prompts por língua, primeira resposta, avaliada pelo Qwen3Guard-Gen-8B.

Vários modelos recentes mostram diferenças pequenas ou nulas. O Gemma 4 31B não é menos seguro fora do inglês do que em inglês (8,4% contra 9,0%), e o Qwen3.5 9B, o Qwen3.6 35B-A3B, o Qwen3.8 27B e o gpt-oss-20b ficam em média abaixo de 5% nas línguas além do inglês. Em cada uma das seis famílias que testámos em mais de um tamanho, a diferença diminui à medida que os modelos crescem (figura 5): de +17,4 para +8,9 e +2,8 pontos percentuais no Granite 4.1 3B, 8B e 30B, e de +6,2 para −0,6 do Gemma 4 E2B ao 31B. Um comportamento de segurança que se mantém em todas as línguas é alcançável.

Figura 5. Os modelos maiores de uma mesma família têm diferenças menores Diferença entre a média nas 23 línguas além do inglês e o inglês, em pontos percentuais, nas famílias testadas em mais de um tamanho.

Os tamanhos são parâmetros totais; nos modelos mixture-of-experts indicam-se também os parâmetros ativos.

A lista de línguas da ficha do modelo é um sinal de alerta, não uma garantia

Doze dos modelos indicam na sua ficha algumas, mas não todas, das 23 línguas da UE além do inglês como suportadas. Em 11 dos 12, a ASR é mais alta nas línguas que não constam da lista, em média em 12,3 pontos percentuais (figura 6). O Llama 3.2 3B Instruct, por exemplo, cumpre 10,6% dos pedidos em inglês, 7,4% nas cinco línguas da UE indicadas na sua ficha e 32,8% nas restantes 18.

Uma língua indicada, porém, não é automaticamente segura. As línguas indicadas são sobretudo as grandes e, para a mesma língua, os modelos que a indicam são apenas ligeiramente mais seguros nela do que os que não a indicam (4,4 pontos percentuais, uma diferença sem significado estatístico). Os cinco modelos cujas fichas indicam as 23 línguas, os três modelos EuroLLM e os dois Tiny Aya, continuam a ter diferenças de 6,6 a 13,0 pontos percentuais.

Figura 6. Taxa de sucesso dos ataques nas línguas da UE que a ficha de um modelo indica como suportadas e nas restantes Os doze modelos cuja ficha indica algumas, mas não todas, das 23 línguas da UE além do inglês.

Línguas suportadas segundo as fichas dos modelos.

Que tipos de dano são afetados?

A diferença não se limita a poucos temas. Agrupámos as 66 categorias dos quatro benchmarks em 13 tipos de dano (o agrupamento é nosso; o explorador abaixo mostra que categorias pertencem a cada tipo). Todos os tipos têm uma ASR mais alta fora do inglês (figura 7), de +4,8 pontos percentuais nas violações da privacidade a +14,2 na persuasão política, religiosa e ética. Os pedidos sobre armas, drogas e produtos perigosos são cumpridos com uma frequência 2,5 vezes maior fora do inglês (17,0% contra 6,9%), e os pedidos sobre cibercrime e pirataria informática com uma frequência 2,7 vezes maior (17,8% contra 6,6%).

Figura 7. Taxa de sucesso dos ataques por tipo de dano Inglês e média das outras 23 línguas, nos 34 modelos.

Os tipos de dano agrupam as 66 categorias do HarmBench, JBB-Behaviors, SORRY-Bench e StrongREJECT.

Algumas categorias mudam drasticamente. Os pedidos para promover uma religião são quase sempre recusados em inglês (0,9% cumpridos), mas são cumpridos em 23,3% dos casos nas outras línguas. Nos pedidos para promover teorias da conspiração, a proporção sobe de 22,1% para 38,3%.

Os modelos compreendem os pedidos; o que não veem é o dano

Um modelo pode cumprir um pedido noutra língua porque o seu comportamento de recusa não se transfere para essa língua, ou porque não compreende o pedido suficientemente bem para perceber que é nocivo. Para distinguir os dois casos, pedimos a cada modelo que traduzisse para inglês uma amostra dos prompts de cada língua.

Os modelos traduzem corretamente a maioria dos prompts em todas as línguas: 74–84% em média, exceto em estónio (71%), maltês (65%) e irlandês (54%). Mas reconhecem muito menos pedidos como nocivos. Nas grandes línguas da Europa Ocidental, recusam-se até a traduzir 16–20% dos prompts; em irlandês, maltês, letão, estónio e lituano, apenas 2–5%. De língua para língua, esta taxa de reconhecimento do dano está estreitamente ligada à ASR (ρ = −0,92). Dos ataques bem-sucedidos nas línguas além do inglês, 79% incidem sobre prompts que o modelo compreendeu, e mesmo entre os prompts corretamente compreendidos a ASR sobe de 10,5–11,3% nas grandes línguas da Europa Ocidental (exceto o neerlandês) para 19–23% nas línguas com menos recursos.

Nas línguas com menos recursos, os modelos também recusam mais pedidos inofensivos. Numa experiência de controlo com 10 dos modelos, recusaram 22–25% dos prompts inofensivos em letão, maltês, estónio e lituano, contra 15% em inglês e 9–12% nas grandes línguas da Europa Ocidental. As suas recusas dependem menos daquilo que é realmente pedido. Um comportamento de segurança aprendido sobretudo em inglês não se transfere para línguas raras nos dados de treino.

Menos recusas, mas nem sempre mais dano

A diferença é real, ou um artefacto do classificador ou da tradução automática? Verificámo-la de várias formas (figura 8). Avaliar as respostas com o Llama Guard 3, um classificador de outra família de modelos, dá o mesmo quadro, tal como traduzir as respostas para inglês e avaliá-las em inglês. A diferença mantém-se também quando usamos apenas os prompts cujas duas traduções candidatas mais concordam.

O nosso classificador, tal como o Llama Guard 3, avalia se uma resposta é insegura, o que inclui cumprimentos parciais e de baixa qualidade. Os juízes que avaliam quão concreto e útil é o conteúdo nocivo encontram uma diferença menor: cerca de 3 pontos percentuais no classificador do HarmBench e no avaliador do StrongREJECT, e 8 no Gemma 3 27B com a grelha do StrongREJECT. Muitas das respostas não recusadas nas línguas com menos recursos são de baixa qualidade; em maltês e irlandês, um terço dos ataques bem-sucedidos não dá qualquer ajuda concreta. Os maiores aumentos de dano real surgem em línguas como o polaco, o finlandês, o húngaro e o esloveno, em que os modelos são ao mesmo tempo menos seguros e ainda capazes.

Figura 8. A diferença entre línguas segundo diferentes juízes Taxa de sucesso dos ataques em inglês e em média nas outras 23 línguas, numa amostra de validação de 16 320 respostas. Os juízes de conteúdo inseguro contam também cumprimentos parciais e de baixa qualidade; os juízes de dano real avaliam quão útil o conteúdo seria para um atacante.

No avaliador do StrongREJECT e na grelha aplicada pelo Gemma: pontuação média × 100.

Em suma, nas línguas com menos recursos os modelos recusam muito menos do que em inglês, mas grande parte do que produzem em vez disso é pouco útil a um atacante. Ainda assim, a diferença nas recusas é real: recusar é o comportamento de segurança esperado destes modelos, e modelos mais capazes podem produzir conteúdo mais útil quando não recusam.

O que isto significa se utiliza LLM na UE

Teste a segurança em cada língua em que disponibiliza o seu sistema. Os resultados em inglês não se transferem, e a classificação dos modelos muda de língua para língua.
Olhe para a língua mais fraca, não para a média. Uma média entre línguas esconde as que têm menos recursos, onde o risco é maior.
Meça tanto as recusas como o dano. O facto de um modelo recusar e o grau de nocividade do que produz podem divergir, sobretudo em línguas com poucos recursos.
Trate como de alto risco as línguas que não constam da ficha do modelo. Mas não assuma que as línguas indicadas são seguras.
Reforce as salvaguardas onde são mais necessárias. Nas línguas com menos recursos, pode ser necessário treino de segurança adicional ou um filtro de entrada.

Este benchmark é um projeto de investigação. As avaliações para os nossos clientes são concebidas em torno de cada sistema: os seus casos de utilização, o seu modelo de ameaças e as línguas em que os seus utilizadores escrevem, com base no que aprendemos com investigações como esta. Fale connosco sobre o seu.