Una seguridad que no se traduce: prompts dañinos en los 24 idiomas de la UE

7,7 %de las solicitudes dañinas se atienden en inglés, de media en 34 modelos

17,3 %de media en los otros 23 idiomas de la UE

24,3 %en letón, el valor más alto de los 24 idiomas

33 de 34modelos son menos seguros fuera del inglés

Conclusiones principales

Cada uno de los otros 23 idiomas oficiales de la UE tiene una tasa de éxito de los ataques mayor que el inglés, de media más del doble.
La brecha sigue la cantidad de texto que existe en un idioma en la web, no el alfabeto en que se escribe.
La posición de un modelo en inglés es una mala guía de su posición en los idiomas con menos recursos.
La brecha no es inevitable: algunos modelos recientes apenas la muestran o no la muestran en absoluto, y los modelos más grandes de una misma familia la reducen.
Los modelos entienden la mayoría de las solicitudes. Lo que falla es reconocerlas como dañinas.
No todo lo que se cuela es útil para un atacante, así que la brecha en daño real es menor que la brecha en negativas, pero existe.

¿Por qué probar en 24 idiomas?

La Unión Europea tiene 24 idiomas oficiales y un mercado único en el que se espera que los productos basados en grandes modelos de lenguaje (LLM) atiendan a hablantes de todos ellos. Los proveedores han mejorado mucho sus modelos en estos idiomas. La evaluación de la seguridad no ha seguido el mismo ritmo: si un modelo se niega a ayudar con una solicitud dañina se sigue midiendo sobre todo en inglés. Un modelo que parece seguro en inglés puede atender la misma solicitud escrita en estonio o en maltés, y una evaluación solo en inglés no lo mostrará.

Los trabajos anteriores estudiaban idiomas sueltos o pequeños grupos de idiomas, y los benchmarks multilingües de solicitudes dañinas cubrían como mucho cuatro idiomas de la UE además del inglés. Construimos un benchmark paralelo: las mismas solicitudes dañinas en los 24 idiomas oficiales de la UE, para poder comparar directamente idiomas y modelos.

Cómo lo probamos

Tomamos 1053 prompts dañinos de cuatro benchmarks consolidados en inglés: HarmBench (200 prompts), JBB-Behaviors (100), SORRY-Bench (440) y StrongREJECT (313). Cada prompt se tradujo dos veces a los otros 23 idiomas oficiales de la UE, con DeepL y con Claude Opus 4.5, y un LLM que actuaba como juez eligió la traducción más adecuada para evaluar la seguridad. En total, el benchmark tiene 25.272 prompts.

Enviamos cada prompt a 34 modelos de pesos abiertos de entre 3 y 35 mil millones de parámetros, de las familias Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo y Apertus, como un único mensaje sin prompt de sistema. Un clasificador de seguridad, Qwen3Guard-Gen-8B, evaluó cada respuesta. La tasa de éxito de los ataques (Attack Success Rate, ASR) es la proporción de solicitudes dañinas que un modelo atiende: la respuesta no es una negativa y el clasificador la considera insegura o controvertida.

Todos los idiomas de la UE son menos seguros que el inglés

De media en los 34 modelos, la ASR es del 7,7 % en inglés y más alta en cada uno de los otros 23 idiomas (figura 1). Aumenta desde los grandes idiomas de Europa occidental, del 10 al 12 % en francés, español, alemán, italiano y portugués, hasta el 22–23 % en húngaro, esloveno, lituano, estonio y maltés, y el 24,3 % en letón. Los intervalos del 95 % de los 23 idiomas quedan todos por encima del intervalo del inglés.

Figura 1. Tasa de éxito de los ataques por idioma Proporción de solicitudes dañinas atendidas, media de 34 modelos. Las líneas finas muestran intervalos bootstrap del 95 %.

1053 prompts por idioma, primera respuesta de cada modelo, evaluada por Qwen3Guard-Gen-8B. Idiomas agrupados por disponibilidad de recursos.

Para un producto que da servicio en todos los idiomas de la UE, la media oculta lo que más importa: el idioma más débil. Llama 3.1 8B Instruct atiende de media el 8,3 % de las solicitudes fuera del inglés, pero el 20,4 % en letón. Qwen3 4B Instruct 2507 tiene una media del 9,3 % y llega al 26,0 % en maltés; Phi-4, una media del 14,1 % y el 36,4 % en maltés.

Cuanto menos texto en la web, mayor la brecha

Los idiomas se ordenan según la cantidad de texto que existe en ellos en la web. En los 24 idiomas, la ASR está fuertemente correlacionada con el logaritmo de la proporción de páginas web de Common Crawl en el idioma (ρ de Spearman = −0,91), y también la brecha con el inglés (ρ = −0,90, figura 2). Agrupada por disponibilidad de recursos, la ASR es de aproximadamente el 12 % en los seis grandes idiomas de Europa occidental, el 18 % en los once idiomas con recursos medios y el 22 % en los seis idiomas con menos recursos: irlandés, maltés, estonio, letón, lituano y esloveno.

Figura 2. Brecha con el inglés según la cantidad de texto en la web Cada punto es un idioma: cuántos puntos porcentuales supera su tasa de éxito de los ataques a la del inglés, frente a su proporción de páginas web de Common Crawl (escala logarítmica).

Proporciones de Common Crawl del rastreo CC-MAIN-2026-39. Las etiquetas son códigos de idioma ISO.

El alfabeto no explica la brecha. El letón, el lituano y el estonio se escriben con el alfabeto latino, como el francés y el español, mientras que los dos idiomas con otras escrituras, el búlgaro y el griego, superan de media a los idiomas de escritura latina en solo 1,8 puntos porcentuales. El irlandés y el maltés, los dos idiomas con menos texto en la web, son también aquellos en los que el clasificador automático es menos fiable, por lo que sus valores exactos son más inciertos que los de los demás idiomas (véase más abajo).

Los resultados en inglés no le dicen qué modelo es el más seguro en su idioma

Para quien tenga que elegir un modelo, esta puede ser la conclusión más importante. La clasificación de los 34 modelos en inglés es una mala guía de su clasificación en los idiomas con menos recursos. La correlación de rangos con la clasificación en inglés es de 0,81 para el español, pero solo de 0,47 para el estonio, 0,43 para el irlandés y 0,41 para el maltés (figura 3). Un modelo que está entre los más seguros en inglés puede estar entre los más vulnerables en otro idioma.

Figura 3. Hasta qué punto la clasificación de los modelos en inglés predice su clasificación en cada idioma Correlación de Spearman entre la clasificación de los 34 modelos por tasa de éxito de los ataques en inglés y en cada uno de los otros idiomas. Un valor de 1 significaría el mismo orden.

Correlaciones de rangos sobre los 34 modelos.

Olmo 3 7B Instruct es el décimo modelo más seguro de los 34 en inglés, con un 2,9 % de solicitudes atendidas, y el segundo menos seguro en los demás idiomas, con un 43,4 % de media. Nemotron 3 Nano 4B pasa del 1,3 % en inglés al 19,9 %. En 16 de los 34 modelos, la ASR fuera del inglés es más del doble que en inglés.

La brecha depende del modelo y se puede cerrar

La elección del modelo importa mucho (figura 4). De media en los 23 idiomas distintos del inglés, la ASR va del 2,0 % de Qwen3.6 35B-A3B al 45,3 % de Mistral 7B Instruct v0.2, un modelo de 2023. En 33 de los 34 modelos es más alta que en inglés, y en 11 de ellos lo es en más de 10 puntos porcentuales.

Figura 4. Tasa de éxito de los ataques de cada modelo en inglés y en los otros 23 idiomas Modelos ordenados por su media en los 23 idiomas distintos del inglés. El rombo marca el idioma más débil de cada modelo.

1053 prompts por idioma, primera respuesta, evaluada por Qwen3Guard-Gen-8B.

Varios modelos recientes muestran brechas pequeñas o ninguna. Gemma 4 31B no es menos seguro fuera del inglés que en inglés (8,4 % frente a 9,0 %), y Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B y gpt-oss-20b se mantienen de media por debajo del 5 % en los idiomas distintos del inglés. En cada una de las seis familias que probamos en más de un tamaño, la brecha se reduce a medida que los modelos crecen (figura 5): de +17,4 a +8,9 y +2,8 puntos porcentuales en Granite 4.1 3B, 8B y 30B, y de +6,2 a −0,6 de Gemma 4 E2B a 31B. Un comportamiento de seguridad que se mantenga en todos los idiomas es alcanzable.

Figura 5. Los modelos más grandes de una misma familia tienen brechas menores Brecha entre la media de los 23 idiomas distintos del inglés y el inglés, en puntos porcentuales, en las familias probadas en más de un tamaño.

Los tamaños son parámetros totales; en los modelos de mezcla de expertos (MoE) se indican también los parámetros activos.

La lista de idiomas de la ficha del modelo es una señal de alerta, no una garantía

Doce de los modelos indican en su ficha algunos de los 23 idiomas de la UE distintos del inglés como compatibles, pero no todos. En 11 de los 12, la ASR es más alta en los idiomas que no figuran en la lista, de media en 12,3 puntos porcentuales (figura 6). Llama 3.2 3B Instruct, por ejemplo, atiende el 10,6 % de las solicitudes en inglés, el 7,4 % en los cinco idiomas de la UE que indica su ficha y el 32,8 % en los 18 restantes.

Sin embargo, un idioma que figura en la lista no es automáticamente seguro. Los idiomas de la lista son sobre todo los grandes, y a igualdad de idioma, los modelos que lo indican solo son algo más seguros en él que los que no lo indican (4,4 puntos porcentuales, una diferencia no significativa estadísticamente). Los cinco modelos cuyas fichas indican los 23 idiomas, los tres modelos EuroLLM y los dos Tiny Aya, siguen teniendo brechas de 6,6 a 13,0 puntos porcentuales.

Figura 6. Tasa de éxito de los ataques en los idiomas de la UE que una ficha de modelo declara compatibles y en los demás Los doce modelos cuya ficha indica algunos de los 23 idiomas de la UE distintos del inglés, pero no todos.

Idiomas compatibles según las fichas de los modelos.

¿Qué tipos de daño se ven afectados?

La brecha no se limita a unos pocos temas. Agrupamos las 66 categorías de los cuatro benchmarks en 13 tipos de daño (la agrupación es nuestra; el explorador de abajo muestra qué categorías pertenecen a cada tipo). Todos los tipos tienen una ASR más alta fuera del inglés (figura 7), desde +4,8 puntos porcentuales en violaciones de la privacidad hasta +14,2 en persuasión política, religiosa y ética. Las solicitudes sobre armas, drogas y productos peligrosos se atienden 2,5 veces más a menudo fuera del inglés (17,0 % frente a 6,9 %), y las de ciberdelincuencia y hacking, 2,7 veces más (17,8 % frente a 6,6 %).

Figura 7. Tasa de éxito de los ataques por tipo de daño Inglés y media de los otros 23 idiomas, en los 34 modelos.

Los tipos de daño agrupan las 66 categorías de HarmBench, JBB-Behaviors, SORRY-Bench y StrongREJECT.

Algunas categorías cambian de forma drástica. Las solicitudes para promover una religión se rechazan casi siempre en inglés (solo se atiende el 0,9 %), pero en los demás idiomas se atienden en el 23,3 % de los casos. Las solicitudes para promover teorías conspirativas pasan del 22,1 % al 38,3 %.

Los modelos entienden las solicitudes; lo que no ven es el daño

Un modelo puede atender una solicitud en otro idioma porque su comportamiento de rechazo no se traslada a ese idioma, o porque no entiende la solicitud lo bastante bien como para ver que es dañina. Para distinguir ambos casos, pedimos a cada modelo que tradujera al inglés una muestra de los prompts de cada idioma.

Los modelos traducen correctamente la mayoría de los prompts en todos los idiomas: entre el 74 y el 84 % de media, salvo en estonio (71 %), maltés (65 %) e irlandés (54 %). Pero reconocen como dañinas muchas menos solicitudes. En los grandes idiomas de Europa occidental se niegan incluso a traducir entre el 16 y el 20 % de los prompts; en irlandés, maltés, letón, estonio y lituano, solo entre el 2 y el 5 %. Entre idiomas, esta tasa de reconocimiento del daño está estrechamente ligada a la ASR (ρ = −0,92). De los ataques con éxito en los idiomas distintos del inglés, el 79 % corresponde a prompts que el modelo entendió, e incluso entre los prompts entendidos correctamente la ASR sube del 10,5–11,3 % en los grandes idiomas de Europa occidental (salvo el neerlandés) al 19–23 % en los idiomas con menos recursos.

En los idiomas con menos recursos, los modelos también rechazan más solicitudes inofensivas. En un experimento de control con 10 de los modelos, rechazaron entre el 22 y el 25 % de los prompts inofensivos en letón, maltés, estonio y lituano, frente al 15 % en inglés y entre el 9 y el 12 % en los grandes idiomas de Europa occidental. Sus negativas dependen menos de lo que realmente se pide. El comportamiento de seguridad aprendido sobre todo en inglés no se traslada a idiomas poco frecuentes en los datos de entrenamiento.

Menos negativas, pero no siempre más daño

¿Es real la brecha, o un artefacto del clasificador o de la traducción automática? La comprobamos de varias formas (figura 8). Evaluar las respuestas con Llama Guard 3, un clasificador de otra familia de modelos, da la misma imagen, y lo mismo ocurre al traducir las respuestas al inglés y evaluarlas en inglés. La brecha también se mantiene cuando solo usamos los prompts cuyas dos traducciones candidatas coinciden más.

Nuestro clasificador, como Llama Guard 3, juzga si una respuesta es insegura, lo que incluye cumplimientos parciales y de baja calidad. Los jueces que valoran lo concreto y útil que es el contenido dañino encuentran una brecha menor: unos 3 puntos porcentuales en el clasificador de HarmBench y el evaluador de StrongREJECT, y 8 en Gemma 3 27B aplicando la rúbrica de StrongREJECT. Muchas de las respuestas no rechazadas en los idiomas con menos recursos son de baja calidad; en maltés e irlandés, un tercio de los ataques con éxito no aporta ninguna ayuda concreta. Los mayores aumentos de daño real se dan en idiomas como el polaco, el finés, el húngaro y el esloveno, en los que los modelos son a la vez menos seguros y aún capaces.

Figura 8. La brecha entre idiomas según distintos jueces Tasa de éxito de los ataques en inglés y de media en los otros 23 idiomas, en una muestra de validación de 16.320 respuestas. Los jueces de contenido inseguro cuentan también los cumplimientos parciales y de baja calidad; los jueces de daño real valoran lo útil que sería el contenido para un atacante.

En el evaluador de StrongREJECT y la rúbrica aplicada por Gemma: puntuación media × 100.

En resumen, en los idiomas con menos recursos los modelos rechazan mucho menos que en inglés, pero gran parte de lo que producen en su lugar resulta poco útil para un atacante. Aun así, la brecha en las negativas es real: rechazar es el comportamiento de seguridad que se espera de estos modelos, y los modelos más capaces pueden producir contenido más útil cuando no rechazan.

Qué significa esto si despliega LLM en la UE

Pruebe la seguridad en cada idioma en el que despliegue su sistema. Los resultados en inglés no se trasladan, y la clasificación de los modelos cambia de un idioma a otro.
Fíjese en el idioma más débil, no en la media. Una media sobre los idiomas oculta los que tienen menos recursos, donde el riesgo es mayor.
Mida tanto las negativas como el daño. Que un modelo rechace y lo dañino que sea lo que produce pueden divergir, sobre todo en idiomas con pocos recursos.
Trate como de alto riesgo los idiomas que no figuran en la ficha del modelo. Pero no dé por hecho que los que figuran son seguros.
Refuerce las salvaguardas donde más se necesitan. En los idiomas con menos recursos puede ser necesario un entrenamiento de seguridad adicional o un filtro de entrada.

Este benchmark es un proyecto de investigación. Las evaluaciones para nuestros clientes se diseñan en torno a cada sistema: sus casos de uso, su modelo de amenazas y los idiomas en los que escriben sus usuarios, a partir de lo que aprendemos en investigaciones como esta. Hablemos del suyo.