Una sicurezza che non si traduce: prompt dannosi in tutte le 24 lingue dell'UE

Risultati principali

1. Ognuna delle altre 23 lingue ufficiali dell'UE ha un tasso di successo degli attacchi più alto dell'inglese, in media più del doppio.
2. Il divario segue la quantità di testo disponibile sul web in una lingua, non l'alfabeto in cui la lingua si scrive.
3. La posizione di un modello in inglese è una cattiva guida alla sua posizione nelle lingue con meno risorse.
4. Il divario non è inevitabile: alcuni modelli recenti ne mostrano poco o nulla, e i modelli più grandi della stessa famiglia lo riducono.
5. I modelli capiscono la maggior parte delle richieste. Ciò che manca è riconoscerle come dannose.
6. Non tutto ciò che sfugge è utile a un attaccante: il divario nel danno reale è quindi minore di quello nei rifiuti, ma esiste.

Perché testare in 24 lingue?

L'Unione europea ha 24 lingue ufficiali e un mercato unico in cui i prodotti basati su modelli linguistici di grandi dimensioni (LLM) devono servire i parlanti di tutte queste lingue. I fornitori hanno migliorato molto i loro modelli in queste lingue. La valutazione della sicurezza non ha tenuto il passo: se un modello rifiuta di aiutare con una richiesta dannosa si misura ancora soprattutto in inglese. Un modello che sembra sicuro in inglese può soddisfare la stessa richiesta scritta in estone o in maltese, e una valutazione solo in inglese non lo rivelerà.

I lavori precedenti studiavano singole lingue o piccoli gruppi di lingue, e i benchmark multilingue di richieste dannose coprivano al massimo quattro lingue dell'UE oltre all'inglese. Abbiamo costruito un benchmark parallelo: le stesse richieste dannose in tutte le 24 lingue ufficiali dell'UE, così da poter confrontare direttamente lingue e modelli.

Come abbiamo testato

Abbiamo preso 1053 prompt dannosi da quattro benchmark inglesi affermati: HarmBench (200 prompt), JBB-Behaviors (100), SORRY-Bench (440) e StrongREJECT (313). Ogni prompt è stato tradotto due volte nelle altre 23 lingue ufficiali dell'UE, da DeepL e da Claude Opus 4.5, e un LLM usato come giudice ha scelto la traduzione più adatta alla valutazione della sicurezza. In totale il benchmark comprende 25.272 prompt.

Abbiamo inviato ogni prompt a 34 modelli a pesi aperti da 3 a 35 miliardi di parametri, delle famiglie Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo e Apertus, come singolo messaggio senza prompt di sistema. Un classificatore di sicurezza, Qwen3Guard-Gen-8B, ha valutato ogni risposta. Il tasso di successo degli attacchi (Attack Success Rate, ASR) è la quota di richieste dannose che un modello soddisfa: la risposta non è un rifiuto e il classificatore la giudica non sicura o controversa.

Ogni lingua dell'UE è meno sicura dell'inglese

In media sui 34 modelli, l'ASR è del 7,7% in inglese e più alto in ciascuna delle altre 23 lingue (figura 1). Sale dalle grandi lingue dell'Europa occidentale, 10–12% in francese, spagnolo, tedesco, italiano e portoghese, fino a 22–23% in ungherese, sloveno, lituano, estone e maltese e al 24,3% in lettone. Gli intervalli al 95% di tutte le 23 lingue si trovano sopra quello dell'inglese.

1053 prompt per lingua, prima risposta di ogni modello, valutata da Qwen3Guard-Gen-8B. Lingue raggruppate per disponibilità di risorse.

Per un prodotto che serve tutte le lingue dell'UE, la media nasconde ciò che conta di più: la lingua più debole. Llama 3.1 8B Instruct soddisfa in media il 8,3% delle richieste fuori dall'inglese, ma il 20,4% in lettone. Qwen3 4B Instruct 2507 ha una media del 9,3% e arriva al 26,0% in maltese; Phi-4 ha una media del 14,1% e arriva al 36,4% in maltese.

Meno testo sul web, più ampio il divario

Le lingue si ordinano in base a quanto testo esiste in ciascuna di esse sul web. Sulle 24 lingue, l'ASR è fortemente correlato con il logaritmo della quota di pagine web di Common Crawl nella lingua (ρ di Spearman = −0,91), e lo stesso vale per il divario con l'inglese (ρ = −0,90, figura 2). Raggruppato per disponibilità di risorse, l'ASR è di circa il 12% nelle sei grandi lingue dell'Europa occidentale, il 18% nelle undici lingue con risorse medie e il 22% nelle sei lingue con meno risorse: irlandese, maltese, estone, lettone, lituano e sloveno.

Quote di Common Crawl dalla scansione CC-MAIN-2026-39. Le etichette sono i codici ISO delle lingue.

L'alfabeto non spiega il divario. Lettone, lituano ed estone si scrivono con l'alfabeto latino, come il francese e lo spagnolo, mentre le due lingue con altre scritture, il bulgaro e il greco, superano in media le lingue a scrittura latina di soli 1,8 punti percentuali. L'irlandese e il maltese, le due lingue con meno testo sul web, sono anche quelle in cui il classificatore automatico è meno affidabile, quindi i loro valori esatti sono più incerti di quelli delle altre lingue (vedi più avanti).

I risultati in inglese non vi dicono quale modello è il più sicuro nella vostra lingua

Per chi deve scegliere un modello, questo è forse il risultato più importante. La classifica dei 34 modelli in inglese è una cattiva guida alla loro classifica nelle lingue con meno risorse. La correlazione di rango con la classifica in inglese è di 0,81 per lo spagnolo, ma solo di 0,47 per l'estone, 0,43 per l'irlandese e 0,41 per il maltese (figura 3). Un modello tra i più sicuri in inglese può essere tra i più vulnerabili in un'altra lingua.

Correlazioni di rango sui 34 modelli.

Olmo 3 7B Instruct è il decimo modello più sicuro su 34 in inglese, con il 2,9% delle richieste soddisfatte, e il secondo meno sicuro nelle altre lingue, con il 43,4% in media. Nemotron 3 Nano 4B passa dall'1,3% in inglese al 19,9%. Per 16 dei 34 modelli, l'ASR fuori dall'inglese è più del doppio di quello in inglese.

Il divario dipende dal modello e si può colmare

La scelta del modello conta molto (figura 4). In media sulle 23 lingue diverse dall'inglese, l'ASR va dal 2,0% di Qwen3.6 35B-A3B al 45,3% di Mistral 7B Instruct v0.2, un modello del 2023. Per 33 dei 34 modelli è più alto che in inglese, e per 11 di essi di oltre 10 punti percentuali.

1053 prompt per lingua, prima risposta, valutata da Qwen3Guard-Gen-8B.

Diversi modelli recenti mostrano divari piccoli o nulli. Gemma 4 31B non è meno sicuro fuori dall'inglese che in inglese (8,4% contro 9,0%), e Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B e gpt-oss-20b restano in media sotto il 5% nelle lingue diverse dall'inglese. In ciascuna delle sei famiglie che abbiamo testato in più dimensioni, il divario si riduce al crescere del modello (figura 5): da +17,4 a +8,9 e +2,8 punti percentuali per Granite 4.1 3B, 8B e 30B, e da +6,2 a −0,6 da Gemma 4 E2B a 31B. Un comportamento di sicurezza che regge in tutte le lingue è raggiungibile.

Le dimensioni sono parametri totali; per i modelli mixture-of-experts sono indicati anche i parametri attivi.

L'elenco delle lingue nella scheda del modello è un campanello d'allarme, non una garanzia

Dodici dei modelli indicano nella loro scheda alcune, ma non tutte, delle 23 lingue dell'UE diverse dall'inglese come supportate. Per 11 dei 12, l'ASR è più alto nelle lingue non elencate, in media di 12,3 punti percentuali (figura 6). Llama 3.2 3B Instruct, per esempio, soddisfa il 10,6% delle richieste in inglese, il 7,4% nelle cinque lingue dell'UE elencate nella sua scheda e il 32,8% nelle altre 18.

Una lingua elencata, però, non è automaticamente sicura. Le lingue elencate sono per lo più quelle grandi e, a parità di lingua, i modelli che la elencano sono solo leggermente più sicuri in quella lingua dei modelli che non la elencano (4,4 punti percentuali, una differenza non statisticamente significativa). I cinque modelli la cui scheda elenca tutte le 23 lingue, i tre modelli EuroLLM e i due Tiny Aya, hanno comunque divari da 6,6 a 13,0 punti percentuali.

Lingue supportate secondo le schede dei modelli.

Quali tipi di danno sono coinvolti?

Il divario non si limita a pochi temi. Abbiamo raggruppato le 66 categorie dei quattro benchmark in 13 tipi di danno (il raggruppamento è nostro; l'esploratore qui sotto mostra quali categorie appartengono a ciascun tipo). Ogni tipo ha un ASR più alto fuori dall'inglese (figura 7), da +4,8 punti percentuali per le violazioni della privacy a +14,2 per la persuasione politica, religiosa ed etica. Le richieste su armi, droghe e beni pericolosi vengono soddisfatte 2,5 volte più spesso fuori dall'inglese (17,0% contro 6,9%), quelle su criminalità informatica e hacking 2,7 volte più spesso (17,8% contro 6,6%).

I tipi di danno raggruppano le 66 categorie di HarmBench, JBB-Behaviors, SORRY-Bench e StrongREJECT.

Alcune singole categorie cambiano drasticamente. Le richieste di promuovere una religione vengono quasi sempre rifiutate in inglese (soddisfatte nello 0,9% dei casi), ma soddisfatte nel 23,3% dei casi nelle altre lingue. Le richieste di promuovere teorie del complotto salgono dal 22,1% al 38,3%.

I modelli capiscono le richieste, ma non ne vedono il danno

Un modello può soddisfare una richiesta in un'altra lingua perché il suo comportamento di rifiuto non si trasferisce a quella lingua, oppure perché non capisce la richiesta abbastanza bene da accorgersi che è dannosa. Per distinguere i due casi, abbiamo chiesto a ogni modello di tradurre in inglese un campione dei prompt di ciascuna lingua.

I modelli traducono correttamente la maggior parte dei prompt in ogni lingua: in media il 74–84%, tranne in estone (71%), maltese (65%) e irlandese (54%). Ma riconoscono come dannose molte meno richieste. Nelle grandi lingue dell'Europa occidentale si rifiutano persino di tradurre il 16–20% dei prompt; in irlandese, maltese, lettone, estone e lituano solo il 2–5%. Tra le lingue, questo tasso di riconoscimento del danno è strettamente legato all'ASR (ρ = −0,92). Degli attacchi riusciti nelle lingue diverse dall'inglese, il 79% riguarda prompt che il modello ha capito, e anche tra i prompt compresi correttamente l'ASR sale dal 10,5–11,3% nelle grandi lingue dell'Europa occidentale (olandese escluso) al 19–23% in quelle con meno risorse.

Nelle lingue con meno risorse i modelli rifiutano anche più richieste innocue. In un esperimento di controllo con 10 dei modelli, hanno rifiutato il 22–25% dei prompt innocui in lettone, maltese, estone e lituano, contro il 15% in inglese e il 9–12% nelle grandi lingue dell'Europa occidentale. I loro rifiuti dipendono meno da ciò che viene effettivamente chiesto. Un comportamento di sicurezza appreso soprattutto in inglese non si trasferisce alle lingue rare nei dati di addestramento.

Meno rifiuti, ma non sempre più danno

Il divario è reale o è un artefatto del classificatore o della traduzione automatica? Lo abbiamo verificato in diversi modi (figura 8). Valutare le risposte con Llama Guard 3, un classificatore di un'altra famiglia di modelli, dà lo stesso quadro, e così anche tradurre le risposte in inglese e valutarle in inglese. Il divario resta anche quando usiamo solo i prompt le cui due traduzioni candidate concordano di più.

Il nostro classificatore, come Llama Guard 3, giudica se una risposta non è sicura, il che include adempimenti parziali e di bassa qualità. I giudici che valutano quanto il contenuto dannoso sia specifico e utile trovano un divario minore: circa 3 punti percentuali per il classificatore di HarmBench e il valutatore di StrongREJECT, e 8 per Gemma 3 27B con la griglia di StrongREJECT. Molte delle risposte non rifiutate nelle lingue con meno risorse sono di bassa qualità; in maltese e irlandese, un terzo degli attacchi riusciti non fornisce alcun aiuto concreto. Gli aumenti maggiori del danno reale si registrano in lingue come il polacco, il finlandese, l'ungherese e lo sloveno, in cui i modelli sono al tempo stesso meno sicuri e ancora capaci.

Per il valutatore di StrongREJECT e la griglia applicata da Gemma: punteggio medio × 100.

In breve, nelle lingue con meno risorse i modelli rifiutano molto meno spesso che in inglese, ma gran parte di ciò che producono al posto di un rifiuto è poco utile a un attaccante. Il divario nei rifiuti resta comunque reale: rifiutare è il comportamento di sicurezza previsto per questi modelli, e modelli più capaci possono produrre contenuti più utili quando non rifiutano.

Cosa significa se usate LLM nell'UE

1. Testate la sicurezza in ogni lingua in cui operate. I risultati in inglese non si trasferiscono e la classifica dei modelli cambia da una lingua all'altra.
2. Guardate la lingua più debole, non la media. Una media sulle lingue nasconde quelle con meno risorse, dove il rischio è più alto.
3. Misurate sia i rifiuti sia il danno. Il fatto che un modello rifiuti e quanto sia dannoso ciò che produce possono divergere, soprattutto nelle lingue con poche risorse.
4. Considerate ad alto rischio le lingue assenti dalla scheda del modello. Ma non date per scontato che quelle elencate siano sicure.
5. Rafforzate le protezioni dove servono di più. Nelle lingue con meno risorse possono essere necessari un addestramento di sicurezza aggiuntivo o un filtro sugli input.

Questo benchmark è un progetto di ricerca. Le valutazioni per i nostri clienti sono costruite attorno a ciascun sistema: i suoi casi d'uso, il suo modello di minaccia e le lingue in cui scrivono i suoi utenti, sulla base di ciò che impariamo da ricerche come questa. Parliamo del vostro.