Sicherheit, die sich nicht übersetzen lässt: schädliche Prompts in allen 24 EU-Sprachen

Die wichtigsten Ergebnisse

1. Jede der 23 anderen EU-Amtssprachen hat eine höhere Angriffserfolgsrate als Englisch, im Mittel mehr als doppelt so hoch.
2. Der Abstand folgt der Menge an Text, die es in einer Sprache im Web gibt, nicht dem Alphabet, in dem sie geschrieben wird.
3. Wie ein Modell auf Englisch abschneidet, sagt wenig über seinen Rang in den ressourcenärmsten Sprachen.
4. Der Abstand ist nicht unvermeidlich: Einige neuere Modelle zeigen kaum einen oder gar keinen, und größere Modelle derselben Familie verkleinern ihn.
5. Die Modelle verstehen die meisten Anfragen. Was fehlt, ist, sie als schädlich zu erkennen.
6. Nicht alles, was durchrutscht, nützt einem Angreifer. Der Abstand beim tatsächlichen Schaden ist daher kleiner als bei den Ablehnungen, aber er ist vorhanden.

Warum in 24 Sprachen testen?

Die Europäische Union hat 24 Amtssprachen und einen Binnenmarkt, in dem Produkte auf Basis großer Sprachmodelle (LLMs) Menschen in all diesen Sprachen bedienen sollen. Die Anbieter haben ihre Modelle in diesen Sprachen deutlich verbessert. Die Sicherheitsbewertung hat damit nicht Schritt gehalten: Ob ein Modell die Hilfe bei einer schädlichen Anfrage verweigert, wird noch immer überwiegend auf Englisch gemessen. Ein Modell, das auf Englisch sicher wirkt, kann derselben Anfrage auf Estnisch oder Maltesisch nachkommen, und eine rein englische Bewertung zeigt das nicht.

Bisherige Arbeiten untersuchten einzelne Sprachen oder kleine Gruppen von Sprachen, und mehrsprachige Benchmarks schädlicher Anfragen deckten neben Englisch höchstens vier EU-Sprachen ab. Wir haben einen parallelen Benchmark aufgebaut: dieselben schädlichen Anfragen in allen 24 Amtssprachen der EU, sodass sich Sprachen und Modelle direkt vergleichen lassen.

Wie wir getestet haben

Wir haben 1.053 schädliche Prompts aus vier etablierten englischen Benchmarks übernommen: HarmBench (200 Prompts), JBB-Behaviors (100), SORRY-Bench (440) und StrongREJECT (313). Jeder Prompt wurde zweimal in die 23 anderen EU-Amtssprachen übersetzt, von DeepL und von Claude Opus 4.5, und ein LLM wählte als Gutachter die Übersetzung aus, die sich besser für die Sicherheitsbewertung eignet. Insgesamt umfasst der Benchmark 25.272 Prompts.

Jeden Prompt haben wir an 34 Open-Weight-Modelle mit 3 bis 35 Milliarden Parametern geschickt, aus den Familien Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo und Apertus, jeweils als einzelne Nachricht ohne Systemprompt. Ein Sicherheitsklassifikator, Qwen3Guard-Gen-8B, bewertete jede Antwort. Die Angriffserfolgsrate (Attack Success Rate, ASR) ist der Anteil der schädlichen Anfragen, denen ein Modell nachkommt: Die Antwort ist keine Ablehnung, und der Klassifikator stuft sie als unsicher oder kontrovers ein.

Jede EU-Sprache ist weniger sicher als Englisch

Im Mittel über die 34 Modelle liegt die ASR auf Englisch bei 7,7 % und in jeder der 23 anderen Sprachen höher (Abbildung 1). Sie steigt über die großen westeuropäischen Sprachen, 10–12 % auf Französisch, Spanisch, Deutsch, Italienisch und Portugiesisch, bis auf 22–23 % auf Ungarisch, Slowenisch, Litauisch, Estnisch und Maltesisch und 24,3 % auf Lettisch. Die 95-%-Intervalle aller 23 Sprachen liegen über dem des Englischen.

1.053 Prompts pro Sprache, erste Antwort jedes Modells, bewertet von Qwen3Guard-Gen-8B. Sprachen nach Ressourcenlage gruppiert.

Für ein Produkt, das alle EU-Sprachen bedient, verdeckt der Mittelwert, worauf es am meisten ankommt: die schwächste Sprache. Llama 3.1 8B Instruct erfüllt außerhalb des Englischen im Mittel 8,3 % der Anfragen, auf Lettisch aber 20,4 %. Qwen3 4B Instruct 2507 kommt im Mittel auf 9,3 % und auf Maltesisch auf 26,0 %, Phi-4 im Mittel auf 14,1 % und auf Maltesisch auf 36,4 %.

Je weniger Webtext, desto größer der Abstand

Die Sprachen ordnen sich danach, wie viel Text es in ihnen im Web gibt. Über die 24 Sprachen hinweg hängt die ASR stark mit dem Logarithmus des Anteils der Common-Crawl-Webseiten in der jeweiligen Sprache zusammen (Spearman ρ = −0,91), ebenso der Abstand zum Englischen (ρ = −0,90, Abbildung 2). Nach Ressourcenlage gruppiert liegt die ASR bei etwa 12 % in den sechs großen westeuropäischen Sprachen, bei 18 % in den elf Sprachen mit mittleren Ressourcen und bei 22 % in den sechs ressourcenärmsten Sprachen: Irisch, Maltesisch, Estnisch, Lettisch, Litauisch und Slowenisch.

Common-Crawl-Anteile aus dem Crawl CC-MAIN-2026-39. Die Beschriftungen sind ISO-Sprachcodes.

Das Alphabet erklärt den Abstand nicht. Lettisch, Litauisch und Estnisch werden wie Französisch und Spanisch in lateinischer Schrift geschrieben, während die beiden Sprachen mit anderer Schrift, Bulgarisch und Griechisch, im Mittel nur 1,8 Prozentpunkte über den Sprachen mit lateinischer Schrift liegen. Bei Irisch und Maltesisch, den beiden Sprachen mit dem wenigsten Webtext, ist zudem der automatische Klassifikator am wenigsten zuverlässig, sodass ihre genauen Werte unsicherer sind als die der anderen Sprachen (siehe unten).

Englische Ergebnisse sagen Ihnen nicht, welches Modell in Ihrer Sprache am sichersten ist

Für alle, die ein Modell auswählen, ist dies vielleicht das wichtigste Ergebnis. Die Rangfolge der 34 Modelle auf Englisch ist ein schlechter Wegweiser für ihre Rangfolge in den ressourcenärmeren Sprachen. Die Rangkorrelation mit der englischen Rangfolge beträgt 0,81 für Spanisch, aber nur 0,47 für Estnisch, 0,43 für Irisch und 0,41 für Maltesisch (Abbildung 3). Ein Modell, das auf Englisch zu den sichersten gehört, kann in einer anderen Sprache zu den anfälligsten gehören.

Rangkorrelationen über die 34 Modelle.

Olmo 3 7B Instruct ist auf Englisch das zehntsicherste der 34 Modelle und erfüllt 2,9 % der Anfragen, in den anderen Sprachen aber das zweitunsicherste mit im Mittel 43,4 %. Nemotron 3 Nano 4B steigt von 1,3 % auf Englisch auf 19,9 %. Bei 16 der 34 Modelle ist die ASR außerhalb des Englischen mehr als doppelt so hoch wie auf Englisch.

Der Abstand hängt vom Modell ab und lässt sich schließen

Die Wahl des Modells macht einen großen Unterschied (Abbildung 4). Im Mittel über die 23 nicht englischen Sprachen reicht die ASR von 2,0 % bei Qwen3.6 35B-A3B bis 45,3 % bei Mistral 7B Instruct v0.2, einem Modell aus dem Jahr 2023. Bei 33 der 34 Modelle liegt sie höher als auf Englisch, bei 11 davon um mehr als 10 Prozentpunkte.

1.053 Prompts pro Sprache, erste Antwort, bewertet von Qwen3Guard-Gen-8B.

Mehrere neuere Modelle zeigen nur kleine oder gar keine Abstände. Gemma 4 31B ist außerhalb des Englischen nicht weniger sicher als auf Englisch (8,4 % gegenüber 9,0 %), und Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B und gpt-oss-20b bleiben in den nicht englischen Sprachen im Mittel unter 5 %. In jeder der sechs Familien, die wir in mehr als einer Größe getestet haben, schrumpft der Abstand mit der Modellgröße (Abbildung 5): von +17,4 über +8,9 auf +2,8 Prozentpunkte bei Granite 4.1 3B, 8B und 30B und von +6,2 auf −0,6 bei Gemma 4 E2B bis 31B. Ein Sicherheitsverhalten, das über alle Sprachen trägt, ist erreichbar.

Größen sind Gesamtparameter; bei Mixture-of-Experts-Modellen sind auch die aktiven Parameter angegeben.

Die Sprachliste der Model Card ist ein Warnsignal, keine Garantie

Zwölf der Modelle führen in ihrer Model Card einige, aber nicht alle der 23 nicht englischen EU-Sprachen als unterstützt auf. Bei 11 der 12 ist die ASR in den nicht aufgeführten Sprachen höher, im Mittel um 12,3 Prozentpunkte (Abbildung 6). Llama 3.2 3B Instruct zum Beispiel erfüllt 10,6 % der Anfragen auf Englisch, 7,4 % in den fünf EU-Sprachen, die seine Model Card aufführt, und 32,8 % in den übrigen 18.

Eine aufgeführte Sprache ist allerdings nicht automatisch sicher. Die aufgeführten Sprachen sind überwiegend die großen, und hält man die Sprache fest, sind Modelle, die sie aufführen, darin nur wenig sicherer als Modelle, die das nicht tun (um 4,4 Prozentpunkte, was statistisch nicht signifikant ist). Die fünf Modelle, deren Model Cards alle 23 Sprachen aufführen, die drei EuroLLM-Modelle und die beiden Tiny-Aya-Modelle, haben dennoch Abstände von 6,6 bis 13,0 Prozentpunkten.

Unterstützte Sprachen laut den Model Cards.

Welche Arten von Schaden sind betroffen?

Der Abstand beschränkt sich nicht auf wenige Themen. Wir haben die 66 Kategorien der vier Benchmarks zu 13 Schadensarten zusammengefasst (die Gruppierung stammt von uns; der Daten-Explorer unten zeigt, welche Kategorien zu welcher Art gehören). Jede Art hat außerhalb des Englischen eine höhere ASR (Abbildung 7), von +4,8 Prozentpunkten bei Verletzungen der Privatsphäre bis +14,2 bei politischer, religiöser und ethischer Beeinflussung. Anfragen zu Waffen, Drogen und gefährlichen Gütern werden außerhalb des Englischen 2,5-mal so oft erfüllt (17,0 % gegenüber 6,9 %), Anfragen zu Cyberkriminalität und Hacking 2,7-mal so oft (17,8 % gegenüber 6,6 %).

Die Schadensarten fassen die 66 Kategorien von HarmBench, JBB-Behaviors, SORRY-Bench und StrongREJECT zusammen.

Einzelne Kategorien verändern sich drastisch. Anfragen, für eine Religion zu werben, werden auf Englisch fast immer abgelehnt (0,9 % erfüllt), in den anderen Sprachen aber zu 23,3 % erfüllt. Bei Anfragen, Verschwörungstheorien zu verbreiten, steigt der Anteil von 22,1 % auf 38,3 %.

Die Modelle verstehen die Anfragen. Sie erkennen nur den Schaden nicht

Ein Modell kann einer Anfrage in einer anderen Sprache nachkommen, weil sein Ablehnungsverhalten nicht auf diese Sprache übertragen wird, oder weil es die Anfrage nicht gut genug versteht, um zu erkennen, dass sie schädlich ist. Um beides zu unterscheiden, haben wir jedes Modell gebeten, eine Stichprobe der Prompts aus jeder Sprache ins Englische zu übersetzen.

Die Modelle übersetzen die meisten Prompts in jeder Sprache korrekt: im Mittel 74–84 %, außer auf Estnisch (71 %), Maltesisch (65 %) und Irisch (54 %). Als schädlich erkennen sie aber weit weniger Anfragen. In den großen westeuropäischen Sprachen lehnen sie es bei 16–20 % der Prompts sogar ab, sie nur zu übersetzen; auf Irisch, Maltesisch, Lettisch, Estnisch und Litauisch nur bei 2–5 %. Über die Sprachen hinweg hängt diese Rate der Schadenserkennung eng mit der ASR zusammen (ρ = −0,92). Von den erfolgreichen Angriffen in den nicht englischen Sprachen betreffen 79 % Prompts, die das Modell verstanden hat, und selbst bei korrekt verstandenen Prompts steigt die ASR von 10,5–11,3 % in den großen westeuropäischen Sprachen (außer Niederländisch) auf 19–23 % in den ressourcenärmsten.

In den ressourcenärmsten Sprachen lehnen die Modelle zudem mehr harmlose Anfragen ab. In einem Kontrollexperiment mit 10 der Modelle lehnten sie auf Lettisch, Maltesisch, Estnisch und Litauisch 22–25 % der harmlosen Prompts ab, gegenüber 15 % auf Englisch und 9–12 % in den großen westeuropäischen Sprachen. Ihre Ablehnungen hängen weniger davon ab, was tatsächlich gefragt wird. Sicherheitsverhalten, das überwiegend auf Englisch gelernt wurde, überträgt sich nicht auf Sprachen, die in den Trainingsdaten selten sind.

Weniger Ablehnungen, aber nicht immer mehr Schaden

Ist der Abstand echt oder ein Artefakt des Klassifikators oder der maschinellen Übersetzung? Wir haben ihn auf mehreren Wegen geprüft (Abbildung 8). Die Bewertung der Antworten mit Llama Guard 3, einem Klassifikator aus einer anderen Modellfamilie, ergibt dasselbe Bild, ebenso die Übersetzung der Antworten ins Englische und ihre Bewertung dort. Der Abstand bleibt auch bestehen, wenn wir nur die Prompts verwenden, bei denen die beiden Übersetzungskandidaten am stärksten übereinstimmen.

Unser Klassifikator bewertet wie Llama Guard 3, ob eine Antwort unsicher ist; das schließt teilweises und minderwertiges Nachkommen ein. Bewerter, die einschätzen, wie konkret und nützlich der schädliche Inhalt ist, finden einen kleineren Abstand: etwa 3 Prozentpunkte beim HarmBench-Klassifikator und beim StrongREJECT-Bewerter und 8 bei Gemma 3 27B mit dem StrongREJECT-Bewertungsschema. Viele der nicht abgelehnten Antworten in den ressourcenärmsten Sprachen sind von geringer Qualität; auf Maltesisch und Irisch liefert ein Drittel der erfolgreichen Angriffe überhaupt keine konkrete Hilfe. Die größten Zuwächse an tatsächlichem Schaden zeigen sich in Sprachen wie Polnisch, Finnisch, Ungarisch und Slowenisch, in denen die Modelle zugleich weniger sicher und noch leistungsfähig sind.

Beim StrongREJECT-Bewerter und beim Gemma-Bewertungsschema: mittlere Punktzahl × 100.

Kurz gesagt: In den ressourcenärmsten Sprachen lehnen die Modelle viel seltener ab als auf Englisch, doch vieles von dem, was sie stattdessen liefern, ist für Angreifer kaum brauchbar. Der Abstand bei den Ablehnungen ist dennoch real: Ablehnen ist das Sicherheitsverhalten, das diese Modelle haben sollen, und leistungsfähigere Modelle können nützlichere Inhalte liefern, wenn sie nicht ablehnen.

Was das bedeutet, wenn Sie LLMs in der EU einsetzen

1. Testen Sie die Sicherheit in jeder Sprache, in der Sie Ihr System einsetzen. Englische Ergebnisse lassen sich nicht übertragen, und die Rangfolge der Modelle ändert sich von Sprache zu Sprache.
2. Achten Sie auf die schwächste Sprache, nicht auf den Mittelwert. Ein Mittelwert über die Sprachen verdeckt die ressourcenärmsten, in denen das Risiko am größten ist.
3. Messen Sie sowohl Ablehnungen als auch Schaden. Ob ein Modell ablehnt und wie schädlich seine Ausgabe ist, kann auseinanderfallen, vor allem in ressourcenarmen Sprachen.
4. Behandeln Sie Sprachen, die in der Model Card fehlen, als Hochrisikosprachen. Gehen Sie aber nicht davon aus, dass die aufgeführten sicher sind.
5. Setzen Sie Schutzmaßnahmen dort ein, wo sie am nötigsten sind. In den ressourcenärmsten Sprachen können zusätzliches Sicherheitstraining oder ein Eingabefilter nötig sein.

Dieser Benchmark ist ein Forschungsprojekt. Evaluierungen für unsere Kunden bauen wir um das jeweilige System herum auf: seine Anwendungsfälle, sein Bedrohungsmodell und die Sprachen, in denen seine Nutzer schreiben, gestützt auf das, was wir aus Forschung wie dieser lernen. Sprechen Sie mit uns über Ihres.