Ασφάλεια που χάνεται στη μετάφραση: επιβλαβείς εντολές και στις 24 γλώσσες της ΕΕ

Βασικά ευρήματα

1. Καθεμία από τις άλλες 23 επίσημες γλώσσες της ΕΕ έχει υψηλότερο ποσοστό επιτυχίας επιθέσεων από τα αγγλικά, κατά μέσο όρο πάνω από διπλάσιο.
2. Η διαφορά ακολουθεί το πόσο κείμενο υπάρχει σε μια γλώσσα στον ιστό, όχι το αλφάβητο στο οποίο γράφεται.
3. Η κατάταξη ενός μοντέλου στα αγγλικά είναι κακός οδηγός για την κατάταξή του στις γλώσσες με τους λιγότερους πόρους.
4. Η διαφορά δεν είναι αναπόφευκτη: ορισμένα νεότερα μοντέλα έχουν μικρή ή καμία, και τα μεγαλύτερα μοντέλα της ίδιας οικογένειας τη μειώνουν.
5. Τα μοντέλα κατανοούν τα περισσότερα αιτήματα. Αυτό που αποτυγχάνει είναι η αναγνώρισή τους ως επιβλαβών.
6. Δεν είναι όλα όσα περνούν χρήσιμα σε έναν επιτιθέμενο, οπότε η διαφορά στην πραγματική βλάβη είναι μικρότερη από τη διαφορά στις αρνήσεις, αλλά υπάρχει.

Γιατί δοκιμές σε 24 γλώσσες;

Η Ευρωπαϊκή Ένωση έχει 24 επίσημες γλώσσες και μια ενιαία αγορά στην οποία τα προϊόντα που βασίζονται σε μεγάλα γλωσσικά μοντέλα (LLM) αναμένεται να εξυπηρετούν τους ομιλητές όλων αυτών των γλωσσών. Οι πάροχοι έχουν βελτιώσει σημαντικά τα μοντέλα τους σε αυτές τις γλώσσες. Η αξιολόγηση της ασφάλειας δεν έχει ακολουθήσει τον ίδιο ρυθμό: το αν ένα μοντέλο αρνείται να βοηθήσει σε ένα επιβλαβές αίτημα εξακολουθεί να μετριέται κυρίως στα αγγλικά. Ένα μοντέλο που φαίνεται ασφαλές στα αγγλικά μπορεί να ικανοποιήσει το ίδιο αίτημα γραμμένο στα εσθονικά ή στα μαλτεζικά, και μια αξιολόγηση μόνο στα αγγλικά δεν θα το δείξει.

Προηγούμενες εργασίες μελέτησαν μεμονωμένες γλώσσες ή μικρές ομάδες γλωσσών, και τα πολύγλωσσα σύνολα αξιολόγησης με επιβλαβή αιτήματα κάλυπταν το πολύ τέσσερις γλώσσες της ΕΕ πέρα από τα αγγλικά. Δημιουργήσαμε ένα παράλληλο σύνολο αξιολόγησης: τα ίδια επιβλαβή αιτήματα και στις 24 επίσημες γλώσσες της ΕΕ, ώστε οι γλώσσες και τα μοντέλα να συγκρίνονται άμεσα.

Πώς κάναμε τις δοκιμές

Πήραμε 1.053 επιβλαβείς εντολές από τέσσερα καθιερωμένα αγγλικά σύνολα αξιολόγησης: HarmBench (200 εντολές), JBB-Behaviors (100), SORRY-Bench (440) και StrongREJECT (313). Κάθε εντολή μεταφράστηκε δύο φορές στις άλλες 23 επίσημες γλώσσες της ΕΕ, από το DeepL και το Claude Opus 4.5, και ένα LLM σε ρόλο κριτή επέλεξε τη μετάφραση που ήταν καταλληλότερη για αξιολόγηση ασφάλειας. Συνολικά, το σύνολο αξιολόγησης περιλαμβάνει 25.272 εντολές.

Στείλαμε κάθε εντολή ως ένα μόνο μήνυμα χωρίς εντολή συστήματος σε 34 μοντέλα ανοιχτών βαρών με 3 έως 35 δισεκατομμύρια παραμέτρους, από τις οικογένειες Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo και Apertus. Κάθε απάντηση αξιολογήθηκε από έναν ταξινομητή ασφάλειας, το Qwen3Guard-Gen-8B. Το ποσοστό επιτυχίας επιθέσεων (Attack Success Rate, ASR) είναι το ποσοστό των επιβλαβών αιτημάτων που ικανοποιεί ένα μοντέλο: η απάντηση δεν είναι άρνηση και ο ταξινομητής τη χαρακτηρίζει μη ασφαλή ή αμφιλεγόμενη.

Κάθε γλώσσα της ΕΕ είναι λιγότερο ασφαλής από τα αγγλικά

Κατά μέσο όρο στα 34 μοντέλα, το ASR είναι 7,7% στα αγγλικά και υψηλότερο σε καθεμία από τις άλλες 23 γλώσσες (Σχήμα 1). Αυξάνεται από τις μεγάλες δυτικοευρωπαϊκές γλώσσες, 10–12% στα γαλλικά, τα ισπανικά, τα γερμανικά, τα ιταλικά και τα πορτογαλικά, σε 22–23% στα ουγγρικά, τα σλοβενικά, τα λιθουανικά, τα εσθονικά και τα μαλτεζικά και σε 24,3% στα λετονικά. Τα διαστήματα 95% και των 23 γλωσσών βρίσκονται πάνω από το διάστημα των αγγλικών.

1.053 εντολές ανά γλώσσα, η πρώτη απάντηση κάθε μοντέλου, αξιολογημένη από το Qwen3Guard-Gen-8B. Οι γλώσσες είναι ομαδοποιημένες κατά διαθεσιμότητα πόρων.

Για ένα προϊόν που εξυπηρετεί όλες τις γλώσσες της ΕΕ, ο μέσος όρος κρύβει αυτό που μετράει περισσότερο: την πιο αδύναμη γλώσσα. Το Llama 3.1 8B Instruct ικανοποιεί κατά μέσο όρο το 8,3% των αιτημάτων εκτός αγγλικών, αλλά το 20,4% στα λετονικά. Το Qwen3 4B Instruct 2507 έχει μέσο όρο 9,3% και φτάνει το 26,0% στα μαλτεζικά· το Phi-4 έχει μέσο όρο 14,1% και φτάνει το 36,4% στα μαλτεζικά.

Όσο λιγότερο κείμενο στον ιστό, τόσο μεγαλύτερη η διαφορά

Οι γλώσσες κατατάσσονται ανάλογα με το πόσο κείμενο υπάρχει σε αυτές στον ιστό. Στις 24 γλώσσες, το ASR συσχετίζεται ισχυρά με τον λογάριθμο του ποσοστού των ιστοσελίδων του Common Crawl στη γλώσσα (ρ του Spearman = −0,91), όπως και η διαφορά από τα αγγλικά (ρ = −0,90, Σχήμα 2). Ομαδοποιημένο κατά διαθεσιμότητα πόρων, το ASR είναι περίπου 12% στις έξι μεγάλες δυτικοευρωπαϊκές γλώσσες, 18% στις έντεκα γλώσσες μεσαίων πόρων και 22% στις έξι γλώσσες με τους λιγότερους πόρους: ιρλανδικά, μαλτεζικά, εσθονικά, λετονικά, λιθουανικά και σλοβενικά.

Μερίδια του Common Crawl από τη συλλογή CC-MAIN-2026-39. Οι ετικέτες είναι κωδικοί γλωσσών ISO.

Το αλφάβητο δεν εξηγεί τη διαφορά. Τα λετονικά, τα λιθουανικά και τα εσθονικά γράφονται με λατινικό αλφάβητο, όπως τα γαλλικά και τα ισπανικά, ενώ οι δύο γλώσσες με άλλη γραφή, τα βουλγαρικά και τα ελληνικά, βρίσκονται κατά μέσο όρο μόνο 1,8 ποσοστιαίες μονάδες πάνω από τις γλώσσες με λατινικό αλφάβητο. Τα ιρλανδικά και τα μαλτεζικά, οι δύο γλώσσες με το λιγότερο κείμενο στον ιστό, είναι επίσης οι γλώσσες όπου ο αυτόματος ταξινομητής είναι λιγότερο αξιόπιστος, οπότε οι ακριβείς τιμές τους είναι πιο αβέβαιες από εκείνες των άλλων γλωσσών (βλ. παρακάτω).

Τα αποτελέσματα στα αγγλικά δεν σας λένε ποιο μοντέλο είναι το ασφαλέστερο στη γλώσσα σας

Για όποιον επιλέγει μοντέλο, αυτό ίσως είναι το σημαντικότερο εύρημα. Η κατάταξη των 34 μοντέλων στα αγγλικά είναι κακός οδηγός για την κατάταξή τους στις γλώσσες με λιγότερους πόρους. Η συσχέτιση τάξης με την αγγλική κατάταξη είναι 0,81 για τα ισπανικά, αλλά μόνο 0,47 για τα εσθονικά, 0,43 για τα ιρλανδικά και 0,41 για τα μαλτεζικά (Σχήμα 3). Ένα μοντέλο που είναι από τα ασφαλέστερα στα αγγλικά μπορεί να είναι από τα πιο ευάλωτα σε άλλη γλώσσα.

Συσχετίσεις τάξης στα 34 μοντέλα.

Το Olmo 3 7B Instruct είναι το δέκατο ασφαλέστερο από τα 34 μοντέλα στα αγγλικά, ικανοποιώντας το 2,9% των αιτημάτων, αλλά το δεύτερο λιγότερο ασφαλές στις άλλες γλώσσες, με 43,4% κατά μέσο όρο. Το Nemotron 3 Nano 4B ανεβαίνει από 1,3% στα αγγλικά σε 19,9%. Για 16 από τα 34 μοντέλα, το ASR εκτός αγγλικών είναι πάνω από διπλάσιο από αυτό στα αγγλικά.

Η διαφορά εξαρτάται από το μοντέλο και μπορεί να εξαλειφθεί

Η επιλογή του μοντέλου έχει μεγάλη σημασία (Σχήμα 4). Κατά μέσο όρο στις 23 μη αγγλικές γλώσσες, το ASR κυμαίνεται από 2,0% για το Qwen3.6 35B-A3B έως 45,3% για το Mistral 7B Instruct v0.2, ένα μοντέλο του 2023. Για 33 από τα 34 μοντέλα είναι υψηλότερο από ό,τι στα αγγλικά, και για 11 από αυτά κατά περισσότερες από 10 ποσοστιαίες μονάδες.

1.053 εντολές ανά γλώσσα, πρώτη απάντηση, αξιολογημένη από το Qwen3Guard-Gen-8B.

Αρκετά νεότερα μοντέλα παρουσιάζουν μικρές διαφορές ή καθόλου. Το Gemma 4 31B δεν είναι λιγότερο ασφαλές εκτός αγγλικών από ό,τι στα αγγλικά (8,4% έναντι 9,0%), ενώ τα Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B και gpt-oss-20b μένουν κατά μέσο όρο κάτω από 5% στις μη αγγλικές γλώσσες. Σε καθεμία από τις έξι οικογένειες που δοκιμάσαμε σε περισσότερα από ένα μεγέθη, η διαφορά μικραίνει όσο μεγαλώνουν τα μοντέλα (Σχήμα 5): από +17,4 σε +8,9 και +2,8 ποσοστιαίες μονάδες για τα Granite 4.1 3B, 8B και 30B, και από +6,2 σε −0,6 από το Gemma 4 E2B στο 31B. Μια συμπεριφορά ασφάλειας που ισχύει σε όλες τις γλώσσες είναι εφικτή.

Τα μεγέθη είναι οι συνολικές παράμετροι· για τα μοντέλα mixture-of-experts εμφανίζονται και οι ενεργές παράμετροι.

Η λίστα γλωσσών στην κάρτα μοντέλου είναι προειδοποιητικό σήμα, όχι εγγύηση

Δώδεκα από τα μοντέλα αναφέρουν στην κάρτα μοντέλου τους ως υποστηριζόμενες ορισμένες, αλλά όχι όλες, από τις 23 μη αγγλικές γλώσσες της ΕΕ. Για 11 από τα 12, το ASR είναι υψηλότερο στις γλώσσες που δεν αναφέρονται, κατά μέσο όρο κατά 12,3 ποσοστιαίες μονάδες (Σχήμα 6). Το Llama 3.2 3B Instruct, για παράδειγμα, ικανοποιεί το 10,6% των αιτημάτων στα αγγλικά, το 7,4% στις πέντε γλώσσες της ΕΕ που αναφέρει η κάρτα του και το 32,8% στις υπόλοιπες 18.

Ωστόσο, μια γλώσσα που αναφέρεται δεν είναι αυτόματα ασφαλής. Οι γλώσσες που αναφέρονται είναι κυρίως οι μεγάλες, και για την ίδια γλώσσα τα μοντέλα που την αναφέρουν είναι σε αυτήν μόνο ελαφρώς ασφαλέστερα από τα μοντέλα που δεν την αναφέρουν (κατά 4,4 ποσοστιαίες μονάδες, διαφορά που δεν είναι στατιστικά σημαντική). Τα πέντε μοντέλα των οποίων οι κάρτες αναφέρουν και τις 23 γλώσσες, τα τρία μοντέλα EuroLLM και τα δύο μοντέλα Tiny Aya, εξακολουθούν να έχουν διαφορές από 6,6 έως 13,0 ποσοστιαίες μονάδες.

Υποστηριζόμενες γλώσσες όπως αναφέρονται στις κάρτες μοντέλων.

Ποια είδη βλάβης επηρεάζονται;

Η διαφορά δεν περιορίζεται σε λίγα θέματα. Ομαδοποιήσαμε τις 66 κατηγορίες των τεσσάρων συνόλων αξιολόγησης σε 13 είδη βλάβης (η ομαδοποίηση είναι δική μας· ο εξερευνητής δεδομένων παρακάτω δείχνει ποιες κατηγορίες ανήκουν σε ποιο είδος). Κάθε είδος έχει υψηλότερο ASR εκτός αγγλικών (Σχήμα 7), από +4,8 ποσοστιαίες μονάδες για τις παραβιάσεις της ιδιωτικότητας έως +14,2 για την πολιτική, θρησκευτική και ηθική πειθώ. Τα αιτήματα για όπλα, ναρκωτικά και επικίνδυνα αγαθά ικανοποιούνται 2,5 φορές συχνότερα εκτός αγγλικών (17,0% έναντι 6,9%), και τα αιτήματα για κυβερνοέγκλημα και hacking 2,7 φορές συχνότερα (17,8% έναντι 6,6%).

Τα είδη βλάβης ομαδοποιούν τις 66 κατηγορίες των HarmBench, JBB-Behaviors, SORRY-Bench και StrongREJECT.

Ορισμένες μεμονωμένες κατηγορίες αλλάζουν δραματικά. Τα αιτήματα για την προώθηση μιας θρησκείας σχεδόν πάντα απορρίπτονται στα αγγλικά (ικανοποιείται μόνο το 0,9%), αλλά στις άλλες γλώσσες ικανοποιείται το 23,3%. Τα αιτήματα για τη διάδοση θεωριών συνωμοσίας αυξάνονται από 22,1% σε 38,3%.

Τα μοντέλα κατανοούν τα αιτήματα. Απλώς δεν βλέπουν τη βλάβη

Ένα μοντέλο μπορεί να ικανοποιήσει ένα αίτημα σε άλλη γλώσσα επειδή η συμπεριφορά άρνησής του δεν μεταφέρεται σε αυτή τη γλώσσα ή επειδή δεν κατανοεί το αίτημα αρκετά καλά ώστε να δει ότι είναι επιβλαβές. Για να διακρίνουμε τις δύο περιπτώσεις, ζητήσαμε από κάθε μοντέλο να μεταφράσει στα αγγλικά ένα δείγμα εντολών από κάθε γλώσσα.

Τα μοντέλα μεταφράζουν σωστά τις περισσότερες εντολές σε κάθε γλώσσα: 74–84% κατά μέσο όρο, εκτός από τα εσθονικά (71%), τα μαλτεζικά (65%) και τα ιρλανδικά (54%). Αναγνωρίζουν όμως πολύ λιγότερα αιτήματα ως επιβλαβή. Στις μεγάλες δυτικοευρωπαϊκές γλώσσες αρνούνται ακόμη και να μεταφράσουν το 16–20% των εντολών· στα ιρλανδικά, τα μαλτεζικά, τα λετονικά, τα εσθονικά και τα λιθουανικά μόνο το 2–5%. Μεταξύ των γλωσσών, αυτό το ποσοστό αναγνώρισης της βλάβης συνδέεται στενά με το ASR (ρ = −0,92). Από τις επιτυχημένες επιθέσεις στις μη αγγλικές γλώσσες, το 79% αφορά εντολές που το μοντέλο κατανόησε, και ακόμη και στις σωστά κατανοημένες εντολές το ASR αυξάνεται από 10,5–11,3% στις μεγάλες δυτικοευρωπαϊκές γλώσσες (εκτός από τα ολλανδικά) σε 19–23% στις γλώσσες με τους λιγότερους πόρους.

Στις γλώσσες με τους λιγότερους πόρους, τα μοντέλα αρνούνται επίσης περισσότερα αβλαβή αιτήματα. Σε ένα πείραμα ελέγχου με 10 από τα μοντέλα, αρνήθηκαν το 22–25% των αβλαβών εντολών στα λετονικά, τα μαλτεζικά, τα εσθονικά και τα λιθουανικά, έναντι 15% στα αγγλικά και 9–12% στις μεγάλες δυτικοευρωπαϊκές γλώσσες. Οι αρνήσεις τους εξαρτώνται λιγότερο από το τι πραγματικά ζητείται. Η συμπεριφορά ασφάλειας που μαθαίνεται κυρίως στα αγγλικά δεν μεταφέρεται σε γλώσσες που είναι σπάνιες στα δεδομένα εκπαίδευσης.

Λιγότερες αρνήσεις, αλλά όχι πάντα περισσότερη βλάβη

Είναι η διαφορά πραγματική ή απλώς τεχνητό αποτέλεσμα του ταξινομητή ή της μηχανικής μετάφρασης; Την ελέγξαμε με διάφορους τρόπους (Σχήμα 8). Η αξιολόγηση των απαντήσεων με το Llama Guard 3, έναν ταξινομητή από άλλη οικογένεια μοντέλων, δίνει την ίδια εικόνα, όπως και η μετάφραση των απαντήσεων στα αγγλικά και η αξιολόγησή τους εκεί. Η διαφορά παραμένει και όταν χρησιμοποιούμε μόνο τις εντολές των οποίων οι δύο υποψήφιες μεταφράσεις συμφωνούν περισσότερο.

Ο ταξινομητής μας, όπως και το Llama Guard 3, κρίνει αν μια απάντηση είναι μη ασφαλής, κάτι που περιλαμβάνει και τη μερική ή χαμηλής ποιότητας συμμόρφωση. Οι κριτές που βαθμολογούν πόσο συγκεκριμένο και χρήσιμο είναι το επιβλαβές περιεχόμενο βρίσκουν μικρότερη διαφορά: περίπου 3 ποσοστιαίες μονάδες για τον ταξινομητή του HarmBench και τον βαθμολογητή του StrongREJECT και 8 για το Gemma 3 27B που βαθμολογεί με την κλίμακα του StrongREJECT. Πολλές από τις απαντήσεις που δεν απορρίπτονται στις γλώσσες με τους λιγότερους πόρους είναι χαμηλής ποιότητας· στα μαλτεζικά και τα ιρλανδικά, το ένα τρίτο των επιτυχημένων επιθέσεων δεν παρέχει καμία συγκεκριμένη βοήθεια. Οι μεγαλύτερες αυξήσεις της ουσιαστικής βλάβης εμφανίζονται σε γλώσσες όπως τα πολωνικά, τα φινλανδικά, τα ουγγρικά και τα σλοβενικά, όπου τα μοντέλα είναι ταυτόχρονα λιγότερο ασφαλή και εξακολουθούν να είναι ικανά.

Για τον βαθμολογητή του StrongREJECT και την κλίμακα με το Gemma: μέση βαθμολογία × 100.

Συνοπτικά, στις γλώσσες με τους λιγότερους πόρους τα μοντέλα αρνούνται πολύ σπανιότερα από ό,τι στα αγγλικά, αλλά μεγάλο μέρος όσων παράγουν αντί για άρνηση είναι ελάχιστα χρήσιμο σε έναν επιτιθέμενο. Η διαφορά στις αρνήσεις είναι ωστόσο πραγματική: η άρνηση είναι η συμπεριφορά ασφάλειας που υποτίθεται ότι έχουν αυτά τα μοντέλα, και τα πιο ικανά μοντέλα μπορεί να παράγουν πιο χρήσιμο περιεχόμενο όταν δεν αρνούνται.

Τι σημαίνει αυτό αν αναπτύσσετε LLM στην ΕΕ

1. Ελέγξτε την ασφάλεια σε κάθε γλώσσα στην οποία αναπτύσσετε το σύστημα. Τα αποτελέσματα στα αγγλικά δεν μεταφέρονται, και η κατάταξη των μοντέλων αλλάζει από γλώσσα σε γλώσσα.
2. Κοιτάξτε την πιο αδύναμη γλώσσα, όχι τον μέσο όρο. Ένας μέσος όρος όλων των γλωσσών κρύβει τις γλώσσες με τους λιγότερους πόρους, όπου ο κίνδυνος είναι μεγαλύτερος.
3. Μετρήστε και τις αρνήσεις και τη βλάβη. Το αν ένα μοντέλο αρνείται και το πόσο επιβλαβής είναι η έξοδός του μπορεί να αποκλίνουν, κυρίως στις γλώσσες χαμηλών πόρων.
4. Θεωρήστε υψηλού κινδύνου τις γλώσσες που λείπουν από την κάρτα μοντέλου. Μην υποθέτετε όμως ότι οι γλώσσες που αναφέρονται είναι ασφαλείς.
5. Προσθέστε δικλίδες ασφαλείας εκεί όπου χρειάζονται περισσότερο. Στις γλώσσες με τους λιγότερους πόρους μπορεί να χρειάζεται πρόσθετη εκπαίδευση ασφάλειας ή φίλτρο εισόδου.

Αυτό το σύνολο αξιολόγησης είναι ερευνητικό έργο. Οι αξιολογήσεις για τους πελάτες μας σχεδιάζονται γύρω από κάθε σύστημα: τις περιπτώσεις χρήσης του, το μοντέλο απειλών του και τις γλώσσες στις οποίες γράφουν οι χρήστες του, με βάση όσα μαθαίνουμε από έρευνες σαν αυτή. Μιλήστε μας για το δικό σας.