Sábháilteacht a chailltear san aistriúchán: leideanna díobhálacha i ngach ceann de 24 theanga an AE

Príomhthorthaí

1. Tá ráta ratha ionsaithe níos airde ag gach ceann de na 23 theanga oifigiúla eile de chuid an AE ná ag an mBéarla, níos mó ná a dhá oiread ar an meán.
2. Leanann an bhearna an méid téacs atá ar fáil i dteanga ar an ngréasán, ní an aibítir ina scríobhtar í.
3. Is treoir lag é rangú samhla i mBéarla ar a rangú sna teangacha is gainne acmhainní.
4. Ní dosheachanta an bhearna: is beag nó dada atá i gceist i gcás roinnt samhlacha nua, agus laghdaíonn samhlacha níos mó den teaghlach céanna í.
5. Tuigeann na samhlacha formhór na n-iarratas. Is é an rud a theipeann orthu ná iad a aithint mar iarratais dhíobhálacha.
6. Ní bhíonn gach rud a shleamhnaíonn tríd úsáideach d’ionsaitheoir, mar sin tá an bhearna i ndochar fíor níos lú ná an bhearna i ndiúltuithe, ach tá sí ann.

Cén fáth tástáil i 24 theanga?

Tá 24 theanga oifigiúla ag an Aontas Eorpach agus margadh aonair ina bhfuiltear ag súil go bhfreastalóidh táirgí atá bunaithe ar shamhlacha móra teanga (LLM) ar chainteoirí na dteangacha sin go léir. Tá feabhas mór curtha ag soláthraithe ar a gcuid samhlacha sna teangacha seo. Níor choinnigh meastóireacht sábháilteachta an luas céanna: is i mBéarla den chuid is mó a thomhaistear fós an ndiúltaíonn samhail cabhrú le hiarratas díobhálach. Is féidir le samhail a bhfuil cuma shábháilte uirthi i mBéarla an t-iarratas céanna a chomhlíonadh nuair a scríobhtar é san Eastóinis nó sa Mháltais, agus ní léireoidh meastóireacht i mBéarla amháin é sin.

Rinne obair roimhe seo staidéar ar theangacha aonair nó ar ghrúpaí beaga teangacha, agus níor chlúdaigh tagarmharcanna ilteangacha d’iarratais dhíobhálacha ach ceithre theanga AE ar a mhéad seachas an Béarla. Thógamar tagarmharc comhthreomhar: na hiarratais dhíobhálacha chéanna i ngach ceann de 24 theanga oifigiúla an AE, ionas gur féidir teangacha agus samhlacha a chur i gcomparáid go díreach.

Conas a rinneamar an tástáil

Thógamar 1,053 leid dhíobhálach ó cheithre thagarmharc Béarla seanbhunaithe: HarmBench (200 leid), JBB-Behaviors (100), SORRY-Bench (440) agus StrongREJECT (313). Aistríodh gach leid dhá uair go dtí na 23 theanga oifigiúla eile de chuid an AE, ag DeepL agus ag Claude Opus 4.5, agus roghnaigh LLM i ról breithimh an t-aistriúchán ab fhearr a d’oirfeadh do mheastóireacht sábháilteachta. San iomlán, tá 25,272 leid sa tagarmharc.

Sheolamar gach leid mar theachtaireacht amháin gan leid chórais chuig 34 shamhail le meáchain oscailte, idir 3 agus 35 billiún paraiméadar, ó theaghlaigh Qwen, Gemma, Granite, Llama, Mistral, Phi, Nemotron, gpt-oss, Aya, EuroLLM, Olmo agus Apertus. Rinne aicmitheoir sábháilteachta, Qwen3Guard-Gen-8B, breithiúnas ar gach freagra. Is é an ráta ratha ionsaithe (Attack Success Rate, ASR) an cion de na hiarratais dhíobhálacha a chomhlíonann samhail: ní diúltú é an freagra, agus lipéadaíonn an t-aicmitheoir é mar fhreagra neamhshábháilte nó conspóideach.

Tá gach teanga AE níos lú sábháilte ná an Béarla

Ar an meán thar na 34 shamhail, is é 7.7% an ASR i mBéarla, agus tá sé níos airde i ngach ceann de na 23 theanga eile (Fíor 1). Ardaíonn sé ó na mórtheangacha in Iarthar na hEorpa, 10–12% sa Fhraincis, sa Spáinnis, sa Ghearmáinis, san Iodáilis agus sa Phortaingéilis, go dtí 22–23% san Ungáiris, sa tSlóivéinis, sa Liotuáinis, san Eastóinis agus sa Mháltais, agus go dtí 24.3% sa Laitvis. Tá eatraimh 95% na 23 theanga ar fad os cionn eatramh an Bhéarla.

1,053 leid in aghaidh na teanga, an chéad fhreagra ó gach samhail, measta ag Qwen3Guard-Gen-8B. Teangacha grúpáilte de réir infhaighteacht acmhainní.

I gcás táirge a fhreastalaíonn ar gach teanga AE, ceileann an meán an rud is tábhachtaí: an teanga is laige. Comhlíonann Llama 3.1 8B Instruct 8.3% de na hiarratais lasmuigh den Bhéarla ar an meán, ach 20.4% sa Laitvis. Is é 9.3% meán Qwen3 4B Instruct 2507 agus sroicheann sé 26.0% sa Mháltais; is é 14.1% meán Phi-4 agus sroicheann sé 36.4% sa Mháltais.

Dá laghad téacs ar an ngréasán, is ea is mó an bhearna

Cuirtear na teangacha in ord de réir an mhéid téacs atá iontu ar an ngréasán. Thar na 24 theanga, tá dlúthchomhghaol idir an ASR agus logartam sciar leathanaigh ghréasáin Common Crawl sa teanga (ρ Spearman = −0.91), agus is amhlaidh don bhearna leis an mBéarla (ρ = −0.90, Fíor 2). Arna ngrúpáil de réir infhaighteacht acmhainní, tá an ASR thart ar 12% sna sé mhórtheanga in Iarthar na hEorpa, 18% sna haon teanga déag meánacmhainne agus 22% sna sé theanga is gainne acmhainní: Gaeilge, Máltais, Eastóinis, Laitvis, Liotuáinis agus Slóivéinis.

Sciartha Common Crawl ón gcnuasach CC-MAIN-2026-39. Is cóid teanga ISO na lipéid.

Ní mhíníonn an aibítir an bhearna. Scríobhtar an Laitvis, an Liotuáinis agus an Eastóinis san aibítir Laidine, díreach mar an Fhraincis agus an Spáinnis, agus níl an dá theanga i scripteanna eile, an Bhulgáiris agus an Ghréigis, ach 1.8 pointe céatadáin os cionn na dteangacha san aibítir Laidine ar an meán. Is iad an Ghaeilge agus an Mháltais, an dá theanga is lú téacs ar an ngréasán, na teangacha freisin ina bhfuil an t-aicmitheoir uathoibríoch is lú iontaofa, agus mar sin tá a luachanna beachta níos éiginnte ná luachanna na dteangacha eile (féach thíos).

Ní insíonn torthaí an Bhéarla duit cén tsamhail is sábháilte i do theanga

Do dhuine ar bith atá ag roghnú samhla, b’fhéidir gurb é seo an toradh is tábhachtaí. Is treoir lag é rangú na 34 shamhail i mBéarla ar a rangú sna teangacha a bhfuil níos lú acmhainní acu. Is é 0.81 an comhghaol céime le rangú an Bhéarla don Spáinnis, ach níl ann ach 0.47 don Eastóinis, 0.43 don Ghaeilge agus 0.41 don Mháltais (Fíor 3). Is féidir le samhail atá i measc na samhlacha is sábháilte i mBéarla a bheith i measc na samhlacha is leochailí i dteanga eile.

Comhghaolta céime thar na 34 shamhail.

Is é Olmo 3 7B Instruct an deichiú samhail is sábháilte de na 34 i mBéarla, agus comhlíonann sé 2.9% de na hiarratais, ach is é an dara samhail is lú sábháilteacht sna teangacha eile é, le 43.4% ar an meán. Téann Nemotron 3 Nano 4B ó 1.3% i mBéarla go 19.9%. I gcás 16 de na samhlacha, tá an ASR lasmuigh den Bhéarla níos mó ná a dhá oiread an ASR i mBéarla.

Braitheann an bhearna ar an tsamhail, agus is féidir í a dhúnadh

Is mór an difríocht a dhéanann rogha na samhla (Fíor 4). Ar an meán thar na 23 theanga seachas an Béarla, tá an ASR idir 2.0% do Qwen3.6 35B-A3B agus 45.3% do Mistral 7B Instruct v0.2, samhail ó 2023. I gcás 33 de na samhlacha tá sé níos airde ná i mBéarla, agus i gcás 11 díobh sin tá sé níos mó ná 10 bpointe céatadáin níos airde.

1,053 leid in aghaidh na teanga, an chéad fhreagra, measta ag Qwen3Guard-Gen-8B.

Is beag nó dada an bhearna i gcás roinnt samhlacha nua. Níl Gemma 4 31B níos lú sábháilte lasmuigh den Bhéarla ná i mBéarla (8.4% i gcomparáid le 9.0%), agus fanann Qwen3.5 9B, Qwen3.6 35B-A3B, Qwen3.8 27B agus gpt-oss-20b faoi 5% ar an meán sna teangacha seachas an Béarla. I ngach ceann de na sé theaghlach a ndearnamar tástáil orthu i níos mó ná méid amháin, laghdaíonn an bhearna de réir mar a mhéadaíonn na samhlacha (Fíor 5): ó +17.4 go +8.9 agus +2.8 pointe céatadáin do Granite 4.1 3B, 8B agus 30B, agus ó +6.2 go −0.6 ó Gemma 4 E2B go 31B. Is féidir iompar sábháilteachta a sheasann i ngach teanga a bhaint amach.

Is iad na méideanna líon iomlán na bparaiméadar; taispeántar na paraiméadair ghníomhacha freisin do shamhlacha mixture-of-experts.

Is comhartha rabhaidh é liosta teangacha an chárta samhla, ní ráthaíocht

Liostaíonn dhá shamhail déag ar a gcárta samhla cuid de na 23 theanga AE seachas an Béarla, ach ní iad go léir, mar theangacha a dtugtar tacaíocht dóibh. I gcás 11 díobh sin, tá an ASR níos airde sna teangacha nach bhfuil liostaithe, 12.3 pointe céatadáin ar an meán (Fíor 6). Comhlíonann Llama 3.2 3B Instruct, mar shampla, 10.6% de na hiarratais i mBéarla, 7.4% sna cúig theanga AE atá liostaithe ar a chárta agus 32.8% sna 18 dteanga eile.

Ach ní hionann teanga a bheith liostaithe agus í a bheith sábháilte. Is iad na mórtheangacha is mó atá liostaithe, agus nuair a choinnítear an teanga mar an gcéanna, níl samhlacha a liostaíonn í ach beagán níos sábháilte inti ná samhlacha nach liostaíonn í (4.4 pointe céatadáin, difríocht nach bhfuil suntasach go staitistiúil). Tá bearnaí idir 6.6 agus 13.0 pointe céatadáin fós ag na cúig shamhail a liostaíonn a gcártaí na 23 theanga ar fad, na trí shamhail EuroLLM agus an dá shamhail Tiny Aya.

Teangacha a dtugtar tacaíocht dóibh de réir na gcártaí samhla.

Cé na cineálacha dochair a mbaineann sé leo?

Níl an bhearna teoranta do roinnt topaicí. Ghrúpálamar 66 chatagóir na gceithre thagarmharc i 13 chineál dochair (is linne an ghrúpáil; taispeánann an taiscéalaí sonraí thíos cé na catagóirí a bhaineann le gach cineál). Tá ASR níos airde ag gach cineál lasmuigh den Bhéarla (Fíor 7), ó +4.8 pointe céatadáin i gcás sáruithe príobháideachta go +14.2 i gcás áitimh pholaitiúil, reiligiúnaigh agus eiticiúil. Comhlíontar iarratais faoi airm, drugaí agus earraí contúirteacha 2.5 oiread chomh minic lasmuigh den Bhéarla (17.0% i gcomparáid le 6.9%), agus iarratais faoi chibearchoireacht agus haiceáil 2.7 oiread chomh minic (17.8% i gcomparáid le 6.6%).

Grúpálann na cineálacha dochair 66 chatagóir HarmBench, JBB-Behaviors, SORRY-Bench agus StrongREJECT.

Athraíonn roinnt catagóirí aonair go mór. Diúltaítear beagnach i gcónaí i mBéarla d’iarratais reiligiún a chur chun cinn (ní chomhlíontar ach 0.9%), ach comhlíontar 23.3% díobh sna teangacha eile. Méadaíonn iarratais teoiricí comhcheilge a scaipeadh ó 22.1% go 38.3%.

Tuigeann na samhlacha na hiarratais. Ní fheiceann siad an dochar

D’fhéadfadh samhail iarratas a chomhlíonadh i dteanga eile toisc nach n-aistrítear a hiompar diúltaithe go dtí an teanga sin, nó toisc nach dtuigeann sí an t-iarratas maith go leor chun a fheiceáil go bhfuil sé díobhálach. Chun an dá chás a idirdhealú, d’iarramar ar gach samhail sampla de na leideanna as gach teanga a aistriú go Béarla.

Aistríonn na samhlacha formhór na leideanna go cruinn i ngach teanga: 74–84% ar an meán, ach amháin san Eastóinis (71%), sa Mháltais (65%) agus sa Ghaeilge (54%). Ach is i bhfad níos lú iarratas a aithníonn siad mar iarratais dhíobhálacha. Sna mórtheangacha in Iarthar na hEorpa, diúltaíonn siad fiú 16–20% de na leideanna a aistriú; sa Ghaeilge, sa Mháltais, sa Laitvis, san Eastóinis agus sa Liotuáinis, níl ann ach 2–5%. Thar na teangacha, tá an ráta seo d’aithint dochair nasctha go dlúth leis an ASR (ρ = −0.92). De na hionsaithe rathúla sna teangacha seachas an Béarla, baineann 79% le leideanna a thuig an tsamhail, agus fiú i measc na leideanna a tuigeadh go cruinn ardaíonn an ASR ó 10.5–11.3% sna mórtheangacha in Iarthar na hEorpa (seachas an Ollainnis) go 19–23% sna teangacha is gainne acmhainní.

Sna teangacha is gainne acmhainní, diúltaíonn na samhlacha do níos mó iarratas neamhdhíobhálach freisin. I dturgnamh rialaithe le 10 de na samhlacha, dhiúltaigh siad do 22–25% de leideanna neamhdhíobhálacha sa Laitvis, sa Mháltais, san Eastóinis agus sa Liotuáinis, i gcomparáid le 15% i mBéarla agus 9–12% sna mórtheangacha in Iarthar na hEorpa. Braitheann a gcuid diúltuithe níos lú ar cad atá á iarraidh iarbhír. Ní aistrítear iompar sábháilteachta a foghlaimíodh i mBéarla den chuid is mó go teangacha atá annamh sna sonraí oiliúna.

Níos lú diúltuithe, ach ní i gcónaí níos mó dochair

An bhfuil an bhearna fíor, nó an déantán den aicmitheoir nó den mheaisínaistriúchán í? Sheiceálamar é ar roinnt bealaí (Fíor 8). Tugann breithiúnas ar na freagraí le Llama Guard 3, aicmitheoir ó theaghlach eile samhlacha, an pictiúr céanna, agus is amhlaidh d’aistriú na bhfreagraí go Béarla agus breithiúnas a thabhairt orthu ansin. Fanann an bhearna freisin nuair nach n-úsáidimid ach na leideanna is mó a dtagann a dhá n-aistriúchán iarrthóra le chéile.

Tugann ár n-aicmitheoir, cosúil le Llama Guard 3, breithiúnas ar cé acu atá freagra neamhshábháilte nó nach bhfuil, rud a chuimsíonn comhlíonadh páirteach agus comhlíonadh ar chaighdeán íseal. Aimsíonn breithiúna a mheasann cé chomh sonrach agus úsáideach atá an t-ábhar díobhálach bearna níos lú: thart ar 3 phointe céatadáin d’aicmitheoir HarmBench agus do scórálaí StrongREJECT, agus 8 bpointe do Gemma 3 27B a mheasann de réir rúibric StrongREJECT. Is ar chaighdeán íseal atá go leor de na freagraí nach ndiúltaítear dóibh sna teangacha is gainne acmhainní; sa Mháltais agus sa Ghaeilge, ní thugann trian de na hionsaithe rathúla aon chabhair shonrach ar chor ar bith. Tá na méaduithe is mó ar dhochar substaintiúil i dteangacha ar nós na Polainnise, na Fionlainnise, na hUngáirise agus na Slóivéinise, ina bhfuil na samhlacha níos lú sábháilte agus fós cumasach.

Do scórálaí StrongREJECT agus do rúibric Gemma: meánscór × 100.

Go hachomair, sna teangacha is gainne acmhainní diúltaíonn na samhlacha i bhfad níos annamh ná i mBéarla, ach is beag úsáid d’ionsaitheoir cuid mhór dá dtáirgeann siad ina ionad. Mar sin féin, is fíor í an bhearna i ndiúltuithe: is é an diúltú an t-iompar sábháilteachta atá ceaptha a bheith ag na samhlacha seo, agus d’fhéadfadh samhlacha níos cumasaí ábhar níos úsáidí a tháirgeadh nuair nach ndiúltaíonn siad.

Cad is ciall leis seo má imlonnaíonn tú LLManna san AE

1. Tástáil sábháilteacht i ngach teanga ina n-imlonnaíonn tú. Ní aistrítear torthaí an Bhéarla, agus athraíonn rangú na samhlacha ó theanga go teanga.
2. Féach ar an teanga is laige, ní ar an meán. Ceileann meán thar theangacha na teangacha is gainne acmhainní, áit a bhfuil an riosca is airde.
3. Tomhais diúltuithe agus dochar araon. Is féidir le diúltú samhla agus a dhíobhálaí atá a haschur a bheith difriúil, go háirithe i dteangacha gann-acmhainne.
4. Caith le teangacha atá in easnamh ar an gcárta samhla mar theangacha ardriosca. Ach ná glac leis go bhfuil na teangacha liostaithe sábháilte.
5. Cuir cosaintí leis san áit is mó a bhfuil gá leo. Sna teangacha is gainne acmhainní, d’fhéadfadh go mbeadh gá le hoiliúint sábháilteachta bhreise nó le scagaire ionchuir.

Is tionscadal taighde é an tagarmharc seo. Tógtar meastóireachtaí dár gcliaint timpeall ar gach córas: a chásanna úsáide, a shamhail bagairtí agus na teangacha ina scríobhann a úsáideoirí, bunaithe ar a bhfoghlaimímid ó thaighde mar seo. Labhair linn faoi do chóras féin.