Έρευνα
Τι μαθαίνουμε όταν σπάμε την ΤΝ
Μελετάμε πώς αποτυγχάνουν τα γλωσσικά μοντέλα στην πράξη και δημοσιεύουμε όσα βρίσκουμε. Η έρευνά μας διαμορφώνει τις δοκιμές που κάνουμε για τους πελάτες μας.
-
Ασφάλεια που χάνεται στη μετάφραση: επιβλαβείς εντολές και στις 24 γλώσσες της ΕΕ
Στείλαμε 1.053 επιβλαβή αιτήματα σε κάθε επίσημη γλώσσα της ΕΕ σε 34 LLM ανοιχτών βαρών. Εκτός αγγλικών τα ικανοποιούν πάνω από δύο φορές συχνότερα, και τα αποτελέσματα ενός μοντέλου στα αγγλικά λένε ελάχιστα για την ασφάλειά του στα λετονικά, τα μαλτεζικά ή τα ιρλανδικά. Με διαδραστικό εξερευνητή των αποτελεσμάτων ανά γλώσσα, μοντέλο και είδος βλάβης.