Ce que nous apprenons en cassant l'IA

Nous étudions comment les modèles de langage échouent en pratique et publions ce que nous découvrons. Nos recherches orientent les tests que nous menons pour nos clients.

  • Une sécurité qui ne se traduit pas : des prompts malveillants dans les 24 langues de l'UE

    Nous avons soumis 1 053 requêtes malveillantes dans chaque langue officielle de l'UE à 34 LLM à poids ouverts. Hors de l'anglais, ils y donnent suite plus de deux fois plus souvent, et les résultats d'un modèle en anglais en disent peu sur sa sécurité en letton, en maltais ou en irlandais. Avec un explorateur interactif des résultats par langue, modèle et type de préjudice.

    • Sécurité multilingue
    • Benchmark
    • LLM à poids ouverts