Lo que aprendemos rompiendo la IA

Estudiamos cómo fallan los modelos de lenguaje en la práctica y publicamos lo que descubrimos. Nuestra investigación orienta las pruebas que realizamos para nuestros clientes.

  • Una seguridad que no se traduce: prompts dañinos en los 24 idiomas de la UE

    Enviamos 1053 solicitudes dañinas en cada idioma oficial de la UE a 34 LLM de pesos abiertos. Fuera del inglés las atienden más del doble de veces, y los resultados de un modelo en inglés dicen poco sobre su seguridad en letón, maltés o irlandés. Con un explorador interactivo de los resultados por idioma, modelo y tipo de daño.

    • Seguridad multilingüe
    • Benchmark
    • LLM de pesos abiertos