Czego uczymy się, łamiąc AI

Badamy, jak modele językowe zawodzą w praktyce, i publikujemy to, co odkrywamy. Nasze badania kształtują testy, które prowadzimy dla naszych klientów.

  • Bezpieczeństwo, którego nie da się przetłumaczyć: szkodliwe prompty we wszystkich 24 językach UE

    Wysłaliśmy 1053 szkodliwe prośby w każdym języku urzędowym UE do 34 modeli LLM z otwartymi wagami. Poza angielskim spełniają je ponad dwa razy częściej, a wyniki modelu po angielsku mówią niewiele o jego bezpieczeństwie po łotewsku, maltańsku czy irlandzku. Z interaktywnym eksploratorem wyników według języka, modelu i rodzaju szkody.

    • Bezpieczeństwo wielojęzyczne
    • Benchmark
    • LLM z otwartymi wagami