Kaj se naučimo, ko lomimo UI

Preučujemo, kako jezikovni modeli odpovejo v praksi, in objavljamo, kar odkrijemo. Naše raziskave oblikujejo teste, ki jih izvajamo za naše stranke.

  • Varnost, ki se izgubi v prevodu: škodljivi pozivi v vseh 24 jezikih EU

    Poslali smo 1053 škodljivih zahtev v vsakem uradnem jeziku EU 34 jezikovnim modelom z odprtimi utežmi. Zunaj angleščine jim ugodijo več kot dvakrat pogosteje, rezultati modela v angleščini pa le malo povedo o njegovi varnosti v latvijščini, malteščini ali irščini. Z interaktivnim raziskovalnikom rezultatov po jeziku, modelu in vrsti škode.

    • Večjezična varnost
    • Benchmark
    • LLM z odprtimi utežmi