Rewolucja w ocenie AI: Gemini 3 Pro na szczycie zaufania!
Google niedawno zaprezentowało swój model Gemini 3, chwaląc się jego wynikami w różnych benchmarkach AI. Problem z benchmarkami dostarczanymi przez producentów jest oczywisty – są one… dostarczane przez producentów. Jednak nowe, neutralne badanie przeprowadzone przez Prolific stawia Gemini 3 na czele. Co ważne, nie są to akademickie testy, a ocena realnych atrybutów, które interesują użytkowników i organizacje.
Prolific, firma założona przez badaczy z Uniwersytetu Oksfordzkiego, dostarcza wysokiej jakości dane do rzetelnych badań i etycznego rozwoju AI. Ich benchmark „HUMAINE” wykorzystuje reprezentatywne próbki ludzkie i ślepe testy do porównywania modeli AI w różnych scenariuszach, mierząc nie tylko wydajność techniczną, ale także zaufanie użytkowników, adaptacyjność i styl komunikacji.
Ostatni test HUMAINE objął aż 26 000 użytkowników w ślepym teście modeli. W ocenie tej, wynik Gemini 3 Pro w zakresie zaufania wzrósł z 16% do aż 69% – najwyższego poziomu kiedykolwiek zarejestrowanego przez Prolific! Gemini 3 zajmuje teraz pierwsze miejsce pod względem zaufania, etyki i bezpieczeństwa w 69% przypadków, wśród różnych grup demograficznych. Dla porównania, jego poprzednik, Gemini 2.5 Pro, utrzymywał tę pozycję tylko w 16% przypadków.
Ogólnie rzecz biorąc, Gemini 3 zajął pierwsze miejsce w trzech z czterech kategorii oceny: wydajność i rozumowanie, interakcja i adaptacyjność oraz zaufanie i bezpieczeństwo. Ustąpił jedynie w stylu komunikacji, gdzie DeepSeek V3 uzyskał preferencje na poziomie 43%. Test HUMAINE wykazał również, że Gemini 3 radzi sobie konsekwentnie dobrze w 22 różnych grupach demograficznych, w tym pod względem wieku, płci, pochodzenia etnicznego i orientacji politycznej. Badanie wykazało również, że użytkownicy są obecnie pięć razy bardziej skłonni wybrać ten model w bezpośrednich ślepych porównaniach.
Konsystencja w bardzo szerokim zakresie różnych przypadków użycia jest kluczem do sukcesu.
Sprawdź aktualne notowania na naszym rankingu krypto.