Co się wydarzyło
Nykko Vitali i Mahzarin R. Banaji z Harvardu przeprowadzili eksperymenty z użyciem modeli GPT‑4o oraz Claude 3.7 Sonnet, powtarzając badania z 2019 roku. W ponad 5000 próbach przy 48 zmiennych warunkach modele oceniały sytuacje i oceny innych uczestników, wykazując podobieństwo do ludzkich osądów, ale z wyraźną sztywnością.
Dlaczego to ważne
Wyniki sugerują, że duże modele językowe mogą podlegać tzw. hipokryzji bayesowskiej – krytykują ludzkie rozumowanie statystyczne, jednocześnie stosując podobne uproszczenia. To podważa założenie o ich neutralności i obiektywności w analizie danych.
Co to oznacza dla użytkownika
Autorzy nie podali konkretnych zaleceń, więc nie ma oficjalnych wskazówek dla użytkowników. Należy zachować ostrożność przy poleganiu na LLM‑ach jako jedynym źródle obiektywnych ocen.
Co wiadomo, a czego jeszcze nie wiadomo
Potwierdzono, że GPT‑4o i Claude 3.7 Sonnet wykazują sztywne, nieelastyczne oceny i krytykują ludzkie osądy. Nie wiadomo jednak, czy zjawisko dotyczy wszystkich modeli AI ani jakie mechanizmy dokładnie je powodują.
Kontekst
Hipokryzja bayesowska opisuje błąd poznawczy, w którym ludzie nie uwzględniają pełnych danych statystycznych. Badanie pokazuje, że podobne błędy mogą pojawiać się w algorytmach LLM, co ma implikacje dla ich zastosowań w analizie ryzyka i decyzjach wspomaganych przez AI.