Paradoks Simpsona

Co się właśnie stało?

Metoda A leczy skuteczniej w obu podgrupach — małe kamienie (93,1% vs 86,7%) i duże kamienie (73,0% vs 68,8%). Mimo to po połączeniu wszystkich pacjentów wyższą ogólną skuteczność ma metoda B (82,6% vs 78,0%). Trend odwrócił się przy samej zmianie sposobu patrzenia na te same dane. To paradoks Simpsona.

Porównanie proporcji — podgrupy vs całość:

czyli w procentach: $93{,}1\% > 86{,}7\%$ i $73{,}0\% > 68{,}8\%$, a jednak $78{,}0\% < 82{,}6\%$. Nierówność ułamków nie przenosi się na ich „sumę licznikami i mianownikami": $\tfrac{a}{b}>\tfrac{c}{d}$ oraz $\tfrac{p}{q}>\tfrac{r}{s}$ nie gwarantuje, że $\tfrac{a+p}{b+q}>\tfrac{c+r}{d+s}$.

Dlaczego to działa? (niezmiennik)

Agregacja danych może odwrócić trend, gdy podgrupy różnią się liczebnością i rozkładem ukrytej zmiennej zakłócającej. Tutaj ukrytą zmienną jest trudność przypadku: metodę A stosowano głównie do trudnych (dużych) kamieni — 263 z 350 pacjentów (75%), a metodę B głównie do łatwych (małych) — 270 z 350 (77%). Duże kamienie są trudniejsze do wyleczenia bez względu na metodę, więc łączny wynik A „ciągną w dół" właśnie te trudne przypadki. Panel składu grup po prawej stronie pokazuje tę dysproporcję.

Historia paradoksu

Zjawisko opisał Edward H. Simpson w 1951 r., choć zauważyli je wcześniej Karl Pearson (ok. 1899) i George Yule (1903) — stąd też nazwa „efekt Yule'a–Simpsona". Ma ogromne znaczenie praktyczne: ostrzega przed pochopną interpretacją zagregowanych statystyk w medycynie, socjologii, ekonomii i analizie danych. To samo zestawienie liczb potrafi „udowodnić" przeciwstawne wnioski — w zależności od tego, czy patrzymy na całość, czy na podgrupy.

Po co Ci to na maturze:

To lekcja krytycznego myślenia o danych i o proporcjach. Zapamiętaj, że nierówności ułamków nie wolno dodawać „licznik do licznika, mianownik do mianownika". Przy każdej statystyce zbiorczej pytaj: czy nie ukrywa ona istotnego podziału na podgrupy o różnej liczebności?

Zapamiętaj: przewaga widoczna w każdej podgrupie może zniknąć lub odwrócić się po połączeniu danych — winna jest ukryta zmienna zakłócająca i różne liczebności grup. Zawsze pytaj, co kryje zagregowana średnia.