Czego oczy nie widzą …. czyli błąd przeżywalności

World War II era American bomber

W dzisiejszym poście chciałbym przytoczyć dwa przypadki prezentujące tzw. „błąd przeżywalności” (ang. survivorship bias). Z błędem tym możemy mieć do czynienia jeśli oprzemy swój model decyzyjny na analizie wyłącznie grupy, która w jakimś sensie „przetrwała” dane wydarzenie / eksperyment (moim zdaniem słowa „przetrwanie” nie należy rozumieć dosłownie, jednak w przytoczonych przypadkach chodzi właśnie o fizyczne przeżycie).

Dzisiaj tematyka wojskowa….

Przykład pierwszy

Po wprowadzeniu do generalnego użytku stalowych hełmów – w okolicy roku 1916 – zanotowano, paradoksalnie, kilkukrotny wzrost obrażeń głowy wśród walczących żołnierzy.
W tym przypadku objawia się zjawisko błędu przeżywalności – błędem byłoby bowiem zakazanie użycia hełmów. Powodem tego pozornego paradoksu był sposób, w jaki prowadzono statystyki. Żołnierze, którzy wskutek obrażeń (również głowy) polegli, uznawani byli za poległych, bez wyszczególnienia obrażeń, które odnieśli. Wskutek zwiększonej ochrony głowy znaczna część żołnierzy, którzy widnieliby w rubryce poległych, trafiała do szpitali z obrażeniami głowy właśnie. Zwiększono wobec tego kilkukrotnie liczbę osób doznających obrażeń głowy, tym samym zmniejszając kilkukrotnie liczbę osób w ich wyniku ginących.

Przykład drugi

Podczas II Wojny Światowej zespół amerykańskich (lub raczej pracujących dla Amerykanów) naukowców pracował nad zwiększeniem przeżywalności załóg bombowców. Zauważono, że wśród maszyn, którym udało się powrócić z misji, większość trafień zlokalizowana była w okolicy skrzydeł, ogona oraz w centrum kadłuba. W oparciu o takie dane można by podjąć decyzję o wzmocnieniu tych właśnie elementów – jako najbardziej narażonych, wpadając tym samym w pułapkę błędu przeżywalności, co słusznie zauważył Abraham Wald – jeden z naukowców zaangażowanych w tym projekcie.
Zdobyte dane wskazywały bowiem, że uszkodzenia w tych miejscach samolotu nie stanowią bezpośredniego zagrożenia i nie przeszkadzają mu w pomyślnym ukończeniu misji oraz powrocie do bazy, co nie było tak oczywiste ze względu na brak możliwości zbadania samolotów, które zostały strącone w trakcie wykonywania lotów.

Powyższe przykłady stanowią dobrą lekcję. Badając zbiór danych powinniśmy dane, przede wszystkim, zrozumieć oraz poznać szerszy kontekst oraz sposób, w jaki zostały zebrane. Pomoże nam to stwierdzić, czy dokładność naszego modelu może ucierpieć w wyniku błędu przeżywalności.

Źródła:

[1] „Helmets and body armor in modern warfare”, dr Bashford Dean, Curator of Armor, Metropolitan Museum of Art. Yale University Press,1920

[2] https://youarenotsosmart.com/2013/05/23/survivorship-bias/

[3] https://en.wikipedia.org/wiki/Abraham_Wald

Dodaj komentarz