Analiza danych rzadko przypomina pracę na idealnie czystym arkuszu. W rzeczywistości badacze i analitycy niemal zawsze zmagają się z „dziurami” w swoich zbiorach. Choć na pierwszy rzut oka brakująca komórka w Excelu to po prostu brak informacji, w statystyce kluczowe jest pytanie: dlaczego jej tam nie ma? Sposób, w jaki dane zniknęły, determinuje to, czy nasze wnioski będą rzetelne, czy całkowicie błędne. Aby to uporządkować, wprowadzono trzy główne mechanizmy: MCAR, MAR i MNAR.

MCAR, czyli czysty przypadek (Missing Completely at Random)

Mechanizm MCAR (Missing Completely at Random) to sytuacja idealna w świecie nieidealnych danych. Oznacza on, że prawdopodobieństwo wystąpienia braku danych jest całkowicie niezależne zarówno od wartości, których brakuje, jak i od jakichkolwiek innych zmiennych w zbiorze.

Wyobraź sobie, że przeprowadzasz ankietę papierową, a w drodze do biura kilka kartek po prostu wywiało Ci przez okno samochodu. To, które ankiety zniknęły, nie ma związku z tym, co odpowiedzieli respondenci, ani z ich wiekiem czy płcią. To czysty pech.

Co to oznacza w praktyce?
Jeśli dane są MCAR, analiza na tzw. „kompletnych przypadkach” (czyli usuwanie wierszy z brakami) nie wprowadzi obciążenia do wyników. Średnie i korelacje pozostaną prawdziwe, choć stracimy nieco precyzji, bo nasza próba po prostu się zmniejszy.

MAR, czyli brak zależny od tego, co wiemy (Missing at Random)

Nazwa MAR (Missing at Random) bywa myląca, bo sugeruje przypadkowość, ale w rzeczywistości chodzi o „przypadkowość warunkową”. W tym mechanizmie brak danych nie zależy od samej brakującej wartości, ale zależy od innych informacji, które już posiadamy w zbiorze.

Klasycznym przykładem jest badanie poziomu stresu. Załóżmy, że mężczyźni rzadziej odpowiadają na pytania dotyczące emocji niż kobiety. Jeśli w naszym zbiorze mamy informację o płci, możemy zauważyć tę zależność. Brakująca wartość „poziomu stresu” nie zależy od tego, jak wysoki ten stres faktycznie jest, ale zależy od faktu bycia mężczyzną (zmienna obserwowana).

Dlaczego to jest ważne?
W przypadku MAR nie możemy po prostu usunąć brakujących danych, bo nasze wyniki będą skrzywione (np. niedoszacujemy poziomu stresu w całej populacji). Możemy jednak użyć zaawansowanych metod statystycznych, takich jak imputacja wielokrotna, aby „naprawić” zbiór, wykorzystując dane, które mamy (np. płeć i wiek).

MNAR, czyli najtrudniejszy orzech do zgryzienia (Missing Not at Random)

Mechanizm MNAR (Missing Not at Random) to sytuacja, w której brak danych zależy bezpośrednio od wartości, której brakuje. To najgorszy scenariusz dla analityka, ponieważ przyczyna luki jest ukryta w samej luce.

Przykładem może być badanie dotyczące dochodów. Osoby o bardzo wysokich zarobkach często odmawiają odpowiedzi na pytanie o pensję, bo dbają o prywatność. Z kolei osoby o bardzo niskich dochodach mogą czuć dyskomfort i również pominąć to pytanie. W efekcie brak danych o dochodzie zależy od tego, jaki ten dochód faktycznie jest.

Wyzwania związane z MNAR:
Tutaj proste triki statystyczne nie pomogą. Ponieważ nie wiemy, co kryje się pod brakiem, a brak ten jest systematyczny, nasze wyniki będą niemal na pewno obciążone. Rozwiązanie problemu MNAR wymaga zazwyczaj modelowania samego procesu powstawania braków lub zbierania dodatkowych danych.

Jak odróżnić te mechanizmy?

Rozpoznanie, z którym mechanizmem mamy do czynienia, nie zawsze jest proste, ale istnieją pewne wskazówki:

• Test Little’a: To statystyczny test, który pomaga sprawdzić, czy dane są MCAR. Jeśli wynik testu jest istotny statystycznie, możemy odrzucić hipotezę o całkowitej przypadkowości.
• Analiza logiczna: Często to wiedza dziedzinowa, a nie matematyka, podpowiada nam rozwiązanie. Jeśli badasz wagę osób z otyłością i widzisz, że najciężsi pacjenci częściej rezygnują z wizyt kontrolnych, masz do czynienia z MNAR.
• Porównywanie grup: Możesz sprawdzić, czy osoby z brakującymi danymi różnią się pod względem innych cech od osób, które podały wszystkie informacje (to pomaga wykryć MAR).

Tabela porównawcza

Ciekawostka: Dlaczego to w ogóle ma znaczenie?

W latach 80. XX wieku Donald Rubin, statystyk z Harvardu, zrewolucjonizował podejście do tego problemu. Przed jego pracami braki danych traktowano po macoszemu – po prostu je wyrzucano. Rubin udowodnił, że takie podejście w badaniach medycznych czy społecznych prowadziło do tragicznych w skutkach błędów decyzyjnych. Dzięki rozróżnieniu MCAR, MAR i MNAR dzisiejsza medycyna oparta na faktach (EBM) może znacznie dokładniej analizować wyniki testów klinicznych, nawet jeśli część pacjentów nie ukończyła badania.

Zrozumienie tych mechanizmów to pierwszy krok do tego, by przestać bać się „dziur” w danych i zacząć traktować je jako dodatkową informację o badanym zjawisku. Każdy brak ma swoją historię – sztuka polega na tym, by umieć ją odczytać.