Jak czytać sondaże? Cz. 2 „House effect”.

Polska prasa kocha sondaże. Jak wiemy jednak z życia: możemy coś kochać, niekoniecznie rozumiejąc nasz obiekt westchnień. Podobnie jest w tym przypadku. Co rusz otrzymujemy sensacyjne doniesienia, które koncentrują się na wynikach odbiegających od średniej, a jest to zdecydowanie odwrotnością tego, na czym powinniśmy się skupiać w analizie badań opinii publicznej. Średnia z wielu sondaży (jeszcze lepiej, jeśli ważona jakością tego sondażu – jest to jednak trudna sztuka wymagająca pełnego wglądu w metody stosowane przez firmy) daje lepsze wyniki w przewidywaniu poparcia partii, niż patrzenie na pojedynczą firmę lub – co gorsza – pojedynczy sondaż.

Dzieje się między innymi dlatego, że każda sondażownia ma w wyniku swojej metodologii tzw. “house effect” (efekt sondażowni) czyli systematyczne skrzywienie wyników w stronę którejś z partii czy kandydatów. Nie wynika to z tendencyjności, po prostu każda firma nieco inaczej definiuje czym jest grupa reprezentatywna. Istotny jest także sposób przeprowadzenia badania. Np. wyniki sondaży przeprowadzanych internetowo czy telefonicznie zawsze będą nieco inne, niż sondaży przeprowadzonego wywiadem bezpośrednim. Firmy często muszą zgadywać, jaki będzie udział danej grupy demograficznej w wyborach (bo w wywiadach ludzie po prostu kłamią – zawsze deklarowana chęć udziału w wyborach jest wyższa niż frekwencja). To jakie są założenia też zmienia wynik. Przykładowo: w ogólnej populacji, Kukiz’15 i Korwin mają w sumie ok. 12-13% poparcia, tymczasem w wyborach w 2015 szacuje się, że 36% osób w wieku 18-29 lat głosowało na te dwie partie. Dlatego to od założeń sondażowni dotyczących frekwencji wśród młodych zależą wyniki tych dwóch partii. 

Rysunek: „House effect” najewiększych sondażowni dla trzech największych partii.

housef

Specjalnie dla naszych czytelników policzyliśmy efekt sondażowni dla największych polskich firm, żebyście czytając wyniki sondaży mogli patrzeć na nie bez tego zniekształcenia. Aby policzyć średni błąd porównaliśmy wyniki sondaży firmy do wyników sondaży innych firm w tym samym czasie (5 sondaży w tył i 5 sondaży naprzód) i policzyliśmy, jaka była średnia różnica między sprawdzaną firmą, a resztą sondażowni*. Jaki otrzymaliśmy wynik? Spójrzcie w tabelkę:

Tabela: „House effect” największych polskich sondażowni. Jak to czytać? To proste. Jeżeli mamy przed oczyma sondaż GfK, w którym PiS ma 40% poparcia, powinniśmy wiedzieć, że rzeczywisty wynik to bardziej coś w okolicach 35% (40-5.3). Jeżeli IPSOS wybada, że PO ma 17%, wiemy, że ten wynik jest zbliżony do średniej z wielu sondaży. Dane dot. Sondaży zostały pobrane z portalu ewybory.pl i opracowane ponownie przez nas.

houseeff

Widać wyraźnie dwa bieguny: sondażownie przeszacowujące PiS i PO (CBOS, TNS Polska i GfK) i niedoszacowujące obydwu partii (Pollster, Millard Brown i w mniejszym stopniu IBRiS). Jeżeli więc słyszycie kogoś, kto wskazuje na spadek poparcia PiS, porównując starszy GfK i nowy Pollster, musicie pamiętać, żeby odjąć 5p% z tego starszego i dodać 4p% do nowszego. Otrzymujemy wtedy zupełnie inny „obrazek”.

Pollster to sondażownia, która ogólnie zdaje się dawać wyższe poparcie mniejszym partiom. Zwolennicy Razem powinni pamiętać zatem, że nie ma co szaleć z radości, jeżeli SuperExpress donosi o wysokim wyniku ich partii. Natomiast zwolennicy SLD nie powinni rwać włosów z głowy, jeżeli GfK daje ich partii małe poparcie.

Osobną kategorią jest .Nowoczesna. W ich wypadku aż sześć sondażowni zaniża ich wynik o 1p% lub więcej. Z kolei trzy firmy stanowczo zawyżają wyniki .N w porównaniu z resztą. Taki rozrzut wskazuje na to, że średnia z sondaży nie jest dobrym wskaźnikiem ich rzeczywistego poparcia. Może to wynikać z tego, że .N jest stosunkowo młodą partią i metodologia sondażowni nie jest jeszcze w ich wypadku dopracowana.

Nie jest żadną tajemnicą, że sondażownie ciągle dopracowują swoje metody. Doskonałym przykładem jest CBOS. Przed wyborami w 2015 CBOS zdecydowanie przeszacowywał PO. Po wyborach zmienili metodologię, ale wygląda na to, że jednocześnie szala przechyliła się w drugą stronę, obecnie znacznie przeszacowują PiS. Zanim ktoś postanowi oskarżać CBOS o ręczne sterowanie sondażami – prosimy o wstrzymanie się z takimi wnioskami. Nie wynika to najprawdopodobniej ze złej woli, a raczej z próby poprawienia sprawdzalności prognoz.

Rysunek: „House effect” CBOS przed wyborami i po wyborach (p%).

cbos

Mamy szczerą nadzieję, że po lekturze tego tekstu spojrzycie nieco inaczej na sondaże poparcia partii politycznych*. Zamiast koncentrować się na skrajnych wynikach lepiej spojrzycie na średnią, przyjrzycie się trendom, a nie pojedynczym punktom w czasie.
#neuropapolska
/n/, z podziękowaniami dla użytkownika wykopu Rineo za konsultację.
Dalsza lektura:
http://fivethirtyeight.com/features/calculating-house-effects-of-polling-firms/
http://fivethirtyeight.com/features/13-tips-for-reading-general-election-polls-like-a-pro/
http://www.pollster.com/blogs/how_pollsters_affect_poll_resu.html

*Ze swojej strony polecamy portal ewybory.eu, z którego czerpaliśmy dane do naszej analizy, a który również prowadzi agregację sondaży, co znacznie ułatwia szersze spojrzenie na poparcie partii.

2 myśli nt. „Jak czytać sondaże? Cz. 2 „House effect”.

  1. arek

    Ze swojej strony polecam twitter.com/plwybory albo bezpośrednio http://goo.gl/ygyN9N zamiast ewybory.eu, które często błędnie spisują wynik z sondaży. Na plwybory macie zestawienie wszystkich sondaży od początku roku oraz inne rodzaje sondaży (np. zaufania do os. publ.)

    Odpowiedz

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *