Hinni vagy nem hinni? Még egyszer arról, hogy hihetünk-e a közvélemény-kutatásoknak


Bár még nem zárult le a 2020-as amerikai elnökválasztás, úgy tűnik, az amerikai közvélemény-kutatók (pollsterek) előrejelzései idén is meglehetősen félrementek. Ugyan a győztest ezúttal sikerült eltalálni, a talán leghíresebb összegző oldal, a fivethirtyeight.com 4 százalékkal mérte felül Bident, és több olyan csatatérállamban, amely végül nagyon szoros eredményt, vagy éppen Trump-győzelmet hozott, sima demokrata győzelemre számítottak. A gond nem is elsősorban az, hogy rosszak voltak a mérések néhány államban, hanem hogy az előrejelzések szisztematikusan tévedtek Biden irányába. Ahogy az ilyenkor lenni szokott, nem kellett sok idő, hogy elkezdjék temetni a közvélemény-kutató iparágat, csakúgy, mint a 2019-es magyarországi önkormányzati választásokat követően. De valóban temetni kell a közvélemény-kutató cégeket? Lehet még hinni a közvélemény-kutatások eredményeiben? A cikkből kiderül, hogy mi az, ami reálisan elvárható a választási előrejelzésektől, illetve érdemes-e egyáltalán ilyeneket készíteni.  Az eredeti cikk 2020. december 3-án jelent meg az Origo oldalán.


Jók-e bármire a közvélemény-kutatások?

Mielőtt a teljes iparágat eltemetjük, érdemes leszögezni, hogy az ún. pre-election pollok, azaz választási eseményeket megelőző felmérések a közvélemény-kutatások kis részét teszik ki. A pre-election pollokon belül sem minden felmérés alapján becsülnek választási eredményt, gyakran teljesen más célja van ezeknek a méréseknek (pl. a választói magatartás megértése, ügyek, jelöltek mérése, stb.). Azok a pre-election pollok, amelyekből választási előrejelzések készülnek, nagyon specifikus mérések. Egy hagyományos közvélemény-kutatás erőssége az, hogy egy minta alapján egy jól körülhatárolt populációra vonatkozóan elég pontos keresztmetszeti becslést tud adni egy adott időpontban. A közvélemény-kutatások mögött egy erős statisztikai elmélet biztosítja, hogy a minta adatai általánosíthatóak legyenek a teljes népességre. Ha arra vagyunk kíváncsiak, hogy a magyar társadalom hány százaléka munkanélküli, mit gondolnak az emberek a bevándorlásról, vagy, hogy a magyarok a Pepsit szeretik jobban vagy a Coca Colát, akkor egy ilyen kérdőíves mérés még ma is megbízható eredményt tud adni. Ami azt illeti, a big data alapú becslések körüli felhajtás ellenére nem tudunk jelenleg jobb módszert a közvélemény-kutatásoknál ilyen kérdések megválaszolására. 

A pre-election pollokon alapuló választási előrejelzésekkel viszont az a gond, hogy nem jól körülhatárolt népességet mérnek, hiszen azokra kíváncsiak, akik a választáson részt fognak venni, valamint nem a mérés időpontjára kíváncsiak, hanem a jövőre. 

Irreális elvárások

Amikor egy választási előrejelzést olvasunk, érdemes átgondolni, hogy hányféle hibalehetőséget kell kezelnie a közvélemény-kutatóknak a mintavételtől a becslésig. A választási előrejelzések alapvető problémája, hogy a mintákban nem tudják leképezni azt a populációt, amire kíváncsiak: a választókat.  Az egyik legelterjedtebb módszer a politikailag aktív (likely voter) minták használata, vagyis a mintákba csak olyan választópolgárok kerülnek be, akik valószínűsíthetőleg elmennek majd szavazni. Sok becslés már ott elbukik, hogy rosszul definiálja ezt a réteget, az Egyesült Államokban is sokan az ún. turnout-effectnek (részvétel-hatásnak) tulajdonítják a tévedéseket, de Magyarországon is magyarázták azzal a hibákat 2019-ben, hogy a Borkai-ügy olyan szavazókat mozgósított, akik a likely voter mintákba hagyományosan nem kerülnek be. A mintavétel során ráadásul azzal az alapproblémával is számolnia kell egy pre-election pollnak, hogy sok választónak 0 a mintába kerülési esélye, mert például nincs telefonja, vagy nem elérhető, mert éjszaka dolgozik, stb. Fontos megjegyezni, hogy a mintavételi keret problémáitól eltekintve sztenderd, 1000 fős minták maximum kb. 3 százalékot alapból ingadozhatnak, ami pusztán annak köszönhető, hogy a kutatók nem kérdeznek meg minden választópolgárt, hanem mintát vesznek.

Ha egy kisebb csoda folytán mégis sikerülne olyan mintát vennünk, amely jól leképezi a választáson megjelenőket, a következő akna a válaszmegtagadás. A jól kiválasztott mintatagok egy igen nagy része ugyanis nem hajlandó kérdőívekre válaszolni. A válaszadási hajlandóság csökkenése világszerte egyre inkább ellehetetleníti a kérdőíves felmérések készítését. A probléma az, hogy a válaszmegtagadás nem véletlenszerű, egyes társadalmi csoportok nagyobb eséllyel tagadják meg a válaszadást. Az AAPOR által megrendelt 2017-es elemzés arra jutott, hogy a 2016-os tévedések egyik fő oka az volt, hogy az alacsonyabb iskolai végzettséggel rendelkezők alul voltak reprezentálva a kutatásokban, vélhetőleg azért, mert őket nehezebb elérni. A 2020-as amerikai becslési hibáknak az egyik legmeggyőzőbb magyarázata szintén a válaszmegtagadáshoz kötődik: eszerint ahogy Trump maga, Trump szavazói is bizalmatlanabbak a médiával és a közvélemény-kutatókkal szemben, mint a demokraták, emiatt kisebb eséllyel válaszoltak kérdőívekre és kerültek be a mintákba, amin az utólagos súlyozás már nem segített érdemben. 

De tegyük fel, hogy van egy pontos mintánk, ahol sikerül alacsonyan tartani a válaszmegtagadást. A következő probléma az, hogy sokan válaszolnak ugyan a kérdőívünkre, de azt nem árulják el, hogy kire fognak szavazni, illetve sokan történetesen nem tudják, hogy kire fognak szavazni. Az is előfordulhat, hogy a válaszadók szándékosan félrevezetik a közvélemény-kutatókat. Az ehhez kapcsolódó rejtőzködő Trump szavazók (Shy Trump voters) hipotézisre (azaz arra, hogy a Trumpot támogatók eltitkolták vagy elferdítették a preferenciáikat a közvélemény-kutatásokban) ugyanakkor kevés bizonyítékot találtak. Mindazonáltal a választás előtti utolsó napokra is rendre marad jó pár százaléknyi bizonytalan és válaszmegtagadó, akiknek a hiányzó válaszait a kutatók próbálják megbecsülni, de ebben is komoly hibalehetőség rejlik. Mindezek után még az eredményeket ki kell vetíteni a választási rendszerre, illetve magukban a becslési modellekben is lehet hiba.

Az idő problémája kritikus. Még a választás napjához nagyon közel készülő mérések kapcsán is azzal küzdenek a kutatók, hogy a választók egy része egyszerűen nem kiszámítható,  mert mégsem megy el szavazni (vagy mégis elmegy), vagy megváltozik a véleménye valamilyen kampányesemény hatására. Ezek a kutatások tipikusan nagyon rosszul vagy egyáltalán nem képesek gyors véleményváltozásokat lekövetni. Vélhetőleg ez is szerepet játszott a 2019-es magyar önkormányzati választások előrejelzési kudarcában. 

A kérdés tehát az, hogy ahol ennyi a hibalehetőség és a buktató, tényleg olyan meglepő 4 százaléknyi tévedés? Reális elvárás egy történelmileg példátlan járványhelyzetben (amikor még nehezebb részvételt becsülni) egy hagyományosan nagyon szoros elnöki verseny pontos előrejelzése? A válasz lehet igen, hiszen az iparágba valóban dollármilliók ömlenek.

Hinni vagy nem hinni?

A pontosság azonban úgy tűnik, nem pénz kérdése. Az amerikai közvélemény-kutatók nagy erőfeszítéseket tettek a 2016-os fiaskó után is, hogy megfejtsék a hibákat. Az a tény, hogy a világ legfejlettebb és legjobban finanszírozott közvélemény-kutató piacán is torzítanak a mérések, éppen azt erősíti, hogy nagyon nehéz egy választás eredményét előre jelezni. 

A politikusokat és a közvéleményt mindez persze nem hatja meg, részükről tulajdonképpen jogosan merül fel az igény pontos becslésekre. A meteorológustól sem a módszertani dilemmák sorolását várjuk, hanem azt, hogy tízből tízszer mondja meg, esni fog-e délután vagy sem. A magas elvárások azonban nem változtatnak azon a tényen, hogy az előrejelzések valószínűségekkel számolnak, tehát nem tudják tízből tízszer, vagy százból százszor eltalálni a kimenetelt. Olykor eltalálják, hogy fog-e esni délután vagy, hogy ki nyeri a választást, olykor nem. Azért szidjuk a meteorológusokat és a közvélemény-kutatókat egyaránt, mert nem akarjuk lejjebb adni az elvárásainkat, nem fogadjuk el azt, hogy elég jó becsléseket kapunk, és nem tökéletes becsléseket.  A győztest az Egyesült Államokban ezúttal sikerült eltalálni, sőt voltak olyan választási előrejelzések, amelyek más adatokkal korrigálták a közvélemény-kutatásokat és hajszálpontosan eltalálták a popular vote (az amerikai választók által valóban leadott szavazatok) eredményét. Egyes államokban szintén egészen pontosan becsülték meg az eredményt a pre-election pollok, míg máshol valóban nagyobbat tévedtek. Ha megnézzük a rendszerváltás óta lezajlott magyarországi választásokat, ugyanezt látjuk: egyes években kifejezetten pontosan jeleztek előre a közvélemény-kutatók (pl.: 2006 vagy 2018), míg máskor szisztematikusan nagyot tévedtek (pl.: 2002, 2019). Összességében az átlagos eltérés intézettől függően rendre 2 és 4 százalék között van, ami megközelítőleg a mintavételi hiba értékével egyenlő.

Szoros versenyekben azonban ez a pár százaléknyi ingadozás döntő lehet, emiatt sokan úgy érvelnek, hogy az egésznek semmi értelme és feleslegesen ömlenek dollár- és forintmilliók pre-election pollokba. Egyrészt, ha ezek a mérések csak a győztes előrejelzéséről szólnának, ezzel egyet is lehetne érteni. A valóságban azonban a politikai megrendelésre vagy tudományos célból készülő pre-election pollok ennél jóval többről szólnak. A mérések irányt mutatnak a szereplőknek arról, hogy milyen a helyi közhangulat, milyen problémák foglalkoztatják leginkább az embereket, mit gondolnak a jelöltektől, mit várnak tőlük, és egy sor más olyan információ, amelyek kulcsfontosságúak a jelöltek politikai és kampánystratégiáinak kialakításakor. Az, hogy ki áll nyerésre az adatok szerint, valójában másodlagos. Másrészt, a pre-election pollok eredményei még akkor is nagyon fontos iránymutatók a politikai erőviszonyokra vonatkozóan, ha nem hajszálpontosak, vagy ha pár államot tévesen azonosítanak csatatérként. Ha nem úgy tekintünk a választási előrejelzésekre, mint jóslatok, amelyek megvilágítják előttünk a jövőt és elfogadjuk, hogy ezek meglehetősen törékeny, de azért tudományosan megalapozott módszereken nyugvó, óvatos előrejelzések, kisebbet fogunk csalódni, ha esetleg tévednek. Hasonlóképpen, az a politikus is kapitális hibát vét, amelyik látva a számait nyugodtan hátradől és letekeri a kampány fordulatszámát. Az a politikus viszont, aki tagadja a közvélemény-kutatási adatokat, a sötétben tapogatózik.

Abban sok igazság van, hogy az Egyesült Államokban a média igénye miatt irreális mennyiségű pre-election poll árasztja el a nyilvánosságot minden választás előtt, boldog-boldogtalan választást jelez elő. Azonban ezeknek a méréseknek nagy része rossz minőségű, nem-valószínűségi minta, melyek között egyre nehezebb megtalálni a valóban módszeres és transzparens előrejelzéseket. Az amerikai közvélemény-kutatási piacra tehát kétségkívül ráférne egy komolyabb tisztulás.

Visszatérve tehát az eredeti kérdéshez: lehet-e még hinni a közvélemény-kutatásoknak? A válasz nem hit kérdése. A választási előrejelzések tudományos alapokon nyugvó előrejelzések, s mint ilyen, bizonytalanok. Mivel egyre nehezebbé válik az adatgyűjtés, sok javulásra nem is számíthatunk, de továbbra sincs jobb eszközünk ezeknél. A politikai mérések ráadásul jóval többet kínálnak annál, mint a győztes személyének megjóslása. Amit tehetünk: ne vegyük készpénznek az előrejelzéseket, de vegyük őket komolyan. Vagy vállaljuk, hogy elázhatunk délután.

 

Szerző: Stefkovics Ádám, a Századvég Alapítvány közvélemény- és piackutatási igazgatóhelyettese