Wat hebben we aan peilingen?

Maar het loopt nog desastreuzer af voor Roemer: als er op 12 september 2012 echt wordt gestemd, blijft de SP op 15 zetels steken. Alsnog zaten de peilers dus veel te hoog.

Toch zijn er ook veel peilingen waarbij de uiteindelijke uitslagen wel goed overeenkomen, of binnen de foutmarges blijven. Dat is in Nederland zeker zo tot 1986. Bij de verkiezingen van dat jaar gaat het voor het eerst duidelijk mis. In de peilingen wordt de PvdA de grootste partij, met volgens peilingbureau NIPO 56 zetels en volgens opiniepeiler Maurice de Hond tussen de 53 en 57 zetels.

Toch wordt bij deze verkiezingen het CDA de grootste partij (54 zetels) en krijgt de PvdA 52 zetels (nog altijd vijf zetels winst ten opzichte van de 47 die ze hadden). Een mogelijke verklaring voor de misser is dat er tussen de laatste peiling en de daadwerkelijke verkiezingsdag nog een belangrijk televisiedebat is, waarin premier Lubbers (CDA) het goed doet.

De misser van 1986 zorgt ervoor dat bij de volgende verkiezingen de peilingen al voor de verkiezingsuitslag met wantrouwen worden bekeken.

Wat opvalt in dit fragment: de peilingbureaus wijten hun foute inschattingen aan de kiezers, die kort voor de verkiezingen ineens van gedachten zouden zijn veranderd. De bureaus vinden dat hun methode deugt, terwijl daar best vraagtekens bij zijn te zetten. Die methodes zijn in de loop van de geschiedenis ook steeds aangepast.

Als de uitslagen binnenkomen blijkt dat Literary Digest ernaast zit. Maar Gallup voorspelt correct dat de Democraat Franklin D. Roosevelt de presidentsverkiezingen wint van de Republikein Alf Landon. Op dat moment lijkt de oorzaak van het falen van Literary Digest duidelijk: de groep die deelneemt aan de peiling is niet representatief voor de hele bevolking. Wie een auto bezit is bijvoorbeeld meestal rijker dan iemand zonder auto. In de onderzoeksgroep van Literary Digest zitten daardoor naar verhouding teveel Republikeinen.

Toch blijkt in 1948 dat de methode van Gallup weliswaar een eind in de goede richting is, maar nog niet verfijnd genoeg. Gallup staat namelijk aan de basis van de meest beruchte voorspellingsmisser uit de Amerikaanse geschiedenis, bekend van de krantenkop: “Dewey defeats Truman”. Inderdaad, niet de Republikeinse presidentskandidaat Dewey wint, zoals Gallup voorspelt, maar in 1948 wordt de Democraat Harry Truman tot president verkozen.   

Wat er misging met de peiling van Gallup is dat zijn onderzoeksgroep wel keurig een soort Madurodam van de Verenigde Staten voorstelde, maar bepaalde eigenschappen niet waren meegerekend in zijn quotasysteem. Het probleem: mensen maken op basis van zoveel verschillende criteria hun keuze, dat je als opiniepeiler altijd het risico loopt er een paar te missen. Bovendien mochten alle peilers van Gallup (zolang ze binnen de quota voor geslacht, ras, inkomen en andere variabelen bleven) zelf weten wie ze interviewden, wat ook tot scheve verhoudingen kon leiden. Het resultaat was in dit geval dat er naar verhouding te veel Republikeinen in de onderzoeksgroep zaten.

In Nederland richt Unilever in 1934 het eerste marktonderzoekbureau op, bedoeld om te kijken naar consumentengedrag, niet naar politieke voorkeur. Een van de eerste onderzoeken is naar het schoonmaakmiddel VIM. Politieke peilingen komen in ons land in de jaren veertig. Dan wordt ook het NIPO opgericht, het Nederlands Instituut voor de Publieke Opinie.

Opiniepeiler Maurice de Hond over de geschiedenis van het peilen:

Inmiddels zijn er vijf grotere peilingbureaus in Nederland: I&O Research, Ipsos, Kantar Public, Peil.nl (van Maurice de Hond) en De stemming/EenVandaag. Niet alle bureaus zijn 100 procent transparant over wat hun methodes exact inhouden. Sinds het verdwijnen van steeds meer vaste telefoonverbindingen en het bel-mij-niet-register, vindt het meeste onderzoek plaats via internet.

Het basisidee van een peiling is dat je een representatieve steekproef doet onder een groep Nederlanders, die zo is samengesteld dat hun antwoorden staan voor wat alle Nederlanders zouden invullen. De miniatuurversie dus van de werkelijkheid. Sommige bureaus werken al vanaf 1000 à 1500 deelnemers, anderen met veel grotere groepen. Het EenVandaag-opiniepanel heeft zo’n 50.000 deelnemers, waarvan wekelijks zo’n 60 à 70 procent deelneemt aan een onderzoek. De grootte van de groep is belangrijk om kleinere foutmarges te krijgen, maar het belangrijkste bij peilen is dat je een representatieve groep hebt. En hier zit vaak het knelpunt.

Voor een betrouwbare uitkomst heb je een ‘aselecte’ steekproef nodig. Dat wil zeggen dat wie er meedoen volstrekt willekeurig is; alle personen uit de totale populatie zouden evenveel kans moeten maken om onderdeel te zijn van de steekproef. Een steekproef noem je ‘select’ als bepaalde groepen juist zijn onder- dan wel oververtegenwoordigd. Zo’n weeffout kun je met een rekenfactor corrigeren. Een voorbeeld: stel dat 65-plussers 18 procent van de Nederlandse bevolking uitmaken, maar dat maar 10 procent meedoet aan de peiling, dan telt elke oudere voor 18:10=1,8 keer mee in de peiling.

De meeste peilingbureaus maken geheel of gedeeltelijk gebruik van mensen die zichzelf aanmelden om mee te doen met een steekproef. Dat maakt de steekproef minder willekeurig. De mensen die zich aanmelden hebben een motivatie, een reden om mee te doen en alleen dat feit al kan de uitslag minder representatief maken dan wanneer ze geloot zouden zijn.

Je zou dat kunnen vergelijken met een schoolklas waarbij de docent alleen in gesprek gaat met kinderen die hun vinger opsteken bij een vraag:  

Bijzonder hoogleraar kiesgedrag Joop van Holsteijn van de Universiteit Leiden vindt de manier waarop de opiniepanels worden samengesteld verkeerd. Dat legt hij vlak voor de Tweede Kamerverkiezingen van 2012 uit, in het NCRV-programma Altijd Wat:

Overigens: de vraag of peilingen nuttig zijn, heeft onze nationale peiler Maurice de Hond jaren geleden al eens beantwoord. Hij heeft namelijk gepeild wat het Nederlandse publiek van peilingen vindt. 

Maurice de Hond zegt dat 11 procent van de mensen peilingen ‘absoluut niet nuttig’ vindt, 36 procent vindt het ‘niet nuttig’ en 48 procent vindt het ‘wel nuttig’.

47 procent vindt het dus ‘niet, tot absoluut niet nuttig’ en 48 procent vindt het wel nuttig. Met de gebruikelijke foutmarges kan de uitslag dus net zo goed andersom zijn. Maar De Hond komt ermee weg. En bewijst daarmee de stelling dat media en opiniepeilers elkaar hard nodig hebben.

Gelauff noemt ook het risico dat bepaalde kiezersgroepen ondervertegenwoordigd zijn in de groepen die worden ondervraagd, zoals bijvoorbeeld allochtonen. Zij zijn gemiddeld minder bereid mee te doen aan dergelijk onderzoek. Bureaus voegen wel correcties toe om dit soort vertekeningen in de panels tegen te gaan, maar dat doen ze alleen bij situaties waarvan ze zich bewust zijn. Maar het doorvoeren van die correcties, blijft een schimmig terrein, waarbij het deels koffiedik kijken is.

In een van de peilingen van Maurice de Hond staat een aantal maanden geleden de partij DENK op drie zetels, terwijl die partij bij andere peilers dan op nul zetels staat. De Hond heeft correcties doorgevoerd, onder meer door te kijken naar het Eurovisie Songfestival: "In de eerste plaats weet ik dat er 350.000 kiezers van Turkse herkomst zijn, in de tweede plaats dat er bij de vorige verkiezingen 80.000 voorkeursstemmen op kandidaten met een Turkse herkomst werden gegeven, en ten derde dat bij het Eurovisiesongfestival, toen er geen vakjury was maar via televoting werd gestemd Nederland vijf jaar 12 punten aan Turkije gaf. Dat is toch een aanwijzing."

Het voordeel van internetpeilingen is dat de deelnemers dit in hun eentje en thuis kunnen doen, zodat ze wellicht eerder zeggen wat ze werkelijk gaan doen bij de verkiezingen. Terwijl als je wordt gebeld, wat de meest gangbare manier van peilen is in de Verenigde Staten, het de vraag is of je altijd eerlijk antwoordt. Sommige mensen houden rekening met wat de enquêteur vindt van de antwoorden en dus ligt een sociaal wenselijk antwoord op de loer. Verder denkt Kapteyn dat de meeste peilingbureaus te weinig rekening houden met de groep mensen die al heel lang niet stemmen, maar nu wel gemotiveerd zijn dat te doen. “Peilers proberen meestal te voorspellen wie er daadwerkelijk naar de stembus gaan. Daarin wegen ze mee of die kiezers de vorige keer hebben gestemd. Zo niet, dan tellen ze hen niet mee.” Kapteyn vraagt mensen wat de kans is dat ze nu wél gaan stemmen, en telt hen ook mee als ze die kans klein achten.

Kapteyn heeft met deze methode de verkiezingsuitslag goed. Je zou zeggen dat zijn methode dus meteen door andere bureaus wordt overgenomen. Maar dat is niet zo. Zijn methode is duur, maar de universiteit kan het onderzoek betalen dankzij subsidies.

In Nederland zijn er ook nog steeds groepen die slecht vertegenwoordigd zijn in de peilingen: vooral de boze, ontevreden burgers en minderheidsgroepen, zegt Tom van der Meer van de Universiteit van Amsterdam:

En bureaus kunnen dus ook besluiten mensen te betalen voor hun deelname aan een peiling, om zo groepen die het anders niet de moeite waard vinden om mee te doen, toch over de streep te trekken.

Maar ook dan blijft het lastig dat er een grote groep kiezers is die echt pas op het allerlaatste moment besluit óf ze überhaupt gaan stemmen, en zo ja, op wie.

Om het geklaag over foute peilingen te ondervangen benadrukken de opiniepeilers tegenwoordig dat ze geen voorspellers zijn. Ze meten het moment: “Als er op dit moment verkiezingen worden gehouden, wat stemt u dan?” Dat is een veilige manier van presenteren, want als de verkiezingsuitslag toch anders uitpakt, kun je de kiezer de schuld geven. Die is dan wispelturig, want verandert kort na de peiling alsnog van mening.

Deels is dat ook zo. De tijden van een stabiel electoraat zijn voorbij. Dat schrijft ook Maurice de Hondt, op zijn eigen website Peil.nl. Hij constateert dat het oude onderscheid in kiesgedrag tussen verschillende groepen (links-rechts, arbeiders-middenstanders, jongeren-ouderen) zich niet meer op dezelfde manier voordoet.

De peilers hebben niet alleen last van de zwevende kiezer, maar ook van de kiezers die nog nooit aan zweven zijn toegekomen. Bijvoorbeeld degenen die uit boosheid op de elite (vrijwel) nooit gingen stemmen en dat nu ineens wel doen.

“In mijn analyses maak ik al lange tijd gewag van twee parallelle werelden en hoe die elkaar steeds minder begrijpen (…) peilers en peilingen maken deel uit van die ene wereld…” schrijft De Hond. Hij bedoelt dat peilers beïnvloed worden door het milieu waarin zij zelf leven en daarmee een blinde vlek hebben voor een wereld die verder van hen af staat.

Peilingen zijn dus geen exacte wetenschap en zullen vooral een manier blijven om trends aan te geven. Ze laten globaal zien wat er leeft onder de bevolking en hoe zich dat politiek vertaalt. Toch zullen de peilers na welke verkiezingen dan ook worden afgerekend op de exacte getallen die zij hebben genoemd. En omdat de peilers onderling vaak verschillen, is er de dag na de verkiezingen altijd een verhaal te maken over peilers die ernaast zaten.