Kritik mot svenska opinionsundersökningar: Bristande öppenhet och stora svängningar

Dagens mätning från Ekot/Indikator (11/9) ger Liberalerna 5,4 procent. För en vecka sedan gav samma företag partiet 2,2 procent (4/9).

TV4/Novus mätning har rört sig likadant: Liberalerna fick 5,8 procent i onsdags (9/9), medan de fick 1,9 procent den 19 augusti. Skillnaderna avgör om partiet sitter kvar i riksdagen – och därmed vilken regering Sverige får.

Jag menar att undersökningsföretagen gör det för svårt för väljare, journalister och forskare att förstå vad en sådan skillnad betyder, och att vi behöver förhålla oss kritiska även till välgjorda undersökningar.

En del av spridningen kan vara en verklig väljarrörelse, en del kan handla om metod. Ingen av oss kan avgöra vilket, och det är problemet. Indikators enkät var i fält 18 augusti–4 september, Novus senaste 6–8 september, och opinionen kan ha rört sig däremellan. De mäter olika veckor och presenteras som samma sak. Indikator drog ett nytt slumpmässigt urval ur folkbokföringen: 5 618 tillfrågade, 2 228 svar, en svarsfrekvens på 40 procent. Novus drog sitt urval ur en stående webbpanel, rekryterad slumpmässigt tidigare. Där svarade 2 292 personer, men hur många som tillfrågats – nu eller när panelen byggdes – framgår inte. En förändring inom ett och samma företag säger dessutom bara att den är osannolik givet företagets egen modell, inte att panelen följer befolkningen.

Poängen är inte att något företag gjort fel, utan att redovisningen varken är tillräckligt öppen eller enhetlig. Uppgifterna finns ibland i företagens metodbeskrivningar, nästan aldrig i nyhetsrapporteringen. Läsaren kan därför inte bedöma vad svängningarna betyder.

I mediernas rapportering, på sociala medier och av partierna själva betraktas ändå undersökningarna som avspeglingar av verkligheten. Det stämmer såklart inte. I valet 2022 röstade 84,2 procent av de knappt 7,8 miljoner röstberättigade. I en opinionsundersökning tillfrågas ett urval på några tusen personer. Bara en del av dem svarar, och långt ifrån alla företag redovisar hur stor den delen är. Problemet är att de som svarar inte är samma människor som de som röstar. Äldre, högutbildade och politiskt intresserade svarar oftare än andra. Och även när en grupp justeras upp genom viktning vilar skattningen på de fåtal ur gruppen som faktiskt svarade.

Experterna som analyserar siffrorna är oftast seriösa och pålästa. De tar hänsyn till felmarginaler och skillnader mellan företagen, och hänvisar till flera mätningar. Men de bästa undersökningarna är ändå bara försök att spegla verkligheten – de är inte verkligheten.

Det är här större öppenhet hade gjort mest nytta. Gemene man kan inte förväntas sätta sig in i urvalsmetoder; det är mediernas kommentatorer som ska förklara vad siffrorna betyder, och de blir bara så precisa som underlaget tillåter.

Ett företag kan hamna rätt av ren tur, eller för att två fel tar ut varandra

Valet 2022 visade hur svårt det är. Den mätning som kom närmast valresultatet var Demoskops, som bygger på en panel där deltagarna själva anmält sig, i stället för att slumpas fram. Det är den metod som har svagast grund för att säga något om befolkningen. Ändå träffade den bäst av 40 sistamätningar på 20 år. Ett företag kan hamna rätt av ren tur, eller för att två fel tar ut varandra. Att en mätning stämde en gång säger alltså nästan ingenting om metoden. Det vet man först efter många val.

Historiskt finns däremot systematiska mönster. Vänsterpartiet överskattades i samtliga sistamätningar 2018 och 2022, medan Socialdemokraterna och Moderaterna underskattades. Mätningarna blir inte heller bättre ju närmare valdagen vi kommer.

När svenska tidningar förklarar varför ett parti gått upp eller ner i deras egen mätning, är förändringen i ungefär hälften av fallen så liten att den lika gärna kan bero på slumpen. När slumpen förses med orsaker uppstår en berättelse om en opinionsrörelse som kanske aldrig ägt rum.

När svenska tidningar förklarar varför ett parti gått upp eller ner i deras egen mätning, är förändringen i ungefär hälften av fallen så liten att den lika gärna kan bero på slumpen

All denna uppmärksamhet kan påverka valet. Hör man att det är kört för parti X kanske man struntar i att rösta på dem. Hör man att X ligger nära 4 procent kanske man stödröstar. Det finns forskning som stödjer detta resonemang: en panelstudie av nästan 1 900 väljare inför valet 2018 visar att de som uppfattar att ett parti gått upp i mätningarna värderar partiet högre, och i flera fall är mer benägna att rösta på det. Vidare har stödröstningen ökat från 6 procent 1968 till 19 procent 2018, och en tredjedel bestämmer sig sista veckan.

Och rösterna läggs redan nu. När förtidsröstningen öppnade den 26 augusti gav Novus Liberalerna 1,9 procent. I tisdags hade över 2 miljoner väljare röstat, 32 procent fler än vid samma tidpunkt 2022. Samma företag ger i dag partiet 5,8. Man får visserligen rösta om, men det hjälper bara den som följer mätningarna och orkar gå en gång till.

I år kan Liberalernas 4 procent avgöra vilken sida som får makten. Vems ansvar är det? Undersökningsföretagen har uppgifterna om hur mätningarna gjorts, redaktionerna avgör vilken plats siffrorna får. Ingen av dem behöver svara för det.

Betyder detta att vi ska lägga ner opinionsundersökningarna? Nej, det tycker jag inte. Om deras nettoeffekt på demokratin är positiv eller negativ vet vi för lite om, men så länge de publiceras i den här omfattningen måste de gå att granska.

Två saker behöver ske.

1. Undersökningsföretagen behöver använda de lämpligaste metoderna och bli mer öppna: redovisa urval, fältperiod, antal svarande, justeringar och svarsfrekvens – varje gång, intill siffran. Sådana krav finns redan i andra länder. Brittiska företag måste publicera fullständiga tabeller inom två arbetsdagar, franska lämna en metodredovisning till en oberoende kommission. Sverige har inga krav. Branschen bör införa dem själv, innan någon annan gör det åt dem.

Brittiska företag måste publicera fullständiga tabeller inom två arbetsdagar, franska lämna en metodredovisning till en oberoende kommission. Sverige har inga krav

2. Redaktionerna måste sluta publicera mätningar där uppgifterna saknas och sluta blåsa upp små förändringar i mätningarna. Lika viktigt är att förhålla sig kritisk även till välgjorda undersökningar. Även en öppet redovisad mätning bygger på de som hade tid, lust och vilja att svara när de fick frågan. Öppenhet gör osäkerheten lättare att bedöma. Den tar inte bort den.

Skillnaden mellan 1,9 och 5,8 procent kan avgöra vem som styr Sverige de kommande fyra åren. Läsaren borde få veta varför siffrorna skiljer sig åt – och att ingen av dem nödvändigtvis återspeglar verkligheten.

Läs fler artiklar från DN Debatt:

Simona Mohamsson (L): ”Tidöregeringen är den mest liberala i modern tid”