lørdag 12. august 2017

Fungerer House Effect-justeringer?

House Effect er den tendensen et meningsmålingsbyrå har til å måle de enkelte partiene høyere eller lavere enn snittet av målinger. Et annet ord på det samme kunne være slagside eller bias. Jeg lager to prognoser for stortingsvalget: en prognose som er snittet av målinger, og en annen som justerer de lokale målingene i forhold til byråenes House Effect. De nasjonale tallene justerer jeg ikke. Snittet av nasjonale målinger er jo nettopp målestokken for eventuelle avvik, så å justere dette snittet ville forårsaket en merkelig matematisk loop eller feedback om man vil. I fylkene har vi ikke samme bredden i meningsmålinger fra ulike byråer, så her er det etter min mening fornuftig å ta hensyn til hvem som utfører meningsmålingene. Metoden min er ellers beskrevet i et tidligere innlegg.

Likevel kunne det jo være morsomt å foreta en enkel test av om House Effect-justeringer gjør det de er ment å gjøre, nemlig å få de enkelte meningsmålingene til å ligne mer på snittet av målinger, med andre ord, å få dem til å ligne mer på hverandre. Jeg foretok en slik hypotetisk justering med InFacts måling 4. august, siden InFacts meningsmålinger over tid har vist seg å skille seg mest fra snittet av målinger. Kunne House Effect-justeringer brukes til å forutsi hva andre byråer ville komme frem til?

Jeg bruker her de fire nasjonale meningsmålingene som er kommet så langt i august som eksempel. Det er Infact for VG den 4. august, Norfakta for Nationen og Klassekampen den 5. august, Opinion Perduco for Avisenes Nyhetsbyrå den 10. august, og Respons Analyse for Aftenposten, Bergens Tidende og Adresseavisen i går den 11. august.

Under er to tabeller. I den øverste ser vi de publiserte tallene, i den nederste har jeg justert for House Effect, med tall hentet fra min beregning av avvik fra snitt det siste halvannet året. Jeg regner ut gjennomsnittstall for hvert parti i de fire målingene, og til slutt standardavvik, altså et uttrykk for for mye målingene spriker. I den ikke-justerte tabellen har for eksempel Høyre i gjennomsnitt 24,6% oppslutning med et standard avvik på 1,4%, mens i den justerte tabellen er har partiet gjennomsnittlig 24,7% oppslutning. Standardavviket i den justerte tabellen derimot, er bare 0,6%. For summen av blokkene er virkningen av å justere enda mer slående.

Hva så? Jo: dette viser at målingene ligner mer på hverandre hvis vi justerer for byråenes erfarte slagside. Man kunne jo ellers lure på om det gir mening å justere på enkeltmålinger, siden feilmarginene uansett er større enn det standardavviket vi ser mellom byråene i denne oversikten, men jeg tolker dette lille eksperimentet som en bekreftelse av at House Effect-justeringer fungerer.

Her bør vi riktignok ta et kraftig forbehold: At meningsmålingene ligner på hverandre er ingen garanti for at de treffer. InFact-målingenes avvik fra snittet av målinger kan for alt jeg vet bety at de andre byråene er på bærtur.