Er der nogen på linjen?

Som en trold af en æske popper den op fra tid til anden. Diskussionen omkring hvilke data og hvilke paneler vi kan stole på, når vi ønsker at gennemføre repræsentative undersøgelser. Alle der arbejder med undersøgelser har sikkert oplevet at støde ind i denne vanskelige debat fra tid til anden, både når den dukker op i medierne og når vi sidder i møder om konkrete projekter. Det er på en og samme tid en interessant og vanskelig diskussion, og da den rammer alle der arbejder med undersøgelser og analyse, vil vi i Userneeds gerne deltage og forsøge at kaste lys, der hvor vi kan.

Lalinea

Kvalitetsdebatter er i vores øjne altid positive og velkomne. Samtidig tjener alle, som er involveret i research, ved at debatten til enhver tid er nuanceret. De seneste indlæg der har været fremme omkring telefon- kontra online-metode og meningsmålinger i både Danmark (Berlingske, 8. maj 2015) og Sverige (debatten mellem primært Novus og YouGov), bærer desværre præg af store ubalancer, vinklinger og særlige interesser.

Alle der er involveret i analysearbejde ved, at det er vigtigt at vores samarbejdspartnere kan stole på de data, vi leverer. Der bliver truffet vigtige beslutninger på baggrund af vores undersøgelser, og modsat tidligere, så er udfordringen, sådan som overskriften her svagt antyder, at der i stigende grad netop er færre på linjen, når man forsøger at indsamle interviews gennem telefonen.

Debatten i ovenstående artikler/indlæg omhandler meningsmålinger. Meningsmålinger udgør kun en brøkdel af de undersøgelser, der bliver gennemført, og de kræver at man som analyseinstitut er dygtig til at placere tvivlere og sofavælgere. Debatten i de forskellige indlæg handler dog også om indsamlingsmetoden, og den vinkel vil vi hos Userneeds gerne sætte lidt ekstra lys på.

 

Forskellige indsamlingsmetoder

Uanset hvordan man indsamler data, så deler alle analysemetoder det grundvilkår, at man altid kun kan interviewe de personer, der har lyst til at deltage i interviewet. Derfor er det også en grundlæggende sandhed, at der ikke findes undersøgelser uden bias. Bias, eller skævheder i data, stammer ofte fra at den valgte indsamlingsmetode har visse begrænsninger eller svagheder i sin rækkevidde. En af de mest klassiske og mest teoretisk stringente metoder er at gennemføre ansigt til ansigt interviews med et tilfældigt og repræsentativt udvalg af danskere, hvor man sørger for at svarprocenten er meget høj. Men selv her kommer man ikke uden om en vis "interviewer effekt" i dataindsamlingen. Samtidigt er dette også meget tidskrævende, og derfor vælger mange at gennemføre deres undersøgelser med andre metoder, typisk gennem telefonen, postale spørgeskemaer eller gennem online paneler.

Vælger man at bruge telefonen som indsamlingsmetode, så støder man også ind i begrænsninger, når vi ønsker repræsentative undersøgelser. Disse begrænsninger kan fx være i forhold til tidspunktet man ringer på, at visse mennesker har valgt at blive fri for opringninger samt at der findes nummer-rækker, der primært bruges til virksomheder og derfor ofte ikke inkluderes i opringningerne, på trods af at mange privatpersoner kun har deres arbejdsgiverbetalte telefon. Alle disse begrænsninger betyder at nogle mennesker ikke har mulighed for at deltage i undersøgelsen. Det er vigtigt at pointere, at alle metoder i større eller mindre grad har lignende begrænsninger og bias. Men bias og troværdighed er naturligvis ikke det samme.

Diskussionen om troværdighed er interessant, fordi vi netop beskæftiger os med at levere troværdige data gennem interviews foretaget på internettet. De indvendinger mod internetpaneler, som vi ofte støder på, drejer sig groft sagt om at enten kontakt-/rekrutteringsmetoden eller aflønningen påvirker repræsentativiteten. Lad os starte med at se bort fra, at man ofte ikke stiller/hører samme spørgsmål omkring rekruttering og aflønning til de velkendte gammeldags metoder (telefon- og postal-interview), og i stedet starte med at fokusere på, hvorfor der overhovedet er opstået nye muligheder.

 

Teknologiskifte giver nye muligheder

Med internettet og e-mailen fik analysebranchen en ny, meget fleksibel og ikke mindst mindre tidskrævende metode til indsamling af interviews. Man kan derfor foranlediges til at tro, at teknologiskiftet fra analoge til digitale indsamlingsmetoder udelukkende var og er drevet af ønsket om effektivisering på bekostning af kvalitet og metode. Det synes dog at være en grov forenkling. Der er ingen tvivl om, at online metode er væsentlig mindre omkostningstung, men det ville være forkert ikke samtidig at anerkende, at teknologiskiftet også drives af en kombination af to andre væsentlige faktorer. For det første giver online interviews helt andre muligheder for at udnytte den skærm, interviewpersonen sidder foran, når han/hun besvarer spørgeskemaet (fx billeder, film, lyd og simuleringer). For det andet er der sket et samtidigt fald i kvaliteten og mulighederne i de gammeldags metoder, hvor svarfrekvenserne på telefon og post samtidig er faldet en hel del siden årtusindeskiftet. Samtidig er tiden på nettet kun er steget.

Det kan der være mange grunde til at svarfrekvenserne er faldende, men der ingen tvivl om, at vi alle lever i en virkelighed, hvor flere og flere begivenheder konkurrerer om vores opmærksomhed, hvorfor færre måske føler at de har tid til at besvare undersøgelser.  I 2012 angav Pew Research Center, at den reelle svarfrekvens på telefon lå omkring 9% i USA (  link). At dette niveau formentlig snart vil ramme os i Norden er vist efterhånden en offentlig hemmelighed i branchen, specielt hvis vi begynder at medregne andelen af mennesker, der ikke kan kontaktes pr telefon.

Udfordringerne i de ældre metoder ligger ikke kun i de visuelle muligheder som internettet giver, men er også af mere strukturel karakter. "Robinson-lister" hvor man angiver at man ikke vil ringes op til undersøgelser, arbejdsgiverbetalte mobiltelefoner og begrænsning af telefonkontakt til tidsrummet 17-20 gør alt sammen sit til at indsamling gennem traditionelle metoder er blevet mere vanskelig. Tænk fx på, hvordan en travl småbørnsfamilie reagerer på en opringning til tidsrummet 17-20. Det kan betyde, at visse typer mennesker er meget vanskelige at få til at deltage i undersøgelser på telefonen, eller rekruttere til internetpaneler ved hjælp af telefonen.

De moderne online metoder giver derimod åbenlyse fordele i netop disse segmenter, eftersom de travle forældre fx selv kan bestemme hvornår de vil besvare spørgeskemaet. Men også online metoder har naturligvis udfordringer, fx blandt de ældste borgere, hvor telefonen endnu er et bedre instrument til interviews, og det er præcis disse udfordringer, man bør overveje, inden man lægger sig fast på en indsamlingsmetode. 

Det er dog vigtigt igen at vende tilbage til, at den logiske konsekvens af ovenstående er, at den kvalitetsmæssige afstand mellem de gamle metoders rekruttering/udvælgelse og udvælgelse/rekruttering i de digitale metoder er blevet udvisket de sidste 20 år. Og dermed er kvalitetsforskellen reduceret til et punkt, hvor man bør vurdere kvalitet i forhold til undersøgelsens målgruppe og/eller målsætning. Skal vi undersøge, hvad ældre mennesker synes om hjemmehjælpen, så er internettet nok ikke den rigtige metode, men vil vi vide hvad børnefamilier synes om daginstitutionerne, så kunne det derimod sagtens være det bedste valg. Og er det nødvendigt at vise interviewpersonen et billede for at få det svar man søger, så er telefonen ikke en mulighed.

 

Belønning eller ej

Der er rigtigt mange vanskelige valg at tage, når man vælger metode. Vi hører ind i mellem, at de mennesker vi får til at deltage i internetpaneler er helt specielle, fordi de kun drives af de belønninger, vi giver dem for deltagelsen. Der er naturligvis en pointe i, at aflønningen aldrig bør blive for stor eller overskygge motivationen til at deltage i en undersøgelse. Man bør derfor være særdeles konservativ, når det gælder aflønning, således at man ikke driver en for stor overvægt af ensartede svarpersoner ind i undersøgelserne. Og når vi, der beskæftiger os med online undersøgelser, rekrutterer til panelerne, er det ligeledes vigtigt, at belønningen ikke har en alt for central placering i rekrutteringen. Det er alt sammen rigtigt og vigtigt.

For balancens skyld er det dog vigtigt, at vi samtidig spørger os selv, om dette ikke også gælder for undersøgelser, der slet ikke giver belønninger til deltagerne, som fx telefon og postale interviews? Kan en undersøgelse uden dem, der rent faktisk drives af fx lodtrækninger eller opsparing, overhovedet siges at være repræsentativ i dag? Hvem er det, der vælger ikke at deltage i sådanne undersøgelser og ikke lader sig rekruttere til paneler den vej?

En undersøgelse bør gennemføres med så bred og tilfældig udvælgelse som muligt, og et panel bør være rekrutteret så bredt som overhovedet muligt, det kan alle som sådan kan være enige i. Derfor bør vi også stille krav til vores metoder om, at vi forsøger at nå ud til så mange mennesker som overhovedet muligt, når vi rekrutterer til paneler. Men det virker naturligvis lidt sært at møde mennesker, der beskæftiger sig med analyse, og som stadig i 2015 påstår, at telefonen er den eneste metode til at opnå bred og tilfældig udvælgelse, også når det gælder oprettelse af internetpaneler. Især når vi nu alle sammen ved, at der bliver færre og færre på linjen når vi ringer, og flere og flere bruger mere tid på nettet. Det er og bliver absurd konservatisme, at udviklingen ikke skulle kunne drive fremgang og forbedring af tidligere tiders best practise, og det frembringer næsten paralleller til musikbranchens kamp mod streaming, de traditionelle forlags kamp mod online bøger eller hotelkædernes forsvar overfor AirBnB.

 

Fokus på kvalitet og seriøsitet

Vi begynder at nærme os kernen i denne debat. Hvis man stiller de samme strenge krav til traditionelle metoder, som der stilles til de moderne online indsamlingsmetoder, så vil man hurtigt se, at alle har nogenlunde samme udfordringer. Der er ingen der kan gennemføre undersøgelser uden bias. De krav vi bør stille til hinanden er, at vi hver især gør os umage for at mindske effekten af de bias, som vi ved, vores samlede metodiske tilgang giver os.

De, der kom tættest på at forudse valgresultatet i Sverige, sidst der var valg, brugte et internetpanel. Da Kirke- & Ligestillingsministeriet for et par år tilbage ville undersøge danske mænds holdninger til købesex, kunne det kun ske gennem en anonym internetundersøgelse. Når en udbyder af offentlig transport vil teste et nyt navn og logo, er den eneste farbare metode en internetundersøgelse. Internettet har 20 års jubilæum og penetrationen i Skandinavien ligger tæt på 100%, så lad os lytte til de mange gode resultater og muligheder onlinepaneler har givet os, og lad os få drejet den sunde skepsis og debat over på det, det i virkeligheden drejer sig om, nemlig den gode samtale om målgruppe og metodiske rækkevide. Og lad det meget gerne gælde for alle metodiske tilgange på lige vilkår. Vi håber at vi med dette lidt mere dybdegående metodiske indspark har medvirket til at skabe et mere balanceret syn på muligheder, overvejelser og debatten generelt.