Monta menetelmää, monenlaisia vastauksia

Koko dokumentti sivutettuna

Kirjoittaja: Anja Ahola on erikoistutkija Tilastokeskuksen Elinolot-yksikössä. Artikkeli on julkaistu Tilastokeskuksen Hyvinvointikatsauksessa 2/2009.

Surveytutkimusten tiedonkeruussa menetelmällä on väliä. Tiedonkeruiden tulokset voivat vaihdella sen mukaan, millä menetelmällä ne on kerätty. Menetelmien sekoittamisen suosio on lisääntymässä, mutta siitä tarvitaan vielä lisää tietoa.

Useiden tiedonkeruumenetelmien yhtäaikainen käyttö yleisissä väestötutkimuksissa on noussut kiinnostuksen kohteeksi surveytutkimusten vastausosuuksien pienetessä ja kustannusten kasvaessa. Mahdollisuus vastata useilla tavoilla saattaa rohkaista otokseen kuuluvia vastaamaan. Mikäli riittävän suuri määrä vastaajia valitsee edullisimman menetelmän, tiedonkeruun kustannukset pienenevät. Siksi kiinnostus verkkokyselyihin on lisääntynyt myös yleisissä väestötutkimuksissa.

Ennen tiedonkeruumenetelmien valintaa on kuitenkin tarkoin selvitettävä, saavutetaanko mainitut edut aineiston vertailtavuuden kustannuksella. Vertailtavuutta voivat heikentää eri menetelmiin liittyvien peittovirheiden, vastauskadosta johtuvien virheiden ja mittausvirheiden erilainen luonne. Tässä artikkelissa keskityn viimeksi mainittuun virhemahdollisuuteen eli siihen, millaisia vaikutuksia tulosten vertailtavuuteen on sillä, jos ihmiset vastaavat samaan kysymykseen eri tavoin eri tiedonkeruumenetelmiä käytettäessä.

Pohdin artikkelissa, millä tavoin tiedonkeruumenetelmiä yhdistämällä voidaan tuottaa vertailukelpoista tietoa ja milloin tiedonkeruumenetelmästä johtuvia eroja on odotettavissa. Käsittelen sen jälkeen verkkokyselyä väestötutkimusten menetelmänä ja sen yhdistelyä muihin tiedonkeruumenetelmiin.

Menetelmiä voi yhdistää eri tavoin

Useamman kuin yhden tiedonkeruumenetelmän käyttö samassa tiedonkeruussa vaatii paljon kehittämistyötä. On kehitettävä otantamenetelmiä, tiedonkeruun sisällön suunnittelua, kysymysten laadintaa ja tiedonkeruun käytännön toteuttamistapaa. Dillman ym. (2009) jäsentelevät monia menetelmiä yhdistävän surveytutkimuksen neljään päätyyppiin ja esittävät kunkin soveltamiseen yleisesti liitetyt tavoitteet sekä menettelyn rajoitukset (taulukko 1).

Taulukko 1. Tiedonkeruumenetelmien yhdistelyn tavat.

Tyyppi Motivaatio Rajoitukset
I Yhteydenotossa käytetään eri menetelmää kuin lopullisessa tiedonkeruussa - Parantaa vastausosuutta
- Vähentää peitto- ja katovirheitä		 - Lisää toteuttamiskustannuksia
II Osa lomakkeen tiedoista kerätään eri menetelmällä - Vähentää mittausvirhettä
- Pienentää sosiaalisesti suotavaa vastaamista		 - Lisää suunnittelukustannuksia
- Lisää vastauskatoa, jos toisella menetelmällä on vastattava myöhemmin
III Tiedot kerätään eri vastaajilta eri menetelmillä - Parantaa vastausosuutta
- Vähentää peitto- ja katovirheitä
- Vähentää kustannuksia		 - Lisää suunnittelukustannuksia
- Menetelmäeroista johtuvat mittausvirheet,
   jotka saattavat sekoittua väestöryhmien eroihin
IV Käytetään eri menetelmää samoille vastaajille myöhemmässä vaiheessa - Sama vastaaja voi vaihtaa vastaamismenetelmää
- Vähentää kustannuksia		 - Lisää suunnittelukustannuksia
- Menetelmäerojen tuottamat mittausvirheet,
   jotka vaikuttavat ajallisen muutoksen mittaamiseen

Lähde: Dillman ym. 2009.

Kolmas Dillmanin ym. kuvaama tyyppi edustaa sitä, mitä seuraavaksi käsitellään surveytiedon keruun monimenetelmällisyytenä. Siinä samaan otokseen kuuluvilta henkilöiltä kerätään tiedot erilaisilla menetelmillä, esimerkiksi postikyselyin, verkkokyselyin, käyntihaastatteluilla tai puhelinhaastatteluilla. Tämäntyyppisen yhdistelyn tavoitteena on yleensä vähentää peittovirheitä ja vastauskatoa, ja joskus myös alentaa tiedonkeruukustannuksia; siihen tosin liittyy paljon suunnittelukustannuksia.

Dillmanin ym. mukaan tällainen menetelmien yhdistely herättää kuitenkin kysymyksen, korvaavatko tutkimuksen osallistumisosuudessa ja otannan peittävyydessä mahdollisesti saavutettavat edut menetelmien sekoittumisesta aiheutuvat mittausvirheet. He suosittelevatkin vastausosuuksien parantamiseksi kuvion ensimmäistä menettelytapaa (taulukko 1), jossa vastaajat tavoitellaan toisella menetelmällä, mutta tiedot kerätään samaa menetelmää käyttäen.

Sivun alkuun

Tiedonkeruutilanteen sosiaalinen etäisyys rajaa vastauksia

Aikaisemman pohjoisamerikkalaisen tutkimuksen perusteella on tehty olettamus, että sosiaalisesti epäsuotavia asioita ilmaistaan avoimemmin puhelinhaastattelussa kuin käyntihaastattelussa. On myös esitetty, että puhelimen tapaan tietokone henkilökohtaisen haastattelun välineenä lisää vuorovaikutuksen anonyymisyyttä, jolloin haastateltavan on helpompi ilmoittaa arkoja asioita.

Olen tutkinut suomalaisten vastauksia elinoloja kuvaaviin kysymyksiin eri haastattelutapoja käytettäessä. Olen vertaillut puhelinhaastattelua ja tietokoneavusteista käyntihaastattelua perinteiseen paperilomakkeella tehtyyn käyntihaastatteluun (Ahola 1993).

Tulosten mukaan suomalaiset ilmoittivat henkilökohtaisessa käyntihaastattelussa selvästi enemmän omaa hyvinvointiaan koskevia puutteita kuin sosiaalisesti etäisemmässä puhelinhaastattelussa. Puhelimessa annettujen vastausten mukaan syntyi kokonaiskuva, että suomalaisten terveys on parempi, lapsuudenkodeissa vähemmän ongelmia, ihmissuhteet ovat paremmat, yksinäisyys on vähäisempää ja tyytyväisyys suurempaa.

Olettamus, että sosiaalisesti arkoja asioita ilmaistaisiin helpommin puhelinhaastatteluissa, ei siis pätenyt suomalaisiin tuloksiin. Tulos sosiaalisen etäisyyden vaikutuksesta vastauksiin vahvistui, kun tutkin tämän jälkeen samoihin hyvinvointikysymyksiin vastaamista tietokoneavusteisessa käyntihaastattelussa ja vertailin sitä perinteisessä käyntihaastattelussa annettuihin vastauksiin (Ahola 1995).

Samansuuntaisia tuloksia sosiaalisen etäisyyden vaikutuksesta puhelimessa annettujen vastausten sisältöön on sittemmin saatu Euroopan maita vertailevassa metoditutkimuksessa (Roberts ym. 2006). Tutkimus tehtiin Unkarissa, ja se liittyy European Social Surveyn metodiselvityksiin, joiden tarkoituksena on selvittää, saataisiinko vertailukelpoista tietoa, jos nykyisen käyntihaastattelun lisäksi sallittaisiin puhelinhaastattelu.

Sivun alkuun

Menetelmät vaikuttavat erityisesti epävarmassa asemassa olevien vastauksiin

Väestöryhmien tiedonkeruumenetelmästä johtuvien erojen logiikka oli sama molemmissa tekemissäni vertailuissa (Ahola 1995). Alempiin sosiaaliryhmiin kuuluvien vastaukset vaihtelivat samoissa kysymyksissä eri menetelmien mukaan enemmän kuin ylimpään sosiaaliryhmään kuuluvilla. Erot kasvoivat sisällön muuttuessa sosiaalisesti aremmaksi. Alempiin sosiaaliryhmiin kuuluvat näyttivät voivan paremmin sellaisen tutkimuksen mukaan, joka oli tehty sosiaalisesti etäisellä haastattelumenetelmällä. Herkimpien hyvinvointia kuvaavien vastausten perusteella sosioekonomiset erot saattoivat jopa kääntyä päinvastaisiksi keruumenetelmästä johtuen.

Myös yhdysvaltalaisen tutkimuksen mukaan sosiaalisesti epävarmassa asemassa olevien henkilöiden vastaukset erosivat puhelin- ja käyntihaastattelun välillä erityisesti uhkaavia asioita kysyttäessä (Anashensel ym. 1982, Aquilino - Lo Sciuto 1990). Tutkimusten mukaan arat aiheet ovat erityisen arkoja niissä väestöryhmissä, jotka ovat muutenkin epävarmassa sosiaalisessa asemassa. Näissä tutkimuksissa on käsitelty seksuaalikäyttäytymistä, rikollisuutta ja huumeiden käyttöä. Jos alempiin sosiaaliryhmiin kuuluvat esittävät elinolonsa ja hyvinvointinsa tutkimuksessa myönteisessä valossa menetelmävalintojen seurauksena, kuva väestön eriarvoisuudesta voi vääristyä. Samaan suuntaan vaikuttaa myös vastauskadon keskittyminen heikommassa sosiaalisessa ja taloudellisessa asemassa oleviin (vrt. Laiho 2007).

Sivun alkuun

Arkisetkin asiat voivat olla arkoja

Vertailemani hyvinvointikysymykset eivät sisältäneet varsinaisesti uhkaavia aiheita, mutta suomalaisille oman hyvinvointinsa puutteiden myöntäminen näytti olevan vaikeampaa haastattelutilanteen muuttuessa etäisemmäksi. Tilastokeskuksen 1990-luvun alussa tekemässä kyselyssä suurin osa vastaajista piti arkoina aiheina sellaisia suomalaisille intiimejä asioita kuten rakkautta ja seksuaalisuutta sekä elämänongelmia kuten työttömyyttä, rahapulaa ja ihmissuhdeongelmia. Myös tuloihin, omaisuuteen ja velkoihin liittyviä asioita yli puolet vastaajista piti arkaluonteisina ja vaikeina vastata. (Virtanen 1991.)

Halu esittää itsensä myönteisessä valossa on siis todennäköisintä niissä kysymyksissä, jotka käsittelevät selkeitä kulttuurisia arvoja tai moraaliarvostuksia. Sosiaalisesti herkkiä aiheita voivat kuitenkin tiedonkeruutilanteesta riippuen olla myös hyvin jokapäiväisinä pidetyt asiat. Tällainen on esimerkiksi itse arvioitua terveyttä koskeva kysymys: "Yleisesti ottaen millainen terveytenne on? Onko se erittäin hyvä, hyvä, keskinkertainen, huono vai erittäin huono?" Vastausta käytetään yleisesti kansainvälisenä terveysindikaattorina.

Näyttää siltä, että tiedonkeruutilanteiden muutokset vaikuttavat herkästi suomalaisten antamiin vastauksiin. Tiedonkeruutilanteet ovat kuitenkin vertailujeni jälkeen muuttuneet. Käyntihaastattelut ovat kustannussyistä vähentymässä ja puhelinhaastattelut yleistymässä. Puhelinhaastatteluihin vastataan nykyään yleensä matkapuhelinta käyttäen (Tilastokeskuksen puhelinhaastattelukeskuksen mukaan noin 90 prosenttisesti), koska lankapuhelimet ovat voimakkaasti vähentyneet. Tämän muutoksen vaikutuksesta vastauksiin ei ole tutkittua tietoa.

Sivun alkuun

Verkkokysely rinnastetaan postikyselyyn

Kerättäessä tietoja väestöryhmiltä, jotka käyttävät paljon internetiä, tiedonkeruu itse täytettävällä verkkolomakkeella on osoittautunut hyödylliseksi. Kaikilla ei kuitenkaan ole vielä käytettävissä internetiä, eivätkä kaikki halua käyttää sitä. Iäkkäillä, alempiin sosiaaliryhmiin ja moniin vähemmistöihin kuuluvilla on melko harvoin käytössä internet.

Myös Suomessa sekä kotitietokoneiden omistus että internetin käyttökokemukset riippuvat henkilön iästä ja sosioekonomisesta asemasta (taulukko 2). Tällöin verkon kautta tehtävässä tiedonkeruussa on ratkaistava tulosten edustavuuden ongelma (ks. Ronkainen 2008). Yleisten väestötutkimusten tiedonkeruussa ratkaisuna on yhdistää samaan tutkimusvaiheeseen muita tiedonkeruumenetelmiä (de Leeuw 2005). Silloin on erityisen tärkeätä ottaa huomioon mitä tuloksille tapahtuu, jos nuorilta ja ylempiin sosiaaliryhmiin kuuluvilta tiedot kerätään verkkolomakkeella, ja iäkkäiltä ja alempiin sosiaaliryhmiin kuuluvilta ne kerätään joko postikyselyä tai puhelinhaastattelua käyttäen.

Taulukko 2. Tietokoneen omistaminen 16-74-vuotiaiden kotitalouksissa vastaajan iän ja koulutuksen mukaan vuonna 2008. Prosenttia.

  Vastaajan ikä
Koulutus Yhteensä 16-29 vuotta 30-49 vuotta 50-74 vuotta
Perusaste 61 91 88 44
Keskiaste 77 95 85 56
Korkea-aste 87 100 94 79
Yhteensä 76 94 89 58

Lähde: Tieto- ja viestintätekniikan käyttö 2008. Tilastokeskus.

Internet on vielä melko uusi surveytiedon keruuväline, minkä vuoksi systemaattisia menetelmävertailuja ei ole vielä olemassa. On kuitenkin viitteitä siitä, että verkkolomakkeeseen vastaaminen muistuttaa postikyselyyn vastaamista. Yhdysvaltalaisen kokemuksen mukaan postikysely ja verkkokysely näyttävät tuottavan samanlaisia tuloksia (Dillman ym. 2009). Sen sijaan jos samassa tiedonkeruussa käytetään verkkokyselyä ja haastattelua tarvitaan paljon ymmärrystä siitä, milloin ja miksi nämä tiedonkeruumenetelmät tuottavat erilaisia vastauksia samoihin kysymyksiin.

Puhelinhaastattelun ja itse täytettävän kyselyn menetelmäerot ovat suuret. De Leeuw (1992) teki meta-analyysin 67 tutkimuksesta, ja sen mukaan postikyselyyn oli jokin verran vaikeampi saada ihmisiä vastaamaan, mutta aineiston laatu oli parempaa kuin puhelinhaastatteluissa. Eräs johdonmukaisemmista tuloksista on se, että itse täytettävällä lomakkeella vastataan avoimemmin sensitiivisiä aiheita käsitteleviin kysymyksiin. Samansuuntaisen tuloksen sain, kun vertailin postikyselyä ja puhelinhaastattelua työolobarometriin vastaamisessa (Ahola 2004).

Sivun alkuun

Menetelmät asettavat erilaisia haasteita vastaajalle

Menetelmien välisten erojen syitä voidaan jäsennellä monin tavoin. Tourangeau ym. (2000) esittävät kolme aineistojen laatuun yhteydessä olevaa tekijää: menetelmään liittyvä persoonattomuuden kokemus, menetelmän tuottama kognitiivinen rasitus ja menetelmään liittyvä legitimiteetti.

Menetelmään liittyvä persoonattomuuden kokemus erottelee itse täytettävää kyselyä ja haastattelua toisistaan. Tourangeaun ym. mukaan vastaaja ilmoittaa arkaluonteisia asioita mieluiten vastatessaan itse täytettävään lomakkeeseen. Kuuloon perustuvat menetelmät, joihin vastaaminen tapahtuu suullisesti, tuottavat vastaajalle tunteen, että muut henkilöt kuulevat vastaukset. Vastaajat ovat myös vastahakoisia tunnustamaan omaa epäonnistumistaan tai moraalista heikkouttaan vieraan haastattelijan tai muiden henkilöiden kuullen.

Kuuloon perustuva puhelinhaastattelu asettaa suurempia kognitiivisia vaatimuksia vastaajalle kuin itse täytettävään kyselyyn vastaaminen. Kun informaatio esitetään ainoastaan puhuttuna, se vaatii enemmän vastauksen muistelu- ja arviointiprosessilta. Puhelinhaastattelujen aikapula typistää vastaajan muistelun hyvin lyhyeksi ja pakottaa hänet nopeaan vastaamiseen. Vaarana on muistivirheiden lisäksi se, että vastaaja valitsee annetuista vastausvaihtoehdoista viimeksi kuulemansa.

Aineistonkeruumenetelmän legitimiteetti ja kyselyn koettu tärkeys liittyvät yhteen. Aiheen koettu tärkeys vaikuttaa siihen, kuinka perusteellisesti vastaaja prosessoi surveykysymystä. Kun kontakti tapahtuu puhelimitse, mahdollisuudet vakuuttaa vastaajalle aineiston käytön luottamuksellisuutta ovat rajatummat, mikä voi vähentää tiedonkeruun koettua oikeutusta. Silloin kun vastaaja ei pidä tutkimusta tärkeänä, hän myös paneutuu asioihin pinnallisesti. Väestön kokemuksista verkkokyselyn koetusta luottamuksesta ja tärkeydestä ei ole tutkittua tietoa.

Sillä, saavatko vastaajat surveykysymykset kirjallisesti vai puhuttuna, voi siis olla suuri vaikutus siihen, kuinka he ymmärtävät kysymykset, miten he tulkitsevat kysyjän tarkoitukset, minkälaisen prosessin kautta he muodostavat vastauksensa ja miten he tämän tulkintaprosessin jälkeen vastaavat. Tiedonkeruutilanne muodostaa tärkeän kontekstin tälle tulkintaprosessille, jolloin tuloksena olevat vastaukset voivat olla erilaisia eri tiedonkeruumenetelmiä käytettäessä. Tämä on suuri vaara aineistojen vertailtavuudelle.

Sivun alkuun

Yleisten väestötutkimusten vertailukelpoisuus koetuksella

Euroopan maita vertailevan väestötutkimuksen (The European Social Survey) aineisto kerätään nykyisin käyntihaastatteluna kaikissa maissa. Meneillään on laaja, monen vuoden tutkimusohjelma, jossa selvitetään mahdollisuutta myös muiden menetelmien käyttöön. Ohjelman viime vaiheessa on tarkoitus vertailla kahta erilaista tutkimusasetelmaa, niin sanottua peräkkäistä ja samanaikaista menettelytapaa. Ensimmäisessä haastateltava voi valita käyntihaastattelun, puhelinhaastattelun tai verkkokyselyn välillä. Toisessa asetelmassa vastaajalle tarjotaan ensin halvin menetelmä (verkkolomakkeella vastaaminen) ja vasta sen jälkeen puhelinhaastattelua tai käyntihaastattelua. Saatuja tuloksia verrataan käyntihaastatteluilla saatuihin tuloksiin. European Social Surveyn kautta saatavia tuloksia menetelmäeroista kannattaa siksi seurata huolella, jotta voidaan arvioida, millaiseen suuntaan monien menetelmien käyttö voi tutkimustuloksia viedä.

On paljon tietoa siitä, että tiedonkeruumenetelmien yhdistäminen aiheuttaa helposti mittausvirheitä. Näin tapahtuu erityisesti silloin, kun pyritään yhdistämään kuuloon ja näkemiseen perustuvia tiedonkeruumenetelmiä. Sen lisäksi, että eri menetelmät tuottavat erilaisia vastauksia samaan kysymykseen, eri väestöryhmiin kuuluvat saattavat vastata kysymyksiin eri menetelmiä käyttäen. Silloin väestöryhmien erot voivatkin olla eri menetelmien tuottamia eivätkä eroja tutkitussa ilmiössä.

Mikäli yleisen väestötutkimuksen tiedonkeruussa päädytään monien menetelmien käyttöön samassa tutkimusvaiheessa, on ensin tunnettava niiden vaikutukset, jotta ne voidaan minimoida. Silloin tarvitaan tietoa menetelmistä johtuvista eroista, voidaanko niihin vaikuttaa esimerkiksi kysymysten laadintatavalla ja kuinka mittausvirheitä tulisi mitata ja tarvittaessa korjata. Näin voidaan varmistaa, ettei monien menetelmien käyttö samassa tutkimusvaiheessa vaikuta väestöryhmien välisiin eroihin ja tulosten ajalliseen ja kansainväliseen vertailtavuuteen.

Lähteet:

Ahola, A. 1993. Menetelmäkö määrää tulokset? Puhelin- ja käyntihaastattelun eroista hyvinvointikysymyksiin vastattaessa. Sosiologia 3/1993.
Ahola, A. 1995. Haastattelutavan muutos ja terveysvastaukset. Sosiaalilääketieteellinen Aikakauslehti 3/1995.
Ahola, A. 1998. Haastattelutilanne surveyvastausten rakentajana. Teoksessa: Faktajuttu. Tilastollisen sosiaalitutkimuksen käytännöt. Toim. Seppo Paananen - Anneli Juntto - Hannele Sauli. Vastapaino, Tampere.
Ahola, A. 2004. Postikysely ja puhelinhaastattelu työolobarometriin vastaamisessa. Hyvinvointikatsaus 4/2004.
Anashensel, C. S. - Frerichs, R. R. - Clark, V. A. - Yokopenic, P.A. 1982. Measuring Depression in the Community: A Comparison of Telephone and Personal Interviews. Public Opinion Quarterly 1/1982.
Aquilino, W. S. - LoSciuto, L. A. 1990.Effects of Interview Mode on Self-Reported Drug Use. Public Opinion Quartery 3/1990.
De Leeuw, E. D. 1992. Data Quality in Mail, Telephone and Face to Face Surveys. TT-Publications, Amsterdam.
De Leeuw, E. D. 2005. To Mix or Not Mix Data Collection Modes in Surveys. Journal of Official Statistics 2/2005.
Dillman, D. A. - Smyth, J. D. - Christian. L. M. 2009. Internet, Mail and Mixed-Mode Surveys: The Tailored Design Method. 3rd ed. John Wiley & Sons Inc, New Jersey.
Laiho, J. 2007. Modelling Survey Participation in Surveys Involving Multiple Phases of Data Collection. Thesis for the degree of Doctor of Philosophy. Department of Social Statistics. University of Southampton.
Roberts, C. - Jäckle, A. - Lynn, P. 2006. Causes of Mode Effects: Separating out Interviewer and Stimulus Effects in Comparisons of Face-to-Face and Telephone Surveys. In Preceedings of the Survey Research Methods Section at the AAPOR Conference 2006.
Ronkainen, S. 2008. Otanta, edustavuus ja kadon analyysi. Teoksessa: Sähköä kyselyyn! Web-kysely tutkimuksessa ja tiedonkeruussa. Toim. Suvi Ronkainen - Anne Karjalainen. Lapin yliopiston menetelmätieteen laitoksen tutkimuksia 1. Lapin yliopistopaino, Rovaniemi.
Tourangeau, R. - Rips, L. J. - Rasinski, K. 2000. The Psychology of Survey Response. Cambridge University Press, Cambridge.
Virtanen, H. 1991. Survey on Survey. Respondent's experience about participating in the Household Income Distribution Survey. The 2nd International Workshop on Nonresponse and Survey Participation. Washington DC, USA.

Hyvinvointikatsauksen artikkeleita ja muita kirjoituksia saa siteerata lähde mainiten. Kokonaisen kirjoituksen lainaamiseen tulee saada kirjoittajan lupa. Kirjoittajat kirjoittavat omissa eivätkä Tilastokeskuksen nimissä.

Päivitetty 8.6.2009