Otantamenetelmä on surveytutkimuksen kulmakivi

  1. Otantateorian kehittäminen avasi padot
  2. Otoskehikko on todennäköisyysotannan edellytys
  3. Alipeitto ja kato heikentävät laatua
  4. Kiintiöpoiminta on kaupallisten yritysten suosima menetelmä
  5. Kadon vähentäminen sijaisvastaajia käyttäen
  6. Itsevalikoituvan otoksen pomintatodennäköisyyttä ei tunneta
  7. Otostutkimusten menetelmävaatimukset eivät ole muuttuneet

Otoskehikko on todennäköisyysotannan edellytys

Todennäköisyysotannan ydin on se, että jokaisella perusjoukkoon kuuluvalla on etukäteen laskettu todennäköisyys tulla poimituksi ja että poiminta perustuu satunnaisprosessiin. Sen vuoksi perusjoukosta pitää olla niin sanottu otoskehikko eli luettelo, josta otosyksiköt poimitaan.

Otannan luotettavuuden kannalta on tärkeintä se, että kaikki perusjoukkoon kuuluvat ovat otoskehikossa. Tarkkaan ottaen otostutkimuksen tulokset voivat koskea vain otoskehikossa olevia, ei perusjoukkoa. Jos perusjoukkoon kuuluvat eivät ole kehikossa eli kehikko on niin sanotusti alipeittävävä, siitä poimitut otokset saattavat olla pahasti harhaisia. Koska alipeitto on yleensä systemaattista, on otoksen harhaisuuden riski sitä suurempi, mitä systemaattisempaa alipeitto on tai mitä suurempi osa perusjoukosta jää kehikon ulkopuolelle.

Otostutkimuksen toinen suuri ongelma on kato eli se, että otokseen valituista ei saada tietoa. Alipeitto ja kato ovat rinnakkaisia ilmiöitä siinä mielessä, että niiden tuottama virhe johtuu havaintojen puuttumisesta.

Alipeitolla ja kadolla on kuitenkin olennainen ero. Todennäköisyysotantaa käytettäessä katotapauksista on aina jonkin verran tietoa, ja olemassa olevan tiedon avulla kadon vaikutuksia voidaan korjata. Sen sijaan alipeittoon jäävistä tapauksista ei ole lainkaan tietoa, eikä korjauksiakaan niin ollen ole mahdollista tehdä. Alipeiton suuruutta ei aina tiedetä - pahimmassa tapauksessa ei tiedetä edes sitä, onko kehikossa alipeittoa. Tämän vuoksi alipeiton laatua heikentävä vaikutus saattaa olla tuhoisampi kuin kadon.

Pohjoismaissa henkilö- tai kotitalousotosten poiminta on kattavien rekisterien ansiosta helpompaa kuin missään muualla. Lisäksi rekistereistä saadaan tietoja, joita voidaan käyttää kadon vaikutuksen korjaamiseen. Muualla otannan tekeminen on olennaisesti vaikeampaa.

Alipeitto ja kato heikentävät laatua

Otoskehikon ohella tutkijalla on oltava tieto siitä, miten vastaajat tavoitetaan. Tarpeellinen tieto riippuu tiedonkeruutavasta; esimerkiksi puhelinhaastatteluissa tarvitaan otoshenkilöiden puhelinnumerot. Aikanaan puhelimettomuus aiheutti alipeittoa puhelintutkimuksissa, mutta matkapuhelinten yleisyys korjasi tämän ongelman. Nyt onkin uutena ongelmana ylipeitto. Yhteystietojen puuttumista voidaan korjata samoilla menetelmillä kuin kadon vaikutuksia, mutta useimmiten se on systemaattisempaa kuin kato eli lähempänä alipeittoa.

Webkyselyt ovat tulleet vauhdilla surveymaailmaan nopeutensa ja halpuutensa vuoksi. Niiden ongelmana on kuitenkin alipeittävyys, joka aiheutuu kahdesta syystä. Ensinnäkin vajaalla viidenneksellä talouksista ei ole internetyhteyttä. Toiseksi vastaajien rekrytointi on vaikeaa, koska kattavaa luetteloa sähköpostiosoitteista ei ole olemassa.

Sekin on syytä pitää mielessä, että kaikki internettalouksien jäsenet eivät osaa käyttää nettiä - eivätkä kaikki osaavatkaan halua vastata webkyselyihin. Webkyselyissä otoskehikon alipeitto - tavoitettavuusongelmat huomioon ottaen - on systemaattisempaa kuin muissa menetelmissä. Sen vuoksi webkyselyjen estimoinnin harhaisuuden riski on tavanomaista suurempi. Tämän ongelman ratkaisuksi on esitetty niin sanottuja sekamenetelmiä, joissa alipeittoon jääviä vastaajia yritetään tavoittaa muilla menetelmillä.

Webkyselyiden otantaongelmia on viime aikoina pyritty ratkaisemaan laatimalla niin sanottuja internetpaneeleja. Niitä voidaan muodostaa esimerkiksi "pyydystämällä" internetin käyttäjien joukossa tai kirjeitse. Tutkimuskysely lähetetään sitten joko koko paneelille tai paneelista poimitulle satunnaisotokselle. Internetpaneelien väitetään usein olevan väestöä edustavia, mutta niihin liittyy samankaltaisia alipeitto-ongelmia kuin muihinkin webkyselyihin.

Kiintiöpoiminta on kaupallisten yritysten suosima menetelmä

Mielipidetutkimusten läpimurto tapahtui 1930 -luvulla Yhdysvalloissa, kun George Gallup perusti American Institute of Public Opinion -tutkimuslaitoksen. Laitos käytti tutkimuksissaan Gallupin kehittämää kiintiöpoimintaa. Gallupin vuonna 1936 tekemästä tutkimuksesta tuli eräänlainen vedenjakaja, koska se ennusti suhteellisen pienen otoksen perusteella presidentinvaalien voittajan oikein (Kuusela 2009).

Kiintiöpoiminnassa haastattelijat osallistuvat myös näytteen muodostamiseen. Haastattelija saa niin sanotun kiintiökortin, jossa määritellään millaisia ihmisiä hänen tulisi löytää haastateltavaksi. Haastattelijat liikkuvat ennalta määrätyillä alueilla tiettyjä reittejä pitkin, jotka on suunniteltu väestölaskennan tietojen perusteella. Näiden sääntöjen puitteissa haastattelijat saavat valita suhteellisen vapaasti haastateltavansa. Kiintiöpoiminnan tavoitteena on tuottaa osittain intuitioon perustuva väestön pienoismalli.

Kiintiöpoiminta levisi nopeasti markkinointi- ja mielipidetutkimuslaitoksiin ympäri maailman, ja se on edelleen runsaassa käytössä. Kiintiöpoiminnan suosio perustuu siihen, että otoksen muodostaminen ja tiedonkeruu on yhtenäinen prosessi. Varsinaista otoskehikkoa ei myöskään tarvita. Sen vuoksi menetelmä on hyvin helppo ja suhteellisen halpa.

Ensimmäisen galluptutkimuksen onnistumisella oli myönteinen vaikutus myös Census Bureaun johtoon (Hansen 1987). Kiintiöpoimintaa ei kuitenkaan pidetty riittävän luotettavana ja viraston imagoon sopivana menetelmänä. Epäilyä menettelyn luotettavuudesta herätti se, että haastattelijat pääsivät valitsemaan haastateltavansa.

Kiintiöpoiminnassa ei ole mahdollista soveltaa otantateoriaa, koska se ei mahdollista poimintatodennäköisyyksien määrittelyä. Julkisen hallinnon käyttämillä tiedoilla on niin suuret luotettavuusvaatimukset, että vain todennäköisyysotantaan perustuvia menetelmiä on pidetty mahdollisina.

Kadon vähentäminen sijaisvastaajia käyttäen

Kaikissa länsimaissa kato on koko ajan paheneva ongelma. Luotettavan tiedon saaminen edellyttää haastatteluja, mutta ihmisten suostumuksen saaminen vaikeutuu kaiken aikaa. Otantateoriassa kadon vaikutusten korjaamiseen ja kadon (lisääntymisen) pienentämiseksi on kehitetty monia menetelmiä.

Kadon pienentämiseksi eräät tutkimuslaitokset ovat alkaneet poimia ylisuuria otoksia - menettelyä käytetään erityisesti puhelinhaastatteluissa. Jos valittu henkilö ei vastaa puhelimeen, häntä ei yritetä tavoittaa uudelleen. Haastattelija soittaa seuraavalle, ja näin saadaan halutun kokoinen otos. Kun vaikeasti tavoitettavat vastaajat on korvattu helposti tavoitettavilla, otoksesta tulee kuitenkin melko varmasti harhainen.

Poimintaharhaa syntyy sen vuoksi, että tavoitettavuuskin on vastaajan ominaisuus. Helposti tavoitettavat ovat todennäköisesti usein kotona, kiireettömiä ja halukkaita vastaamaan. Jos samaa menettelyä sovelletaan haastattelusta kieltäytyneisiin, harha on saman tyyppistä kuin itsevalikoituvissa otoksissa. Harhan lisäksi on vaikea määritellä, mikä on kunkin vastaajan poimintatodennäköisyys.

Itsevalikoituvan otoksen pomintatodennäköisyyttä ei tunneta

Viime aikoina on alettu yhä enemmän käyttää niin kutsuttuja itsevalikoituvia otoksia. Potentiaalisille vastaajille toimitetaan pyyntö osallistua tutkimukseen, ja tutkimuksesta kiinnostuneet vastaavat. Kutsu voi olla esimerkiksi lehdessä, ilmoituksessa tai internetsivuilla. Usein internetpaneeleille lähetetään vain yleiskutsu.

Itsevalikoituviin otoksiin liittyy monia arveluttavia piirteitä. Ensinnäkin yleensä ei ole mitään keinoa määritellä, ketkä muodostavat perusjoukon, ja saivatko kaikki oletetun perusjoukon jäsenet kutsun. Osallistumis- ja vastaamisprosessia ei myöskään kyetä mitenkään kontrolloimaan.

On todennäköistä, että itsevalikoituvuus aina vinouttaa otoksia. Jos vastaaminen riippuu vain omasta kiinnostuksesta, jäävät kiinnostumattomat tutkimuksen ulkopuolelle. Yleensä itsevalikoituvaan otokseen saadaan pääasiassa sellaisia vastaajia, joilla on voimakas ja usein tunnepitoinen kanta tutkittuun asiaan - myös kiinnostumattomien mielipiteet pitäisi saada mukaan "yleiseen mielipiteeseen".

Otostutkimusten menetelmävaatimukset eivät ole muuttuneet

Nykyään halutaan tehdä otostutkimuksia, mutta tutkimuksia tehtäessä tulee noudattaa otostutkimusten perusvaatimuksia. Otoksen poiminta on otostutkimusten kriittinen vaihe, koska harhainen otos vie pohjan koko tutkimukselta. Tärkeintä on se, että otos poimitaan satunnaisesti koko tutkittavan perusjoukon sisältämästä kehikosta.

Viime aikoina on tuotettu runsaasti itsevalikoituviin otoksiin perustuvia nettikyselyjä. Nykyään on saatavilla internetiin pohjautuvia tiedonkeruupalveluita, joissa kuka tahansa voi laatia "kyselylomakkeen". Joillakin näitä palveluita tarjoavilla yrityksillä on omat paneelinsa tai näytteenmuodostusmenettelynsä.

Saamieni tietojen mukaan joitakin tällaisia tutkimuksia on tehty myös julkisessa hallinnossa, ja aika ajoin olen tukka pystyssä lukenut niistä tehtyjä johtopäätöksiä. Aina ei huomata, että uusi tiedonkeruutapa ei poista surveytutkimusten menetelmää koskevia laatuvaatimuksia.

Otostutkimusten tuloksia ei koskaan voi osoittaa oikeiksi tai vääriksi: toinen samalla metodiikalla samasta perusjoukosta poimittu otos antaa lähes varmasti eri tuloksen. Tämä niin sanottu otantavirhe on otostutkimusten keskeinen ominaisuus. Tästä syystä otannassa pitää soveltaa menetelmiä, joiden "käyttäytyminen" aina tunnetaan ja jotka on dokumentoitu riittävällä tarkkuudella.

Otostutkimusten kritiikkiin voi vastata vain osoittamalla käytetyn otantamenetelmän pätevyyden. Asian voi ilmaista myös toisinpäin: vain sellaisten tutkimusten tuloksiin kannattaa uskoa, jotka on tehty luotettavia menetelmiä käyttäen.

Lähteet:

Desrosières, A. 1998.The Politics of Large Numbers. A History of Statistical Reasoning. Harvard University Press.
Hansen, M. 1987. Some History and Reminiscences on Survey Sampling. Statistical Science 2/1987.
Kiaer, A. N. 1895. Observations et expériences concernant des dénombrements représentatives. Bulletin of the International Statistical Institute XII/1895.
Kuusela, V. 2009. Suuri lama teki työvoimatutkimuksesta otostutkimusten edelläkävijän. Hyvinvointikatsaus 1/2009.

Hyvinvointikatsauksen artikkeleita ja muita kirjoituksia saa siteerata lähde mainiten. Kokonaisen kirjoituksen lainaamiseen tulee saada kirjoittajan lupa. Kirjoittajat kirjoittavat omissa eivätkä Tilastokeskuksen nimissä.

Päivitetty 14.12.2009