Julkaistu: 23.2.2015
En osaa sanoa -vastaaminen verkkokyselyissä
- Kysymystyyppi vaikuttaa eos-vastausten mielekkyyteen
- Vastaajan motivointi ja lomakkeen vuorovaikutteisuus pienentää vastauskatoa
- Eos-vastaamiselle on monia syitä
- Menetelmällä on merkitystä
- Eos-vastaamista tutkittiin työvoimatutkimuksen pilottitiedonkeruussa
- Piilotettu eos vähentää puuttuvien tietojen määrää
- Eos-vastaamisstrategia valitaan lomakesuunnittelussa
- Lähteet
Koko dokumentti yhdellä sivulla
Piilotettu eos vähentää puuttuvien tietojen määrää
Lomakkeen ymmärrettävyyttä ja käytettävyyttä testattiin marraskuun 2012 ja maaliskuun 2013 välisenä aikana. Testikierroksia oli neljä ja niihin osallistui kaikkiaan 28 henkilöä. Testaus toteutettiin siten, että vastaajaa pyydettiin täyttämään lomake itsenäisesti tietokoneella. Tutkija havainnoi vieressä lomakkeen täyttämistä ja lopuksi käytiin keskustelua lomakkeen toimivuudesta, tiettyjen käsitteiden ymmärrettävyydestä sekä lomakkeen täyttämisen aikana mahdollisesti havaituista ongelmista. Testitilanteessa myös ohjeistettiin vastaajia kertomaan, jos vastaamisen aikana lomakkeessa ilmeni jotakin epäselvää tai heillä oli muuten hankaluuksia vastata kysymyksiin.
Testihaastatteluiden perusteella "piilotetun" eos:n ratkaisu todettiin periaatteessa hyvin toimivaksi: Vastaajat eivät juurikaan kaivanneet eos-vaihtoehtoa. Vain muutama vastaaja yritti ohittaa joitakin kysymyksiä vastaamatta ja tällöin he saivat näkyviin eos-vaihtoehdon.
Testauksessa saatujen kokemusten tueksi eos-vastaamista haluttiin selvittää laajemmin. Verkossa toteutettuun pilottitiedonkeruuseen lisättiin eos-vaihtoehdon esittämistapaa vaihteleva koeasetelma, jolla haluttiin tutkia tarkemmin eos-vastaamisessa syntyviä eroja.
Testattu lomake vietiin pilotin toisessa vaiheessa verkkoon. Työvoimatutkimuksen pilotin tiedot kerättiin lokakuussa 2013. Vastausasteeksi saatiin 30 prosenttia (n=2 366), mitä voidaan pitää melko hyvänä ja riittävänä tulosten analyysin kannalta.
Menetelmävaikutusten analysoimiseksi pilottiin oli luotu koeasetelma, jonka tarkoituksena oli tarjota välineitä eos-vastaamisen ymmärtämiseen ja ennustamiseen. Pilotissa kerättiin kaksi osa-aineistoa (A- ja B-lomake) ja vertailuaineistona käytettiin ajankohdaltaan ja tutkimusviikoiltaan yhdenmukaista työvoimatutkimuksen puhelinhaastatteluaineistoa (jatkossa tyti-aineisto).
Pilotissa oltiin erityisen kiinnostuneita siitä, tuottaako koeasetelma aineistoihin erilaiset eos-jakaumat ja jos eroja syntyy, missä kysymyksissä. Vastaajista puolet sai täytettäväkseen lomakkeen, jossa eos-vaihtoehto oli näkyvissä (A-lomake) ja puolet vastaajista sai vastatakseen B-lomakkeen, jossa eos oli piilotettu. Jälkimmäisessä tapauksessa vastaaja saattoi valita eos-vaihtoehdon sen sijaan, että olisi saattanut jättää kokonaan vastaamatta (mikä ei lomakkeella ollut mahdollista).
Tutkimusasetelma A- ja B-lomakkeiden välillä tuotti ennakko-oletusten mukaisen eos-vastaamisprofiilin osa-aineistojen välille. Valtaosa eos-vastauksista saatiin A-lomakkeelta, jossa eos-vaihtoehto oli esillä. Tämä tulos tukee edellä esiteltyjä esimerkkitapauksia, joissa tarjolla oleva eos-vastausvaihtoehto valitaan selvästi useammin kuin muulla tavoin esitetty. B-lomakkeella vastanneiden kesken eos-vastaamista esiintyi sen sijaan vain vähän tai ei lainkaan lukuun ottamatta kahta kysymystä, joissa osa-aineistojen välillä ei ollut eroa. Tämä tulos puolestaan tukee myös muualla saatuja kokemuksia siitä, että piilotettu eos vähentää puuttuvan tiedon määrää. Näin aitoja vastauksia saadaan enemmän.
Keskeisimmät erot A- ja B-lomakkeiden välillä liittyivät työvoimatutkimuksen kahteen sisällölliseen pääteemaan: vastaajan työmotivaatiota ja päätyön luonnetta kuvaaviin kysymyksiin, joissa kummassakin oli kolme kysymystä (ks. tietolaatikko). Vastaajan työmotivaatiota koskevissa kysymyksissä erot eos-vastaamisessa olivat tilastollisesti erittäin merkitseviä, kun taas päätyön luonnetta koskevista kysymyksistä kahdessa syntyi joko tilastollisesti merkitsevä tai erittäin merkitsevä ero. Tulos on merkittävä koeasetelman valossa, vaikka kysymyskohtaiset prosentuaaliset eos-vastausosuudet eivät olleet kovin korkeita.
Päivitetty 23.2.2015