Määrällisen arviointiaineiston analysointi
Jos videota ei näy, voit katsoa sen myös täältä.
Määrällisen arviointiaineiston analysoinnilla tarkoitetaan esimerkiksi kyselyiden asteikko- ja monivalintakysymysten ja seurantatilastojen järjestelmällistä läpikäymistä, tulosten yhteen vetämistä sekä johtopäätösten tekemistä niiden perusteella. Analysoidessa kuvataan, mitä kerätty tieto on, miksi palaute on sellaista kuin on ja mitä saatu tieto merkitsee toiminnan kehittämisen kannalta.
Kerättyä tietoa voidaan tarkastella erilaisista näkökulmista. Ennen analyysiin ryhtymistä on hyvä tarkentaa, mitä vastauksia kerätystä tiedosta on tarkoitus saada irti. Tiedon tarpeet voi olla esimerkiksi:
- Kuinka paljon osallistujat hyötyivät toiminnasta?
- Minkälaiset keinot ja menetelmät tuottavat eniten muutosta hyvinvoinnissa?
- Kuinka hyvin määrällisiin tavoitteisiin päästiin?
- Millaisia eroja tuloksellisuudessa on erilaisten vastaajaryhmien välillä?
- Kuinka suuri muutos tuloksissa on alku- ja loppumittauksen välillä?
Sähköisistä kyselytyökaluista saa useimmiten ajettua ulos valmiin yhteenvedon tuloksista. Ohjelmat tuottavat vastausjakaumia ja keskiarvoja taulukkomuotoisina tai kaaviokuvina. Jos palaute on kerätty paperisella lomakkeella, kirjoitetaan vastaukset Excel- taulukkoon kysymys kysymykseltä kunkin vastaajan osalta. Sen jälkeen tehdään keskiarvo- ja vastausjakaumalaskelmat.
Keskiarvot
Tyypillisin tapa esittää kyselyiden asteikkokysymyksiin perustuvaa aineistoa on keskiarvot. Keskiarvojen avulla saat helposti vertailtavaa tietoa; missä on onnistuttu parhaiten, missä heikoimmin, ja millaista kehitystä eri mittausten välillä on tapahtunut. Keskiarvoille voi asettaa tavoitetason, ja siihen peilaten arvioida, onko tavoitteeseen päästy. Myös heikko keskiarvo voi olla hyvä, sillä tulkinta riippuu tavoitetasosta. Joissain toiminnoissa pienikin myönteinen kehitys ja aiempaa parempi keskiarvo voi olla hyvä tavoitetaso. Tavoitetason voi asettaa luotettavimmin, kun toiminta on jatkunut jo jonkin aikaa ja on kokemusta aiemmista tuloksista.
Jos asteikkokysymyksessä käyttää ”en osaa sanoa” -vaihtoehtoa, tulee muistaa, ettei sitä lasketa mukaan keskiarvoon. Ne vastaukset on raportoitava erikseen. Jos ”en osaa sanoa” -vastauksia on huomattava määrä, on tämäkin tärkeä havainto, joka on syytä käsitellä ja tuoda esiin toiminnan ja tulosten arvioinnissa. En osaa sanoa -vaihtoehto kannattaa pitää erillään vastausasteikosta eli sitä ei sijoiteta asteikon keskimmäiseksi vaihtoehdoksi.
Yleisarvosanat
- Yleisarvosana yksittäiselle toiminnalle, esim. tapahtumalle, voidaan määritellä yleistä tyytyväisyyttä mittaavalla arviointiasteikollisella kysymyksellä. Yleisarvosana saadaan myös laskemalla useampien kysymysten saamien keskiarvojen keskiarvo. Keskiarvoja esitettäessä tulee mainita arviointiasteikko. Esim. Yleisarvosanaksi tapahtumasta saatiin keskiarvo 3,5 (asteikolla 1- 4).
- Yleisarvosana koko toimintamuodolle, esim. tapahtumille tai koulutuksille kokonaisuutena, voidaan määritellä laskelmalla kaikkien tapahtumien tai koulutusten yleisarvosanojen keskiarvo
“Osallistujat kokivat saaneensa tapahtumasta varsin hyvin mielialaa kohentavaa sisältöä (ka 3,6).”
“Toiminnalla onnistuttiin lisäämään osallistujien arjen jaksamista. Osallistujien vastausten keskiarvo väittämälle “Minulla on käytössäni jaksamista tukevia menetelmiä” oli kurssin alussa 2,1, ja kurssin lopussa 3,7.”
“Kohtaamispaikassa oli päivittäin keskimäärin 15 kävijää.”
”Tyytyväisyys tapahtuman sisältöön on laskenut (ka 2,9), mikä pyritään jatkossa huomioimaan tapahtumien järjestämisessä.”
Keskiarvojen tulkintaa
- Keskiarvo 3,5-4 (asteikko 1-4) on oikein hyvä ja näin korkean keskiarvon saaneita asioita voidaan kuvata esim. sanoin ”osallistujat ovat olleet yleisesti tyytyväisiä…” tai ”erityisen hyväksi on koettu se, että…”
- Keskiarvo 3,0-3,4 on melko hyvä ja näitä tuloksia voidaan kuvata esim. sanoin ”osallistujat ovat olleet yleisesti melko tyytyväisiä…” tai ”yleisesti on koettu hyväksi se, että…”
- Keskiarvo 2,5-2,9 on kohtalaisen hyvä. Tulos kertoo, että suurelta osin vastaajat ovat olleet tyytyväisiä toimintaan, mutta myös kielteistä palautetta on esiintynyt jossain määrin, mihin kannattaa myös kiinnittää huomiota.
- Keskiarvo 2,0-2,4 on melko heikko ja voi tuoda esille keskeisiä kehittämiskohtia. Sitä matalammat arvosanat ovat harvinaisia ja heikkoja.
- Jos ”en osaa sanoa” -vastauksia on paljon tai suuri osa on jättänyt vastaamatta kysymykseen, on se tärkeä havainto ja syytä tuoda esille tuloksissa. ”En osaa sanoa” -vastausvaihtoehto jätetään se pois keskiarvolaskennasta. Se kannattaa pitää erillään vastausasteikosta eli sitä ei sijoiteta asteikon keskimmäiseksi vaihtoehdoksi.
Suorat vastausjakaumat
Kyselytulokset voi esittää lisäksi suorina jakaumina. Suora jakauma kertoo, kuinka suuri osa vastaajista antoi väittämälle minkäkin arvon. Voit käyttää vastaajien määrää sellaisenaan tai muuttaa sen prosenttiosuudeksi. Suora jakauma antaa enemmän tietoa kuin keskiarvo, mutta on toisaalta sen vuoksi vaikeammin hahmotettavissa. Kun vastaukset esitetään suorina jakaumina, nähdään myös, paljonko vastaajien mielipiteissä on hajontaa.
Alle 30 vastaajan joukoissa vastausjakaumat on hyvä ilmaista lukumäärinä, joskus myös murtolukuina. Yli 30 vastaajan vastausjakaumat voi esitellä prosenttilukuina vastaajamäärästä.
Pienten aineistojen ollessa kyseessä on hyvä muistaa 30 vastaajan nyrkkisääntö: sitä pienemmistä aineistoista ei ole tarkoituksenmukaista esittää enää osuuksia prosentteina. Tällöin kannattaa esittää tulokset yksinkertaisesti lukumäärinä: esim. ”12 vastaajaa 18:sta oli sitä mieltä, että…” Hahmottamista saattaa helpottaa myös osuuksien ilmoittaminen murtolukuina silloin kun se on mahdollista. Esim. ”Kolme neljäsosaa vastaajista piti toimintaa erittäin tärkeänä”.
Muutamien vastaajien joukosta ei kerrota vastausjakaumia, jotta vastaajia ei tunnistettaisi, vaan tulkitaan tuloksia keskiarvoina tai muulla tavoin sanallisesti
Raportoinnissa voidaan tarkastella ensin, missä asioissa on eniten tai suurin osa hyötyä saaneita Väittämämuotoisissa kysymyksissä tarkastellaan, kuinka suuri osa vastaajista on ollut samaa mieltä väittämän kanssa. Samalla voidaan tarkastella myös jokseenkin samaa mieltä olevien osuutta. Voidaan ilmaista esimerkiksi, että ”Useimmat osallistujat ovat kokeneet tilaisuuden mielenkiintoiseksi. Tätä mieltä oli 80 % vastaajista. Kaikkiaan 96 % vastaajista koki tilaisuuden vähintään melko mielenkiintoiseksi.”
On myös syytä tuoda esille, millaisissa asioissa esiintyy eniten tyytymättömyyttä tai ei ole päästy tavoitteisiin eli eri mieltä tai jokseenkin eri mieltä olevien vastaajien osuus on merkittävän suuri
“80 % chat-palveluun yhteyttä ottaneista koki saaneensa vähintään jonkin verran helpotusta ahdistuneisuuden tunteelleen.”
“12 vastaajaa 18:sta oli vähintään jokseenkin samaa mieltä siitä, että toiminta lisäsi heidän varmuuttaan sosiaalisissa tilanteissa.”
“Vertaisryhmiin osallistuneista kaksi kolmasosaa ohjautui toimintaan sosiaaliohjaajan kautta, ja yksi kolmasosa tutun suosittelemana.”
Vastausjakaumien esittäminen sanallisesti
Vastausjakaumia voi esittää myös sanallisesti. Ota huomioon, että rahoittaja kuitenkin usein edellyttää tarkkojen määrien raportointia.
- yli 80 % vastaajista: valtaosa/suurin osa vastaajista
- yli 70 % vastaajista: useimmat vastaajat
- 65 % vastaajista: kaksi kolmasosaa vastaajista
- 50 % vastaajista: puolet vastaajista, joka toinen vastaaja
- noin 33 % vastaajista: kolmasosa vastaajista, joka kolmas vastaaja
- noin 25 % vastaajista: joka neljäs vastaaja
- noin 20 % vastaajista: joka viides vastaaja
- noin 17 % vastaajista: joka kuudes vastaaja –
- alle 10 % vastaajista: muutamat, pieni osa vastaajista, vastauksissa tuli jonkin verran esille
Tulosten esittäminen
Tuloksista ovat yleensä kiinnostuneet ainakin rahoittaja, henkilöstö itse, ja eri yhteistyökumppanit. Saaduista tuloksista on hyvä poimia eri ryhmiä kiinnostavat avaintiedot heille sopivassa muodossa; rahoittajaraportointiin ja esimerkiksi somejulkaisuun tuloksia esitetään yleensä erilaisilla painotuksilla ja tarkkuudella. Rahoittajalla on yleensä omat ohjeet tulosten esittämiseen ja raportointiin.
Kyselylomakkeen valinta-, monivalinta- ja väittämä -tyyppiset kysymykset raportoidaan yleensä numeerisesti. Vastaukset kysymyksiin, joissa on annettu vastausvaihtoehdot asteikkona (täysin samaa mieltä, jokseenkin samaa mieltä jne.) voi myös esittää kuvioina, jolloin tuloksista saa käsityksen yhdellä vilkaisulla. Lue lisää kuvioiden tekemisestä täällä. Sähköiset kyselytyökalut antavat raporteissaan valmiita kuvioita, mutta niitä voi tehdä myös erikseen esim. verkosta löytyvillä visuaalisilla työkaluilla.
Pyri esittämään tulokset tiiviisti ja niin, että olennainen ja tärkein tulos tai lukema tulee selkeästi esiin. Muutoksen laajuuden saa parhaiten esiin esittämällä tuloksen yhteydessä vertailun alkumittaukseen tai esim. edellisvuoden vastaaviin tuloksiin. Tuloksia esitellessäsi muista kertoa, mitä on kysytty, miten ja keneltä tietoa on kerätty, ja kuinka paljon vastauksia on saatu.
