Onnistunut tiedon kerääminen perustuu huolellisesti tehtyyn arviointisuunnitelmaan. Tiedon keräämistä valmistellessa on hyvä olla selvillä, mihin tarkoitukseen tietoa kerätään, mitä tiedon avulla halutaan selvittää, ja millaisia mittareita toiminnalle on asetettu. Sen jälkeen voidaan suunnitella konkreettisesti millä menetelmillä, milloin ja keneltä tieto kerätään.
Tiedonkeruumenetelmien valinta
Tiedonkeruumenetelmien valintaan vaikuttavat ainakin arviointikysymykset, toiminnan luonne ja kohderyhmään liittyvät kysymykset. Esimerkiksi kurssimuotoisessa ryhmätoiminnassa, jossa on selkeä alku ja loppu, voi kerätä alku- ja loppupalautetta. Aina tämä ei kuitenkaan ole mahdollista, jolloin perustellumpaa on kerätä perinteinen loppupalaute esimerkiksi kyselylomakkeella. Toiminnassa, jossa vaihtuvuus on suurta, palautteenkeruu voidaan järjestää toimintaan sidottuna jatkuvana keruuna esimerkiksi pikakyselyiden muodossa.
Joskus kohderyhmä tavoitetaan vain kertaluontoisesti ja anonyymisti, jolloin voidaan miettiä havainnoinnin mahdollisuutta. Haastattelut sopivat tilanteisiin, joissa kirjallista tietoa on vaikea saada, tai halutaan saada syvällisempiä näkökulmia. Jos on perusteltua kerätä tietoa validoitujen mittareiden avulla, tulee noudattaa niihin liittyviä ohjeistuksia. Osallistavat menetelmät ja kuvien käyttö sopivat esimerkiksi tilanteisiin, joissa kirjallista tietoa saadaan niukasti. Itsearvioinnista saadaan tietoa toiminnan kehittämisen pohjaksi, mutta myös näkökulmia tuloksellisuuteen.
Mieti tiedonkeruumenetelmiä valitessasi
- Arviointikysymykset ja mittarit
Mihin asioihin tiedon avulla halutaan saada vastaus?
- Toiminnan luonne
Onko toiminta lyhyt- vai pitkäkestoista? Onko osallistuminen kertaluontoista vai jatkuvaa? Milloin on luontevaa kerätä tietoa?
- Vastaajiin liittyvät tekijät
Onko osallistuminen anonyymia, vai tavoitetaanko osallistujat myös toiminnan päättymisen jälkeen? Millaiset menetelmät sopivat parhaiten kohderyhmälle? Jos kohderyhmältä itseltään on vaikea saada tietoa, voidaanko sitä saada läheiseltä tai ammattilaiselta?
Kerätyn tiedon määrä
Kerätyn tiedon perusteella pitäisi pystyä vastaamaan asetettuihin arviointikysymyksiin. Missä onnistuttiin, entä missä on vielä kehittämistä? Mitä useammalta toimintaan osallistuneelta henkilöltä tietoa saadaan, sitä kattavampi kuva toiminnasta arvioinnin pohjana on. Jos tiedonkeruu jää liian kevyeksi, on vaikea tehdä johtopäätöksiä toiminnan kehittämiseksi.
On kuitenkin tärkeää suunnitella tiedonkeruu niin, että se on vastaajan näkökulmasta kohtuullista, sillä jatkuva pitkiin kyselyihin vastaaminen on kuormittavaa. Ei ole myöskään perusteltua kerätä tietoa mahdollisimman usealta taholta vain “varmuuden vuoksi”. Tiedonkeruu tulee myös olla toteutettavissa järjestön olemassa olevilla resursseilla. Tiedonkeruu voidaan järjestää vastaajan kannalta kevyestikin, kunhan kysyttävät asiat on rajattu ja mietitty tarkasti. Esimerkiksi kysymyslomaketta laatiessa on hyvä pohtia, kuinka paljon kysymyksiä taustatiedoista todella tarvitaan.
Mieti tiedon määrän osalta:
- miten tiedonkeruu voidaan järjestää vastaajan kannalta kevyeksi niin, että tietoa saadaan riittävästi tulosten
- milloin tarvitaan tarkempaa ja jatkuvaa seurantaa ja tiedonkeruuta, milloin taas riittää kertaluontoisempi kartoitus?
Tietoa voi joskus kerätä myös otoksena. Otos on pienempi määrä vastaajia, joka edustaa osallistujien kokonaisjoukkoa. Otosta voi hyödyntää esimerkiksi silloin, jos kaikkia osallistujia on mahdotonta tavoittaa, tai resurssit aineiston keräämiseen kaikilta eivät ole riittävät.
Tiedon keräämisen ajankohta
Osallistujat tavoitetaan useimmiten parhaiten antamaan palautetta jo toiminnan aikana, tai pian sen päätyttyä. Myös havainnointi ja sen dokumentointi tehdään lähellä toimintaa. Kun tiedon kerääminen sidotaan osaksi toimintaa, se voi innostaa vastaamaan ja vaikuttamaan toiminnan toteutukseen. Määrällisiä lukuja on hyvä kerätä ja seurata mahdollisimman reaaliaikaisesti.
Harvemmin, esimerkiksi kerran vuodessa lähetettävillä kyselyillä kannattaa kerätä tietoa sellaisista asioista, joista on helppo antaa palautetta ajankohdasta riippumatta. Tällaisia aiheita ovat esimerkiksi viestinnän tai vaikuttamistoiminnan onnistuminen. Myös itsearviointia voi tehdä harvemmin, tyypillisimmin silloin, on kerätty riittävästi materiaalia kohderyhmiltä itsearviointityöskentelyn pohjaksi.
Aloitus- ja lopetusmittauksella päästään kiinni osallistujan lähtö- ja päätöstilanteen välillä tapahtuneeseen muutokseen. Kun halutaan tietoa pidempikestoisista vaikutuksista, voidaan esimerkiksi kolmen tai kuuden kuukauden jälkeen toiminnan päättymisestä tehdä seurantakysely.
Alku- ja loppumittaus
Kohderyhmän kokemia hyötyjä kysytään usein loppupalautteena toiminnan päättyessä. Tapahtunutta muutosta voidaan tarkastella myös tekemällä osallistujille alku- ja loppumittaus. Tällöin osallistujilta kerätään heidän sen hetkistä tilannettaan kuvaava tieto sekä alussa että lopussa. Alku- ja loppukyselyiden tietoja vertaamalla saadaan esiin, kuinka suurta muutosta toimintaan osallistuminen on vastaajassa saanut aikaan.
Huomioi alku- ja loppumittausta toteuttaessasi, että kyselyiden tieto tulee voida kerätä samoilta ihmisiltä. Muutosta ei voida osoittaa, jos alkukyselyyn vastanneita ihmisiä ei tavoiteta vastaamaan loppukyselyyn. Sen sijaan ryhmä- ja kurssitoiminnassa, koulutuksissa sekä erilaisissa tuki- ja ohjausprosesseissa alku- ja loppukyselyt voivat olla toimiva tapa kerätä tietoa muutoksesta. Lue tarkemmin alku- ja loppukyselyiden ja seurantakyselyiden tekemisestä Kyselyt-sivulta.
Keskeisiä aiheita palautetta kerättäessä
- Vastaajan taustatiedot – niiltä osin kuin tarpeen
- Toiminnan sisältö ja toteutus: Kuinka toiminta ja valitut toimintamuodot ovat onnistuneet?
- Toiminnan tulokset: Mitä hyötyä toiminnasta on? Ovatko oletetut tulokset toteutuneet? Toiminnasta voi kerätä monenlaista tietoa, mutta arviot toiminnan hyödyistä ovat erityisen tärkeitä tulosten osoittamiseksi sekä toiminnan kehittämiseksi. Tällöin on tärkeää kerätä tietoa osallistujien omista kokemuksista.
- Toiminnan kehittämistarpeet
Viestinnän tiedonkeruu
Viestinnän osalta määrällistä ja laadullista tietoa kerätään niiden asioiden toteutumisesta, joita viestinnässä tavoitellaan. Lue lisää viestinnän arvioinnista täällä. Esimerkkejä eri viestintäkanaviin liittyvistä tiedon keräämisen tavoista löytyy alta.
Sosiaalinen media ja verkkosivut
- Analytiikkatyökalut mm. reagointien, vuorovaikutuksen, sitoutumisen, kattavuuden ja kävijäliikenteen seurantaan. Somen kyselytyökalut ja verkkosivujen palautekyselyt
Uutis-/jäsenkirje
- Uutiskirjeen oman analytiikan hyödyntäminen kirjeen tilaajamäärien kehityksen ja linkkien klikkausten seurantaan. Palautekyselyn lisääminen jäsenkirjeeseen.
Jäsenlehti
- Tilaajamäärien kehityksen seuranta ja palautteen kysyminen. Lehden toimituskunnan tekemä itsearviointi.
Tapahtumat
- Kävijämäärän ja jaetun materiaalin määrien seuranta. Palautteen kysyminen paikan päällä verkkokyselyillä, tai esim. kysymyksen lisääminen ohjelmaan liittyvään tehtäväkorttiin, jota osallistujat täyttävät päivän aikana.
Mediaseuranta
- Järjestöä, kampanjaa jne. koskevat maininnat mediassa
