Mitä on arviointitutkimus?

Arvioinnin tehtävä on kysellä, analysoida ja toimia muutosvoimana työn kehittämiseksi. Tutkimuksen siitä tekee suunnitelmallinen ja tavoitteellinen tutkimusprosessi, joka myös dokumentoidaan siten, että jälkikäteen on tarkisteltavissa prosessin luotettavuus ja tarkoituksenmukaisuus. Tutkimuksellisuus tekee arviointitiedosta luotettavaa ja merkityksellistä muidenkin kuin vain arviointiin osallistuneiden silmissä. (Kivipelto 2008, Gothoni 2015.)

Arvioinnin paikka tutkimuksen kentässä on usein epäselvä ja arviointitutkimuksen metodeista käydään keskustelua. Kivipelto (2008) kirjoittaa, että arvioinnissa on erilaisia suuntauksia, kuten empiirinen-, realistinen-, tulkinnallinen ja osallistava-, kriittinen- ja pragmaattinen arviointi. Rajat eivät kuitenkaan ole selviä. Empiirinen arviointi keskittyy vaikutuksiin ja mitattavuuteen. Realistinen arviointi analysoi lisäksi prosesseja ja kontekstia. Toiminnallisessa ja osallistavassa arvioinnissa ollaan kiinnostuneita kokemuksista ja toiminnan kokonaisuudesta ja ollaan valmiita muuttamaan interventioita. Myös kriittisessä arvioinnissa kiinnitetään huomio kokonaisuuteen, mutta kriittinen teoria ohjaa menetelmän valintaa. Pragmaattinen arviointi mahdollistaa erilaisen tiedonkäsityksen mukaisen arvioinnin.

Arviointitutkimuksen hyödynnettävyys kasvaa, kun kaikki osalliset ovat saaneet vaikuttaa sekä arviointiprosessiin että lopputulokseen. Arviointitutkimuksen onnistumisen kivijalka on osapuolten keskinäinen luottamus. Johtopäätökset edellyttävät kriittisyyttä ja rehellisyyttä. Hyvän tutkimustavan mukaan arvioinnin aineiston analyysin tulee kuvata prosessia ja tuloksia mahdollisimman monipuolisesti. Ongelmallista on, jos arviointi muuttuu arvosteluksi tai jos arvioinnilla halutaan miellyttää tilaajatahoa tuomalla esiin vain myönteiset tulokset. Arvioija on aina vallan käyttäjä, ja joutuu pohtimaan eettisiä kysymyksiä arviointia tehdessään. (Gothoni 2015.)

Lähteet:

Gothóni, Raili (2015). Arviointi osana tutkivaa kehittämistä. Teoksessa Gothoni, Raili & Hyväri, Susanna & Kolkka, Marjo & Vuokila-Oikkonen, Päivi (2015). Osallisuutta, oppimista ja arviointia. Diakonia-ammattikorkeakoulun TKI-toiminnan vuosikirja 2015. 285-295. http://www.theseus.fi/bitstream/handle/10024/87751/DiakB%2060_vuosikirja1.pdf?sequence=1

Kivipelto, M. 2008. Osallistava ja valtaistava arviointi. Helsinki: Stakes.

kirjoittanut Elina Reentie

Lapset päivähoidon ja varhaiskasvatuksen arvioijina

Päivähoito ja varhaiskasvatus lapsen silmin

  • Tutkimus toteutettiin valmisteilla olevaa uutta varhaiskasvatuslakia työstävän työryhmän tueksi.
  • Tarkoituksena saada kuuluviin lapsen ääni: Lasten mielipiteisiin ja tulkintoihin paneutuminen voi tarjota aikuisille ja päätöksentekoon uusia oivalluksia siitä, mitä lasten elämä on ja millaisia merkityksiä lapset sille antavat.
  • Pyritään myös kehittämään lasten vaikutusmahdollisuuksia varhaiskasvatuksen arkeen ja ympäristöön.
  • Lasten arviointiin sovellettiin ns. Mosaiikki-menetelmää (Mosaic approach), jossa muun muassa visuaalisin ja keskustelun menetelmin pyritään kuulemaan lasten näkemyksiä.
  • Aineistoa pyrittiin hankkimaan eri puolilta Suomea ja erilaisissa päivähoidon muodoista.
  • Osallistujat 2–6-vuotiaita lapsia: Tutkimusaineisto käsittää lähes 200 valokuvaa ja 24 keskustelua, joihin osallistui 48 lasta.
  • Lapsia pyydettiin ottamaan pareittain kuvia 1) sellaisista päivähoidon paikoista, tiloista tai asioista, jotka ovat heille mieluisia, 2) sellaisista paikoista tai asioista, joista he eivät pidä. Lisäksi he ottivat kuvia 3) seikoista tai paikoista, jotka ovat heidän mielestään jostain muusta syystä tärkeitä.

lapset1

  • Kuvista juttelemisen lisäksi lasten kanssa keskusteltiin siitä, miksi he ajattelevat olevansa hoidossa, mikä ero on kotona ja hoidossa olemisessa, mikä aikuis(t)en toiminnassa on heidän mielestään tärkeää hoitopaikassa ja miten hoitopaikkaa tai sen toimintaa voisi parantaa/muuttaa.

lapset3

 

lapset2

  • Tutkimuksen tuloksia:

”Tutkimukseen osallistuneille lapsille näytti olevan melko vaivatonta ymmärtää, että päivähoidolla tai varhaiskasvatuksella on monia tehtäviä. Päivähoidon tai varhaiskasvatuksen työvoimapoliittinen tehtävä oli heille itsestään selvä asia. Tämä tuli esille erityisesti perhepäivähoitoon tai päiväkotiin tulemisen perusteluissa. Kun päiväkodissa tai perhepäivähoidossa sitten oltiin, tarkastelu suuntautui päivähoitoon ja varhaiskasvatukseen lapsille suunnattuna toimintana. Tässä yhteydessä kaverisuhteet, leikki ja aktiivinen toiminta nousivat esille.”

”Lapsille ei tutkimuksen tulosten perusteella näytä olevan yhdentekevää, millainen paikka perhepäivähoito tai päiväkoti on. Päivähoitopäivä näyttäytyy heille ennen kaikkea toiminnan mahdollisuuksina tai rajoituksina. Tiloja ja paikkoja kuvatessaan lapset nostivatkin kritiikkinä esille tilojen ahtauden ja likaisuuden sekä sen, miten ne estävät toimintaa. He toivoivat kaunista ja toiminnallisia mahdollisuuksia tarjoavaa ympäristöä. Tämä asettaa selviä vaateita lasten toiminta- ja oppimisympäristöjen kehittämiselle. ”

 

Kirjoittanut: Anni Nokso-Koivisto

Lähde: Alasuutari, M. ja Karila, K. 2014. Päivähoito ja varhaiskasvatus lasten silmin. Raportti varhaiskasvatusta koskevaa lainsäädäntöä valmistelevan työryhmän tueksi. Teoksessa Alasuutari, M., Alila, K., Eskelinen, M. & Karila, K. 2014. Vaikuta varhaiskasvatukseen. Lasten ja vanhempien kuuleminen osana varhaiskasvatuksen lainsäädäntöprosessia Opetus- ja kulttuuriministeriön työryhmämuistioita ja selvityksiä 2014:13, 63-88.

Asiakaslähtöinen arviointi lastensuojelun tukitoimena sijoittettujen lasten vanhempien näkökulmasta

Asiakaslähtöisessä arvioinnissa tärkeässä keskiössä on asiakkaiden mielipiteet ja kokemukset käyttämistään palveluista. Asiakkaiden antamat palautteet antavat lastensuojelussa tärkeää tieto työn vaikuttavuudesta ja asiakaslähtöisyyden toteutumisesta. Hämeenlinnan lastensuojelun asiakasprossessin kehittäminen on Eija Luodeksen (2007) pro gradu -tutkielmassa ”Asiakaslähtöisyys lastensuojelun avohuollon moniammatillisessa yhteistyössä – kertojina päivähoitoon lastesuojelun tukitoimena sijoitettujen lasten vanhemmat” tutkimuskohteena. Moniammatillisuudessa korostuu yhteiset suuntaviivat, toimintatavat sekä palveluiden kehittäminen asiakkaiden kokemuksien kautta (kokemusasiantuntijuus).  Tutkimuksessa moniammatillinen yhteistyö piti sisällään Hämeenlinnan lastensuojelun, sosiaalitoimen ja päiväkodin työntekijöiden välisen yhteistyön. Lastensuojelun avohuollon asiakastyön periaate on yhteistyö asiakkaan kanssa. Avohuollon lastensuojelun asiakassuhde ei  tule rakentua asiakkaan tahdonvastaikseksi yhteistyöksi, vaan avoimeen ja vuorovaikutukselliseen keskusteluun työntekijän ja asiakkaan välillä niiden pohjalta suunniteltuihin sopiviin asiakkaan tukipalveluihin. (Luode 2007, 2, 8 )

Tutkimuksessa nousee esille, että asiakasperheiden vanhempien subjektiiviset mielipiteet ovat asiakaslähtöisestä toteutumisesta palveluiden kannalta oleellisia. Luodeksen tutkimus on kvalititiivinen tutkimus, jonka hän toteutetti teemahaastatteluna puolistruktutoiduilla kysymyksillä. Haastattelu toteutettiin Hämeenlinnan avohuollon piirissä olevien perheille, jotka ovat päivähoidon lastensuojelun avohuollon tukitoimena sijoitettujen lasten vanhempia. (Luodes 2007, 30 ) Tutkimuksessa esiin nousee, että haastatellut asiakkaat olivat tyytyväisiä saamiinsa palveluihin, mutta asiakkaiden ymmärrys viranomaisten välisistä yhteistyöstä on usein hämärää. Asiakasprosessin eri vaiheissa on tärkeää, että asiakas ymmärtää mitä tehdään ja miksi. Asiakaslähtöisyyden arvioinnisssa asiakkaat on otettava mukaan arvioimaan ja kehittämään lastensuojelunpalveluita (mitä mieltä he ovat palveluista ja millainen on hyvä palvelu). Palveluiden tulisi olla läpinäkyviä kaikissa asiakasprosessin vaiheissa. Moniammatillinen yhteistyön yhteiset selkeät prosessikuvaukset takaavat eri yhteistyötahojen selkeät roolit asiakkaan eri asiakasprosessin vaiheissa. Prosessikuvauksessa asiakaslähtöisyys korostuu silloin, kun asiakas nostetetaan moniammatillisessa yhteistyössä yhteistyön keskiöön, ei pelkäksi objektiivisiksi. (Luodes 2007, 30,  55, 83)

Kirjoittanut: Piia Haukka

Lähteet:

Luodes, E. 2007. ASIAKASLÄHTÖISYYS LASTENSUOJELUN AVOHUOLLON MONIAMMATILLISESSA YHTEISTYÖSSÄ – Kertojina päivähoitoon lastensuojelun tukitoimena sijoitettujen lasten vanhemmat. Pro gradu -tutkielma. Sosiaalipolitiikan ja sosiaalityön laitos: Tampereen yliopisto

Vanhemmat varhaiskasvatuksen laadun arvioijina

Vaikuta varhaiskasvatukseen -kysely

  • Tekijänä Opetus- ja kulttuuriministeriö.
  • Taustalla varhaiskasvatuslain muutos.
  • Asiakaslähtöinen arviointi osana varhaiskasvatuspalvelujen kehittämistä.
  • Osallistavaa arviointia: Vastaajina päiväkotilasten vanhemmat. Tuloksia käytetään uuden lain valmistelussa ja taustatietona.
  • Tehtiin vuosien 2013-2014 vaihteessa.
  • Tieto kyselystä OKM:stä kunnille, levisi myös sosiaalisen median kautta.
  • 11 266 vastausta (suurin koskaan Suomessa kerätty aineisto vanhemmilta).
  • Nettikysely, jossa avoimia ja strukturoituja kysymyksiä:

strukturoidut

 

Esimerkki tutkimuksen avoimista kysymyksistä

  • Arvioinnin tuloksia:

Tulosten mukaan vanhemmat pitävät varhaiskasvatusta tärkeänä palveluna. Varhaiskasvatus mahdollistaa vanhempien työssäkäynnin, lasten kaverisuhteet, lapsen pääsyn varhaiskasvatustoimintaan sekä lapsen saamaa tukea kasvuunsa, kehitykseensä ja oppimiseensa.”

tulos

”Varhaiskasvatuspalvelujen saatavuus on vanhempien mielestä hyvä, aukioloajat ovat riittävän joustavat, henkilökunta ammattitaitoista ja toiminnan sisällöt monipuolisia. Asiakasmaksuja pidetään kohtuullisina, mutta niihin toivotaan enemmän mahdollisuuksia porrastamiseen sekä tulorajoihin muutoksia niin, ettei suhteellisen pienilläkin tuloilla joudu maksamaan korkeinta maksua.”

”Kasvatuskumppanuutta vastaajat pitävät tärkeänä. Vanhemmat kokevat kasvatushenkilöstön suhtautuvan heihin arvostavasti ja vanhempien kasvatusnäkemysten tulevan kuulluiksi. Kasvatuskeskusteluja käydään säännöllisesti. Yhteistyön muotoja ei pidetä kovin monipuolisina ja muun muassa tiedonkulkuun vanhemmat ovat tyytymättömiä. Vanhempien tai lasten osallisuuden ei nähdä toteutuvan varhaiskasvatustoiminnan suunnittelussa, kehittämisessä eikä toteuttamisessa.”

”Huolissaan vanhemmat ovat suurista lapsiryhmistä, joissa sekä lapsen yksilöllinen huomiointi että pysyvät ihmissuhteet vaarantuvat ja psyykkinen kuormitus kasvaa. Henkilökuntaa pitäisi vastaajien mukaan olla enemmän, sen pitäisi olla pysyvämpää ja sijaisjärjestelyjä tulisi kehittää. Vanhemmat eivät myöskään ole täysin tyytyväisiä lapsen tarvitseman erityisen tuen toteutumiseen. Varhaiskasvatusympäristöjen tilojen asianmukaisuus, kunto ja remonttitarpeet nousevat esiin huolenaiheena.”

Kirjoittanut Anni Nokso-Koivisto

Lähde: Alasuutari, M., Alila, K., Eskelinen, M. & Karila, K. 2014. Vaikuta varhaiskasvatukseen. Lasten ja vanhempien kuuleminen osana varhaiskasvatuksen lainsäädäntöprosessia Opetus- ja kulttuuriministeriön työryhmämuistioita ja selvityksiä 2014:13. 

Mikä on Bikva?

Bikva on Tanskassa kehitelty arviointimenetelmä. Menetelmän kehitti Hanne Kathrine Krogstrup. Nimi Bikva muodostuu tanskan kielisistä sanoista, jotka suomeksi tarkoittaa ”asiakkaiden osallisuus laadunvarmistajana”. Menetelmä perustuu ryhmähaastatteluihin, joissa asiakkailta esiin tullutta tietoa kuljetetaan organisaatiossa eteenpäin eri tasoille. Bikva-malli on hyvin mukautuva ja sitä onkin helppo soveltaa eri kohderyhmille sekä erilaisiin tilanteisiin.

Bikva- mallin neljä vaihetta:

  1. Haastatellaan asiakkaat ryhmähaastattelussa. Asiakkaat arvoivat sosiaalityön / palveluiden hyviä ja huonoja puolia. He voivat itse määrittää kysymyksiä.
  2. Kenttätyöntekijöiden haastattelu. Asiakkaiden näkemykset toimivat keskustelun herättäjinä ja ylläpitäjänä. Ryhmä pohtii käytäntöjään asiakkaiden palautteiden pohjalta. Ryhmä tekee myös konkreettisia ehdotuksia palveluiden parantamiseksi.
  3. Johtohenkilöiden haastattelu. Heidän keskustelunsa sisältö liittyy sekä asiakkaiden että kenttätyöntekijöiden antamaan palautteeseen.
  4. Kaikista edellisistä kohdista saatu tieto kootaan ja arvioidaan niiden tuloksia. Tieto viedään poliittisille päättäjille. Ryhmäkeskustelussa mietitään konkreettisia toimia palveluiden kehittämiseksi.

 

Asiakkaiden ja päättäjien huomioiminen

Tärkeää on viedä kerätty tieto poliittisille päättäjille. Yhtä tärkeää on viedä tieto asiakkaille, mitä saadun tiedon perusteella tehdään. Hyvä tapa voi olla käydä keskustelu muutaman kuukauden päästä arvioinnista ensimmäisen kohdan asiakasryhmän kanssa. Keskustelussa voi ottaa esille, ovatko asiakkaat huomanneet mitään muutoksia tapahtuneen. Asiakkaille on hyvä tuoda luettavaksi myös arviointiraportti, joka Bikva-mallissa yleensä kirjoitetaan. Myönteistä julkisuutta ja näkyvyyttä Bikva-prosessille voidaan saada tuomalla asiakkaiden ajatuksia myöskin lehti-, radio- tai televisiohaastattelujen kautta.

Bikva-menetelmää käytettäessä on kiinnitettävä huomioita erityisesti käyttöönoton valmisteluun sekä koko prosessin läpiviemiseen. Suomessa Bikva-mallin neljäs kohta, eli tiedon ja ehdotusten vieminen poliittisille päättäjille toteutuu harvoin. Usein koetaan poliittisten päättäjien olevan jo liian kaukana asiakkaiden ja työntekijöiden arjesta, jolloin neljättä vaihetta ei uskalleta viedä päätökseen. Tulevaisuudessa tehtävien Bikva-arviointien suunnittelussa onkin erityisen tärkeää ottaa huomioon kaikkien tasojen kuuleminen sekä se, kuinka asia tullaan viemään poliittisille päättäjille. Hyvällä suunnittelulla ja toteutuksella asiakkaan ääni saadaan oikeasti kuulumaan, myös päättäjätasolle asti.

Kirjoittanut Linda Prepula

Lähde: Reijonen, M. (2010). Yhteisellä asialla, asiakkaan kanssa – asiakaslähtöisen arvioinnin Bikva-menetelmä ja sen käyttö. Talentia-lehti. 48–51. Sosiaalialan tutkimuksen seura.http://www.talentia.isinteksas.com/mag/tutkivasosiaalityo2010.php

Opiskelijan kokemuksia Bikvan toteutuksesta

Mervi Koistinen on käyttänyt sosionomi (YAMK) opinnäytetyössään:”Bikva-arviointi perheiden hyvinvoinnin tukemisesta Perhekeskus Maahisessa ” (2013) Bikva-arviointimallia. Koistisen arvioinnin kohteena ja tutkimuksellisena tehtävänä oli selvittää mm. seuraavia asioita:

  • Mitä perheet palveluilta/toiminnalta hakevat?
  • Miten Maahisen pienten lasten perheiden palvelut tukevat perheen hyvinvointia?
  • Miten asiakasosallisuus koetaan Maahisessa?
  • Millaisia kehitysehdotuksia Maahisessa on vanhempien näkökulmasta?

Ennen varsinaisia haastatteluja opiskelija kävi perhekeskuksessa ”mainostamassa” asiakkaille opinnäytetyötään ja tulevia haastatteluja. Hän kertoi työnsä tarkoituksesta ja millä tavoin se toteutetaan. Hän myös laittoi ilmoituksen perhekeskuksen Facebook-sivuille sekä perinteiselle ilmoitustaululle.

Opiskelija aloitti asiakasryhmien haastatteluilla, jotka hän nauhoitti. Hän piti kaksi haastattelukertaa asiakasryhmille, yhteensä asiakkaita oli seitsemän. Työntekijätason haastatteluissa oli mukana neljä ja johtotason haastattelussa yksi ihminen. Työskentely eteni perinteisen Bikva-mallin mukaan. Opinnäytetyön tekijä keräsi prosessin tulokset ja esitteli ne johtoportaalle. Muutoksia arvioinnin perusteella perhekeskuksen toimintaan tehtiin jo opinnäytetyön aikana esimerkiksi tiloihin ja viestintään.

Haasteellisena puolena opiskelija koki henkilökunnan sitouttamisen prosessiin. Haastatteluihin olikin yllättävän haastavaa saada osallistujia. Opiskelija sai kuitenkin johdolta tukea henkilökunnan sitoutumiseen. Opiskelija pohti opinnäytetyössään kuinka henkilökuntaa olisi voinut saada paremmin mukaan. Hän otti esille mm. suunnitteluvaiheen ja erilaisten pelkojen yms. asioiden kartoittamisen ennen varsinaisia haastatteluja. Työntekijöillä ei ehkä ollut tarpeeksi tietoa opinnäytetyön menetelmästä ja he eivät päässeet keskustelemaan heille heränneistä ajatuksista. Tämä saattoi vaikuttaa siihen, että henkilöstö ei kokenut alussa menetelmää tärkeäksi tai toimivaksi.

Opinnäytetyössä ei tule esille se, kuinka tulokset tuotiin asiakkaille näkyviin. Saivatko he kokemuksen osallisuudesta ja siitä, että heidän ääntään kuunneltiin. Saivatko haastatteluihin osallistuneet tietoonsa, mikä merkitys heidän sanomallaan oli? Kuten jo aikaisemmin on todettu, on erittäin tärkeää suunnitella arviointimallin käyttöönotto ja kokonaisprosessi, jotta menetelmä palvelee sitä tarkoitusta johon se on luotu, asiakkaan äänen kuuluville saamiseksi.

Kirjoittanut Linda Prepula

Koistinen, M. (2013). Bikva-arviointi perheiden hyvinvoinnin tukemisesta perhekeskus Maahisessa. Sosionomi yamk -opinnäytetyö. Metropolia-ammattikorkeakoulu. https://www.theseus.fi/bitstream/handle/10024/57144/PerhekeskusMaahinen.pdf?sequence=1

Tärkeitä kysymyksiä arviointitutkimusta aloitettaessa

Arviointitutkimusta aloitettaessa pohjatyön merkitystä ei voida liiaksi korostaa.  Tutkijan on syytä esittää seuraavat kysymykset arvioinnin tilaajan kanssa:

Milloin arviointi tehdään? Onko kyse etukäteisarvioinnista, joka tukee tulevan prosessin suunnittelua, vai jatkuvasta arvioinnista koko projektin ajan vai jälkikäteisarvioinnista painottuen vaikuttavuuteen?

Missä arviointia tulee tehdä ja miten arviointia kannattaa kohdistaa? Tämä vaikuttaa aineiston valintaan ja antaa kuvan siitä, keiden mielipiteitä pidetään tärkeänä.

Kenelle arviointia tehdään? Keskustelut tilaajan kanssa arvioinnin tarvelähtöisyydestä täsmentävät hyödynsaajien näkökulmia, vaikka tilaajan mielipiteet eivät voikaan vaikuttaa arviointitutkimuksen tuloksiin.

Mitä ollaan arviomassa? Kohdistuuko arviointi merkittävyyteen, pysyvyyteen, tuloksellisuuteen, tehokkuuteen, vaikutuksiin vai vaikuttavuuteen?

Mitkä motiivit arviointiin liittyvät? Motiivina voi olla oppiminen ja tiedon lisääminen. Joskus halutaan vaikuttaa päätöksen tekoon. Painotus voi olla myös talouden näkökulmassa. Näitä kysymyksiä käsitellään usein liian pintapuolisesti arviointitutkimuksen tilauskeskusteluissa. Hyvinvointialaan liittyvää projektia ei kuitenkaan yleensä tehdä ilman, että sillä toivotaan olevan sekä taloudellisia että poliittisiakin vaikutuksia.

Lähde:

Gothóni, Raili (2015). Arviointi osana tutkivaa kehittämistä. Teoksessa Gothoni, Raili & Hyväri, Susanna & Kolkka, Marjo & Vuokila-Oikkonen, Päivi (2015). Osallisuutta, oppimista ja arviointia. Diakonia-ammattikorkeakoulun TKI-toiminnan vuosikirja 2015. 285-295. http://www.theseus.fi/bitstream/handle/10024/87751/DiakB%2060_vuosikirja1.pdf?sequence=1

kirjoittanut Elina Reentie