Useat yhteiskunnan varoin tuotetut arviointiraportit tuloksineen ja suosituksineen makaavat hyllyillä koskemattomina. Arviointien lisääntyminen ei ole parantanut niiden hyödyntämisastetta. Arvioinnin eri tekijöiden – inhimillinen, evaluoiva ja kontekstuaalinen – huomioon ottaminen lisäisi arviointien käytettävyyttä eli sitä, mitä arviointikohteen toimijat voivat arvioinnin aikana oppia ja mitä heille arvioinnin päätyttyä jää käteen.
Prosessiarvioinnissa arviointiprosessia sekä arviointilöydöksiä käytetään oppimislähteenä. Esimerkiksi kehityshankkeessa mukanaolevia ja hankkeen hyödynsaajia osallistetaan arviointiprosessiin, arvioimaan, oppimaan yksilöinä, toistensa kanssa ja yhteisönä yhteisen dialogin kautta.
Paikallisten arviointikapasiteetti vahvistuu, kun heidät perehdytetään hankkeen organisaation ja kulttuurisen kontekstin huomioivaan arviointikieleen ja -metodeihin. Jokainen arviointiprosessin aikainen omakohtainen arviointikokemus piirtää jälkensä osallistujaansa ja vaikuttaa myös kehityshankkeeseen.
Etäiseksi jäävä arviointi jää hyödyntämättä
- Tämä ei mahdollistu useimmissa nykyisissä, menneisiin tapahtumiin fokusoituneissa kehitysarvioinneissa, joissa ulkopuolinen arvioija useimmiten tilivelvollisuus- ja kontrollitarkoituksessa arvioi paikallisille vierailla tutkimusmenetelmillä arviointikohdetta ja julkaisee rahoittajakeskeisellä arviointikielellä kirjoitetun arviointiraportin, joka voi jäädä arvioinnin tilaajan tai rahoittajan pöydälle päätymättä koskaan hankkeen paikallistasolle. Tämä jos mikä estää arviointien paikallisen hyödyntämisen, paikallisten arvioinnista oppimisen ja kehityshankkeen kehittämisen, Pylvänäinen toteaa.
Pylvänäinen teki tutkimuksensa kaksiosaisen arviointikokeilun Tansaniassa viiden vuoden aikana. Arviointiosuudessa hän tutki tansanialaisen ammattikoulun, Mwanza Home Craft Centren (MHCC), nykyisin Nyakato Vocational Training Centre, tarjoaman koulutuksen sosioekonomisia vaikutuksia. Oppilaitos aloitti toimintansa 1980-luvulla suomalaisin kehitystyövaroin Fida-kansalaisjärjestön kehityshankkeena. Arviointitutkimusosiossa hän tutki arvioinnin prosessikäyttöä ja sen vaikutuksia oppilaitoksen toimintaan.
- Tämä toimintaansa jatkava ja laajentanut ammattioppilaitos on ollut kehitysavusta riippumaton jo yli 20 vuoden ajan, mikä on ainutlaatuista koulutussektorilla maailmanlaajuisestikin, puhumattakaan kehitysmaassa, kuten Tansaniassa, Pylvänäinen toteaa.
Ajattelutavan muutos ohjasi kehittämiseen
Tutkimuksen perusteella voidaan päätellä, että prosessuaalinen arviointi oli vahva työkalu MHCC:n toimintakulttuurissa tapahtuneiden monien muutosprosessien kiihdyttäjänä.
- Esimerkiksi ajattelutavan muutos, valistuminen, paikallisella kielellä ”mwanga”, mahdollisti oppilaitoksen sisällä siirtymisen jälki- ja menneisyysorientoituneesta, historiaa tarkastelleesta ajattelusta tulevaisuussuuntautuneeseen omaehtoiseen kehittämistoimintaan. Prosessin aikana esimerkiksi oppilaitoksen opetustarjontaa monipuolistettiin. Oppilaitoksen nimi muutettiin, mikä lisäsi oppilaitoksen tunnettuutta, vetovoimaisuutta opinahjona ja oppilasmääriä sekä oppilaitoksen tuotanto- ja tilaustöiden (mm. tiilentekokoneet, koulupuvut) kysyntää, Pylvänäinen toteaa.
Tutkimuksen perusteella voidaan Pylvänäisen mukaan todeta, että arvioinnin teettäjien, käynnistäjien, rahoittajien ja avunantajien tulee saada lisätietoa merkittävistä arvioinnin positiiviseen käyttöön vaikuttavista tai sitä estävistä tekijöistä.
- Jokaisessa arviointipolitiikassa ja -suunnitelmassa jo arvioinnin toimeksiantovaiheessa tulee edellyttää konkreettisia toimia arviointien hyödyntämiseksi. Jokaiselta julkisin varoin tuotetulta arvioinnilta tulee vaatia arvioinninkäyttösuunnitelma tavoiteltavine arviointivaikutuksineen ennen arvioinnin toimeenpanovaihetta.
Anne Pylvänäisellä on pitkä työhistoria kehityskysymysten parissa kansainvälisissä kehityshankkeissa ja akateemisissa koulutustehtävissä. Hän asuu Jämsänkoskella.
Kasvatustieteiden maisteri, sosiaalikasvattaja Anne Pylvänäisen kasvatustieteiden alaan kuuluva väitöskirja Development Evaluation for Local Impacts: Evaluation Elements contributing to Evaluation Use, A Vocational Education Case in Tanzania as an Awakener, tarkastetaan julkisesti Tampereen yliopiston kasvatustieteiden ja kulttuurin tiedekunnassa lauantaina 17.8.2019 klo 12 päärakennuksen luentosalissa A1, Kalevantie 4, Tampere. Vastaväittäjänä toimii dosentti Tiina Kontinen Helsingin yliopistosta ja kustoksena professori Anja Heikkinen.
Väitöskirjaan voi tutustua osoitteessa http://urn.fi/URN:ISBN:978-952-03-1151-3
Väitöstilaisuuden livestriimauksen linkki löytyy 17.8.2019 osoitteesta:
https://moniviestin.uta.fi/videot/yop/tietohallinto/suorat-lahetykset/vaitos-17-8.2019
TAMPEREEN YLIOPISTON TIEDOTE 6.8.2019