Tämä kirjoitus päättää tältä erää kirjoitusten sarjan, jossa olen tarkastellut aikaisempia ohjaukseen, tasa-arvoon ja segregaation purkuun liittyviä kehittämishanketta muun muassa sukupuolen ja kulttuuritaustan huomioimisen näkökulmasta. Tässä kirjoituksessa kerron, miltä näiden tarkastelussa mukana olleiden hankkeiden työskentelyn ja toimien arviointi näyttää ja pohdin, miten kehittämishankkeiden arviointia voisi kehittää.
Liiketaloudelliset periaatteet ovat 1990-luvulta asti ohjanneet yhä enenevissä määrin julkisen sektorin toimintaa. Samaan aikaan on lisääntynyt julkisen hallinnon organisoituminen projekteissa tehtäväksi työksi. Valtiojohtoisen valvonnan sijaan myös sukupuolten tasa-arvoa edistetään ja koulutusjärjestelmää ohjataan, arvioidaan ja kehitetään yhä useammin erilaisissa hankkeissa. Myös sukupuolen mukaista segregaatiota on pyritty purkamaan erilaisissa kehittämishankkeissa viimeiset vuosikymmenet, aluksi kannustamalla naisia valitsemaan vähemmän perinteisiä aloja ja etenemään korkeammalle urapolulla. Viime aikoina ovat lisääntyneet myös hankkeet, joissa tuetaan miehiä valitsemaan sukupuolelleen epätyypillisiä urapolkuja.
Loppuraportteja ja tiivistelmiä löytyy, vaikuttavuuden arviointi vähäistä
Yleisenä ongelmana katkonaiseen rahoitukseen sidotussa hanketyössä on hankkeiden vaikutusten ja vaikuttavuuksien arviointi.Nykyisellään jonkinlainen arviointi on yhä useammin ehto hankerahoituksen saamiselle, jolloin arviointi saattaa muodostua pakottavan velvoitteen edessä mekaaniseksi listaamiseksi, jossa ei edes pyritä analysoimaan hankkeen mahdollisia merkityksiä ja yhteiskunnallisia vaikutuksia kehittämisen kohteena olevaan ilmiöön. Niinpä arvioinnit perustuvat usein hankkeen kohderyhmiltä kerättyyn palautteeseen sekä hanketoimijoiden itsearviointeihin.
Hankkeiden itsearviointia olikin tehty ja palautteita kerätty lähes kaikissa tarkastelumme kohteena olevissa, päättyneissä hankkeissa, tosin nämä materiaalit eivät olleet aina saatavilla. Vain kahdeksasta hankkeesta löytyi jonkinlainen hankekuvaus, kun taas yhdeksästä hankkeesta löytyi ainoastaan loppuraportin tiivistelmä Euroopan Rakennerahaston tietokannasta. Lisäksi löysimme kaksi arviointiraporttia, joissa oli mitattu hankkeiden toimenpiteiden vaikuttavuutta.
Hankkeiden loppuraporttien ja muiden materiaalien läpikäynti nostatti seuraavia huomioita hankkeiden haasteista ja toisaalta onnistumisista:
- Ammattilaisille suunnattuja koulutuksia sisältäneissä kehittämishankkeissa ongelmina todettiin olevan kohderyhmän tavoittaminen, heidän aikaresurssien puute sekä tasa-arvon käsittäminen ”valmiina” ja sen edistäminen triviaalina. Monessa hankkeessa tuotettiin hyväksi havaittuja koulutussisältöjä, joiden avulla ohjausta voi toteuttaa sukupuolitietoisesti. Olemme listanneet hyviä käytäntöjä tänne.
- Hankkeissa, joissa tuettiin yksilöitä hakeutumaan epätyypillisille aloille, on toteutettu paljon työpaja- ja mentoritoimintaa. Mentoritoiminta on saanut pääosin positiivista palautetta. Toisaalta osallistujat ovat toivoneet ajallisesti pidempiä ja henkilökohtaisempia valmennuksia. Työpajoissa, joissa on keskusteltu sukupuolesta, tasa-arvosta ja segregaatiosta, osallistujien kokemukset ovat olleet vaihtelevia. Työttömiä miehiä tukeneissa hankkeissa ei ole juurikaan onnistuttu lisäämään työpajoihin osallistuneiden kiinnostusta naisvaltaisia aloja kohtaan.
- Valtakunnallisissa, useita alueellisia osahankkeita sisältävissä sateenvarjohankkeissa ongelmana näyttää olevan osahankkeiden eriaikaisuus ja pirstaleisuus. Näissä hankkeissa peräänkuulutetaan kehitettyjen käytäntöjen vakiinnuttamiseksi vielä voimallisempaa johtotason sitoutumista ja strategisista sopimista, valtakunnallista kehittämis- ja levittämistyötä tukevaa ohjausta, ja tulosten hyödyntämisen rakennetta opetushallituksen ja ministeriöiden toimesta.
Itsearvioinnin ja palautteiden keräämisen suhteen hankkeet siis näyttävät toimivan melko hyvin. Hankkeiden yhteiskunnallisten vaikuttavuuksien arviointi näyttää sen sijaan olevan lähes olematonta. Vaikuttavuuden arviointi muodostuu hanketyön ongelmaksi ensiksikin siksi, että sen toteuttamiseen ei yleensä ole varattu resursseja, eivätkä rahoitusmallit välttämättä tue vaikuttavuusarviointien tekemistä. Toisekseen vaikuttavuuden arviointiin on olemassa vähäisenlaisesti valideja mittareita: yksittäisten toimenpiteiden vaikutusten eristäminen muun eletyn elämän vaikutuksista tietyn asian kohdalla on haastavaa, mutta kumuloituvan tiedon avulla tuskin mahdotonta.
Arvioinnista kehittämiseen
Tulevaisuudessa tulisi kehitellä mittareita ja menetelmiä, joilla hankkeiden sosiaalisia, taloudellisia ja paikallisia vaikutuksia voidaan arvioida.Esimerkiksi kohdennetun nuorisotyön kustannusvaikutuksia on tutkittu Nuorisotutkimusverkoston NEET-nuorten palvelut, kustannukset ja kohdentuminen-hankkeessa osana nuorisotutkimuksen osaamiskeskuksen toimintaa. Pitkittäisrekisteriaineisoihin perustuvassa tutkimuksessa on kysytty, olisiko nuorten siirtyminen koulutukseen ja työhön tapahtunut ilman heille tarjottuja nuorisotyön palveluja. Nuorisotyön toimenpiteiden ja työmarkkinamenestyksen yhteyttä on tarkasteltu osallistumistodennäköisyyksiin (propensity-score matching) perustuvaa kaltaistamisen monimuuttujamenetelmää sekä lineaarista todennäköisyysmallinnusta (linear probability models) hyödyntäen. Tutkimuksesta on tekeillä sekä tutkimusraportti että politiikka suositus, jotka löytyvät Nuorisotutkimusverkoston sivuilta niiden valmistuttua.
Nuorisotyön vaikuttavuusarviointiin viitaten ehdotan, että segregaation purkamiseen tähtäävien toimien vaikuttavuutta voitaisiin mitata koulutusrekistereiden avulla esimerkiksi kysymällä, onko toimenpiteisiin osallistuneiden koulutusvalinnoissa eroa suhteessa samankaltaisiin henkilöihin, jotka eivät ole osallistuneet hankkeiden toimenpiteisiin. Samoin voitaisiin tutkia eri alueiden segregoitumisastetta sen suhteen, onko alueilla toteutettu segregaation purkamiseen tähtääviä toimia vai ei. Tällaisten mallien ja mittareiden luonti ei tapahdu hetkessä ja vaatii paneutunutta kehittelyä, mutta vaikuttavuuden mittaamisella voitaisiin tulevaisuudessa luoda entistä vaikuttavampia toimenpiteitä ja kohdentamaan resursseja niin, että tasa-arvon ja yhdenvertaisuuden koulutuksessa ja työelämässä olisi mahdollista lisääntyä.
Rahoitusinstrumenttien tulisi sallia koulutusvalintoja tarkastelu hankkeiden päättymisen jälkeen. Rahoitusta tulisi olla myös sellaisiin hankkeisiin, joissa toimenpiteisiin osallistuneiden näkemyksiä ja kokemuksia hankkeiden vaikutuksista voitaisiin kartoittaa niin ikään useampia vuosia hankkeiden päättymisen jälkeen.
Hankkeiden arviointia suunniteltaessa, oli sitten kyseessä itsearviointi tai ulkoinen vaikuttavuusarviointi, tulisi asettaa selkeät kysymykset tai tavoitteet, joihin arviointi pyrkii vastaamaan. Olisi hyvä, että arviointi ei pelkisty mekaaniseksi listaamiseksi esimerkiksi tavoitettujen kohderyhmäläisten määristä. Lisäksi tulisi kiinnittää huomiota siihen, että kehittämishankkeista jäisi pysyvämpiä prosessikuvauksia arviointeineen tulevien hankesukupolvien käyttöön ja kokemuksista opittavaksi.
Koulutusjärjestelmän ohjauksen ja tasa-arvotyön projektivetoinen organisoituminen ei näytä laantumisen merkkejä. Erityisen tärkeää vaikuttavuuden arvioinnin systemaattinen kehittäminen on siitä näkökulmasta, että lukuisista hankkeista ja yleisesti hyvästä tasa-arvotilanteesta huolimatta segregaatio on Suomessa edelleen korkealla tasolla. Nykyinen tilanne vaikuttaa siltä, että ajallisesti katkonaisella ja alueellisesti sirpaleisella, sektoreittain jakautuneella hanketyöllä urapolkujen sukupuolierottelu säilyy hamaan tulevaisuuteen.
Tutkija Jenni Lahtinen, VTM, tohtorikoulutettava, Nuorisotutkimusverkosto, Helsingin yliopisto
Kirjoittaja työskentelee tutkijana Nuorisotutkimusverkostossa Potentiaali-hankkeessa, jossa kehitetään sukupuoli- ja kulttuuritietoisen ohjauksen toimintamallia opetus- ja ohjaushenkilöstölle. Lisäksi Lahtinen on tohtoriopiskelija Helsingin yliopiston sosiaalitieteiden tohtoriohjelmassa. Hänen väitöstutkimuksensa aihe on ammattiin opiskelevien nuorten ystävyydet ja yhteisöt.
Lukemista
Hansen, Petteri (2016) Opettajankoulutuksen hankeohjauksen mahdollisuudet ja rajat: Kahden politiikkalähtöisen kehittämishankkeen järjestelmäteoreettinen analyysi. Väitöskirja. Helsingin yliopisto.
Hoikkala, Tommi & Aapola-Kari, Sinikka & Lahtinen, Jenni (2019) Nuorten toisen asteen koulutusvalinnat – mitkä mekanismit tuottavat epätyypillisiä valintoja? Policy Brief 14/2019. Valtioneuvoston kanslia, Valtioneuvoston selvitys- ja tutkimustoiminta.
Kristiina, Brunila (2009) Parasta ennen: Tasa-arvotyön projektitapaistuminen. Väitöskirja. Helsingin yliopisto.
Lahtinen, Jenni (toim.) “Mikä ois mun juttu” – Nuorten koulutusvalinnat sosialisaatiomaisemien kehyksissä. Valtioneuvoston selvitys- ja tutkimustoiminnan julkaisusarja 2019
Lahtinen, Jenni & Aapola-Kari, Sinikka (2020) Tasa-arvon mallimaan sitkeä sukupuolierottelu. Ilmiö – sosiologinen media kaikille.
Murto, V., Vieno, A., Inkinen, A., Reinikainen, S. & Saari J. (2018) Toisen asteen ammatillisten koulutusvalintojen sukupuolittuminen ja nuorten epätyypilliset valinnat. Policy brief 18/2018. Valtioneuvoston selvitys- ja tutkimustoiminta.