Voisiko evaluoi(ta)vien tutkijoiden työtä keventää?

Vertaisarviointi, peer-review, on tutkimuksen evaluoinnissa luotettavin menetelmä. Tieteelliset lehdet valitsevat artikkelinsa, yliopistot täyttävät professuurinsa ja tutkimuksen rahoittajat kohdentavat resurssinsa ulkopuolisten, useimmiten kansainvälisten asiantuntijoiden lausuntojen perusteella.

Vertaisarviointi työllistää runsaasti tutkijoita, koska siinä tutkijat evaluoivat toisiaan. Yhdet tuottavat aineiston: julkaisut, selvitykset ja suunnitelmat. Toiset lukevat ja arvioivat materiaalin, käyvät joskus paikan päällä tutustumassa ja kirjoittavat raportin.

Vertaisarvioinnit ovat nopeasti lisääntyneet viime vuosina kun kilpailtu tutkimusrahoitus on kasvanut. Tutkimusta rahoittavat organisaatiot avaavat laajoja tutkimusohjelmia ja perustavat huippuyksiköitä. Se, että tutkimusrahoituksesta suuri osa on kilpailtua, on hyvä asia. Haittapuolena on tutkijan, erityisesti senioritutkijan näkökulmasta kuitenkin jatkuvasti kasvava työmäärää.

Kuluneena syksynä olin mukana tutkimusyksiköiden evaluaatiopaneeleissa Leuvenissa, Tokiossa ja Dundeessa. Posti oli tuonut etukäteen jokaisesta puhelinluettelon verran materiaalia. Paikan päällä oli hengästyttävä minuuttiohjelma, kaikissa hyvin samanlainen kahden päivän putki: tutkimusjohtajien ja ryhmänjohtajien äärimmäisen tiivistettyjä esityksiä, tutkijaopiskelijoiden posterinäyttely, tapaaminen postdokkien kanssa, kierto laboratorioissa. Aamiaiset, lounaat ja illallisetkin oli ohjelmoitu keskusteluhin yksikön johtajan ja tutkijoiden kanssa. Raportin kirjoitus jäi kotitehtäväksi.

Kukaan aktiivinen tutkija ei voi osallistua kovin moneen näin paljon aikaa vievään paneeliin vuodessa, varsinkaan kun ne eivät ole ainoita evaluointitehtäviä.

Onko mitään tehtävissä? Vertaisarvioinneista ei tietenkään pidä luopua. Mutta ehkä niitä järjestetään joskus turhaankin. Tarpeettomia ovat ainakin sellaiset, joiden tuloksia ei oteta huomioon päätöksenteossa. Niitäkin on nähty.

Entä voisiko arviointiprosesseja keventää ja tehdä tutkijaystävällisemmiksi? NIH:ssa, joka rahoittaa suurimman osan USA:n terveystutkimuksesta päätettiin vastikään rajoittaa anomusten sivumäärää ja lyhentää paneelien kokouksia, kun pätevistä arvioijista alkoi olla pulaa.

Meillä tiedekunnat voisivat aloittaa vaikka lyhentämällä professuurien ja väitöskirjojen lausuntoja. Väitöskirjat voisi arvioida rasti-ruutuun kaavakkeella tai tukeutua väitöskirjojen seurantaryhmiin. Professuurien täytössä saattaisi riittää amerikkalaistyylinen parin sivun raportti, joka keskittyisi oleelliseen, erityisesti hakijan potentiaaliin.

Entä tutkimusyksiköiden evaluoinnit? Ne ovat tulleet jäädäkseen kun resurssien kohdentaminen on nähty hyväksi strategiaksi. Monissa maissa huippuyksikköohjelmia vasta aloitellaan. Esimerkiksi Japanissa perustettiin ensimmäiset huippuyksiköt vasta kolme vuotta sitten ja ohjelmaa ollaan laajentamassa. On varmaa, että ulkomaisten evaluaattorien kysyntä kasvaa vauhdilla.

Suomen Akatemia kuuluu huippuyksikköohjelmien edelläkävijöihin. Se on panostanut myös yksiköidensä kansainväliseen evaluointiin - oman kokemukseni mukaan ehkä turhankin innokkaasti. Vuonna 2002 aloittanut huippuksikkömme arvioitiin ensin hakemusvaiheessa kaksi kertaa. Sen jälkeen kansainvälinen seurantaryhmä on matkustanut Suomeen kahdesti ja on tulossa vielä kerran. Se on kirjoittanut akatemialle monisivuisia raportteja.

Vastikään meille ilmoitettiin, että huippuyksiköille järjestetään vielä kansainvälinen päätösevaluointi. Arviointipaneeleja tulee siis käytetyksi yhteensä 6 kertaa 6-vuotisen huippuyksikkömme evaluoimiseksi. Olisiko mahdollista selvitä vähemmällä?

Evaluointien järjestäminen on myös kallista puuhaa. Asiantuntijoiden matkustaminen maksaa eikä tutkijoiden työaikakaan ole ilmaista. Sitä paitsi, arvioinneista ei koidu työtä pelkästään tutkijoille. Rahoittavien organisaatioiden virkamiehet suunnittelevat, osallistuvat evaluointeihin ja seurantaryhmien kokouksiin ja keräävät materiaalia. Voisivatko he tehdä jo kerätystä aineistosta yhteenvetoja? Ne saattaisivat riittää esimerkiksi huippuyksiköiden loppuarviointiin ilman, että rasitetaan taas uutta kansainvälisen evaluaatiopaneelin tutkijajoukkoa.

Tutkimusjohtaja, professori Irma Thesleff on Professoriliiton palkitsema Vuoden Professori 2004.