Julkaisufoorumi-luokitus ja vastuullinen tutkimusmetriikka

Julkaisutoiminnan mittarien väärinkäyttö tutkimuksen arvioinnissa on noussut tärkeäksi tiedepoliittisen keskustelun aiheeksi Suomessa ja ulkomailla.

Tieteellisten seurain valtuuskunta (TSV) ja Yliopistojen rehtorineuvosto (UNIFI) selvittivät Julkaisufoorumi- luokituksen käyttöä yliopistoissa vuoden 2015 syksyllä yliopistoille suunnatulla kyselyllä. Tulosten perusteella luokitusta käytetään yliopistoissa yleisimmin julkaisutoiminnan kehittämisessä ja seurannassa, mutta vaihtelevasti myös tiedekuntien ja laitosten rahanjaon perusteena sekä yksittäisten tutkijoiden rekrytoinnin, henkilökohtaisen suoriutumisen ja palkitsemisen perusteena. Kirjoitus perustuu Hallinnon tutkimus- lehdessä (1/2018) julkaistuun artikkeliin Julkaisufoorumi-luokituksen käyttö yliopistoissa

Tutkimusmetriikka herättää kriittistä keskustelua

Tutkimusmetriikkaa koskevan kansainvälisen keskustelun ytimessä on ollut lehtien vaikuttavuutta kuvaavan Journal Impact factorin käytön yleistyminen tutkimuksen arvioinnissa erityisesti tutkijan rekrytoinnin ja rahoituksen perusteena. San Francisco Declaration on Research Assessment (DORA) vuodelta 2012, sekä Leidenin tutkimusmetriikkamanifesti ja Metric Tide -raportti vuodelta 2015, suosittavat, että mittarit eivät saisi syrjäyttää asiantuntijoiden suorittamaa arviointia. Suomessa keskustelua on herättänyt erityisesti tieteellisten lehtien ja kirjakustantajien Julkaisufoorumi-luokituksen (JUFO) käyttö yksittäisten tutkijoiden arvioinnissa (Acatiimi 4/15). Julkaisufoorumin ohjausryhmän vuodesta 2012 julkaiseman käyttöohjeen mukaan ”tasoluokitus ei missään tapauksessa voi korvata julkaisujen sisältöön perustuvaa vertaisarviointia yksittäisten tutkijoiden tai tutkimusryhmien arvioinnissa”. TSV allekirjoitti DORA-julkilausuman vuonna 2015.

JUFO perustettiin 2010 UNIFIn aloitteesta ja TSVn toimesta. Tavoitteena on ollut kehittää suurten julkaisumäärien tarkasteluun tarkoitettu tieteellisten lehtien, konferenssien ja kirjakustantajien tasoluokitus, jota opetus- ja kulttuuriministeriö voi käyttää yliopistojen rahoitusmallissa yliopistojen koko tieteellisen julkaisutoiminnan laadun mittarina. Opetus- ja kulttuuriministeriön (OKM) yliopistoille kohdentamasta perusrahoituksesta 13 prosenttia perustuu tällä hetkellä tieteellisiin julkaisuihin.

Vuodesta 2015 alkaen julkaisuja on painotettu julkaisutyypin ja Julkaisufoorumi-luokan perusteella. Toisin kuin kansainväliset viittaustietokannat (Web of Science ja Scopus), kansalliseen julkaisuaineistoon perustuva julkaisuindikaattori kattaa kaikki tieteenalat, julkaisutyypit ja -kielet. Lisäksi vastuu kanavien luokittelusta on annettu tiedeyhteisölle. Luokituksen avulla tuotetaan tietoa paitsi ministeriön rahoitusmallia varten, myös koko maan, tutkimusorganisaatioiden ja tutkimusalojen julkaisutoiminnan ja sen kehityksen tarkastelun pohjaksi. Tarkoitus on ollut myös nostaa tutkijoiden julkaisutoiminnan ambitiotasoa välittämällä tiedeyhteisölle tietoa eri tieteenalojen arvostetuimmista ja korkeatasoisimmista julkaisukanavista. Vastaavanlainen järjestelmä on käytössä Norjassa ja Tanskassa.

Julkaisufoorumin käyttö yliopistoissa

Julkaisufoorumi-luokituksen käyttöä yliopistoissa haluttiin selvittää tarkemmin. Vuoden 2015 syksyllä toteutettiin TSVn ja UNIFIn toimesta kysely, johon osallistui 10 rehtoria, 19 dekaania ja 68 laitosjohtajaa. Vastauksia ei saatu kaikista yliopistoista. Tavoitteena oli tuottaa tietopohja, joka tukisi yliopistoja, TSVtä ja UNIFIa JUFOn tuottaman tiedon käytössä sekä käyttöä koskevien suositusten ja ohjeistusten laatimisessa. Yliopistojen rahoitusmallit ja arviointijärjestelmät kehittyvät koko ajan, joten vuonna 2015 järjestetty kysely peilaa enää vain osin nykytilannetta. Kyselyn tulokset ovat kuitenkin suuntaa-antavia.

Mitä kysely sitten kertoo? Julkaisufoorumi-luokitusta käytetään yliopistoissa lähes poikkeuksetta alkuperäisen käyttötarkoituksen mukaisesti julkaisutoiminnan kehittämisessä ja seurannassa (kyllä-vastauksia n. 90 %). Rehtorien ja dekaanien vastausten perusteella varsin yleistä näyttäisi olevan myös luokituksen jonkin asteinen hyödyntäminen sisäisissä rahoitusmalleissa, joiden perusteella resursseja allokoidaan yksiköille (kyllä-vastauksia n. 70 %). Sen sijaan luokitusta hyödynnetään harvemmin yksiköissä tutkimusryhmille tai yksittäisille tutkijoille harkinnanvaraisesti kohdennettavan rahoituksen perusteena (kyllä-vastauksia 46 %). Vain 20 % rehtoreista, 11 % dekaaneista ja 7 % laitosjohtajista vastasi, että tiedekunnille, laitoksille tai yksittäisille tutkijoille on asetettu Julkaisufoorumi-luokitukseen perustuvia ennalta määrättyjä tuloksellisuustavoitteita.

Suhteellisen pieni osa rehtoreista ja dekaaneista ilmoitti, että tiedekuntia tai laitoksia ohjeistetaan käyttämään luokitusta rekrytoinnin kriteerinä (kyllä- vastauksia n. 20 %). Laitosjohtajien vastausten perusteella Julkaisufoorumi-luokituksen hyödyntäminen rekrytoinnissa hakijoiden pätevyyden ja/tai ansioiden arvioinnin kriteerinä ja harkinnanvaraisesti on kuitenkin yleisempää (kyllä-vastauksia 50 %). Rekrytointitermiä ei kyselyssä täsmällisesti määritelty, joten kyselyyn vastaajat ovat voineet ymmärtää sen tarkoittavan esimerkiksi tehtäväntäyttöjä sekä urapoluilla etenemistä (tenure-track).

Rehtorien ja dekaanien vastausten perusteella tiedekuntia tai laitoksia ohjeistetaan käyttämään luokitusta henkilökohtaisen suoriutumisen kriteerinä tai harkinnanvaraisena perusteena useammin kuin rekrytoinnin kriteerinä (kyllä-vastauksia n. 50 %). Laitosjohtajienkin vastausten perusteella luokituksen soveltaminen henkilökohtaisen suoriutumisen arvioinnin välineenä on suhteellisen yleistä (kyllä-vastauksia 62 %). Luokitusta käytetään vähiten palkitsemisen perusteena (tarkoitetaan palkkioita, bonuksia ja kannustimia, jotka eivät ole osa palkkausjärjestelmää) (kyllä-vastauksia 30—40 %).

Julkaisufoorumi-luokituksen käyttötarkoituksissa näyttäisi laitosjohtajien vastausten perusteella olevan tieteenaloittaisia eroja. Ainoastaan julkaisutoiminnan kehittäminen ja seuranta on osa-alue, jossa luokitusta hyödynnetään lähes yhtä paljon kaikilla tieteenaloilla. Henkilökohtaisen suoriutumisen, rekrytoinnin, rahoituksen ja palkitsemisen osalta käyttö näyttäisi olevan yleisempää tekniikan ja yhteiskuntatieteiden aloilla kuin luonnontieteissä, mutta ei niin yleistä kuin humanistisissa tieteissä.

Myös Norjan ja Tanskan kysely- ja haastatteluaineistojen perusteella kansallisen julkaisuindikaattorin käyttö yliopistoissa on kaikkein yleisintä ihmistieteissä. Tämän voidaan olettaa johtuvan siitä, että näillä aloilla impact factorien ja viittausanalyysin soveltuvuus on huono. Vastaavasti ”kovissa tieteissä” voidaan ja halutaan käyttää enemmän vaikuttavuuskertoimia ja H-indeksiä.

Korjattavaa löytyy JUFOsta ja sen käytöstä

JUFOn karkea kolmiportainen luokitus on tarkoitettu yliopistojen koko julkaisutoiminnan laadun mittariksi, eikä se välttämättä sovellu kaikkiin tarkoituksiin, joihin sitä näytetään käytettävän. Pienissä julkaisumäärissä tai yksittäisten julkaisujen kohdalla luokituksen suhde esimerkiksi viittauksiin muodostuu sattumanvaraiseksi.

Yksittäisen tutkijan tai tutkijaryhmän näkökulmasta kaikki tieteenalat kattava JUFO ei aina vastaa luokitusta, joka olisi laadittu tietyn tieteen- tai tutkimusalan omista lähtökohdista ja tarpeita varten. Erityisesti yksittäisen tutkijan arvioinnissa on tärkeää, että julkaisujen laatua tarkastellaan sisällön eikä vain kanavan perusteella. Jufo-luokitusta koskevat rajoitteet yksilötason arvioinnin välineenä tuleekin ottaa huomioon erityisen vastuullisesti. Kyselymme ei kuitenkaan anna vastausta siihen, missä määrin JUFO tai muut julkaisutoiminnan mittarit ovat syrjäyttäneet tai ovat syrjäyttämässä kokonaan asiantuntija-arvioinnin.

Ainoa keino vähentää tutkimusmetriikan painoarvoa tutkijan arvioinnissa on panostaa entistä enemmän vertaisarviointiin. Koska tutkijoiden keskuudessa näyttää olevan paljon epätietoisuutta JUFOn ja muiden julkaisutoiminnan mittarien käytöstä erilaisissa arvioinneissa, yliopistojen olisi hyvä linjata omat tutkimusmetriikan käytön periaatteensa läpinäkyvästi. Täysin yhdenmukaisiin käytäntöihin yliopistojen välillä ei päästä eikä se olisi tarkoituksenmukaistakaan. Arviointikriteerien, -aineistojen ja -menetelmien läpinäkyvyys tulee nähdä osana tieteen avoimuutta.

Oleellista on myös, että tiedeyhteisön tarpeiden mukaisten paikallisten rahoitus- ja arviointimallien kehittämistä jatketaan samoin kuin avointa keskustelua esimerkiksi JUFOn käyttöön liittyvistä ongelmista. Myös JUFOn kehittämistyötä tulee jatkaa, jotta se huomioisi mahdollisimman tasapuolisesti ja luotettavasti eri tieteenalojen arvostukset ja julkaisukäytännöt.

---