Suoriteperusteisuus vie terän uusilta tutkimusavauksilta

Jufo-pisteiden perusteella tutkimuksen laatu yliopistoissa on viime vuosina parantunut, vaikka väki on vähentynyt, selviää professori Tommi Kärkkäisen kokoamista tilastoista.

Yliopistojen henkilöstömäärä on viime vuosina vähentynyt, mutta samaan aikaan julkaisujen laatu on kasvanut kohisten. Tämä selviää Jyväskylän yliopiston IT-tiedekunnan professorin ja toimialueen johtajan Tommi Kärkkäisen kokoamista tilastoista.

Luvut osoittavat, että yliopistoissa tuotettujen julkaisujen määrä on vuosina 2015–2018 kasvanut noin 2 prosenttia, mutta samaan aikaan artikkelien määrä Jufo-luokassa 3 on kasvanut peräti 21 prosenttia. Tällä mittaustavalla suomalainen tutkimus on siis selvästi laadukkaampaa kuin aiemmin.

Kärkkäinen on yhdessä tutkijatohtori Mirka Saarelan kanssa tutkinut muun muassa Jufo-luokitusten määräytymistä. Heidän tutkimustensa perusteella huippujulkaisujen osuuden merkittävä kasvu johtuu ennen kaikkea siitä, että suomalaiset tutkijat julkaisevat johtavissa julkaisusarjoissa jo ennestään aktiivisesti.

Asian kääntöpuolena on se, että uusien tutkimusavausten tekeminen on entistä hankalampaa. Kärkkäisen mukaan kynnys uusiin avauksiin on yliopistojen rahoituksen suoriteperusteisen ohjausmallin vuoksi kasvanut. Toisin sanoen on helpompaa julkaista määrällisesti paljon jo ennalta hyväksi havaituissa julkaisuissa kuin ottaa riskejä.

— On tavallaan hyvin vaikea ajatella pidemmällä aikavälillä, mihin voidaan investoida, kun ohjauksellisesti tuloksiin vaikuttavat lukumäärät, Kärkkäinen sanoo.

Suoriteperusteinen ohjausmalli näkyy Kärkkäisen mukaan myös esimerkiksi niin, että iso osa tutkimuksesta liittyy väitöskirjoihin. Niin sanotut nippu- eli artikkeliväitöskirjat ovat lisääntyneet, jotta uusia julkaisuja saadaan myös määrällisesti enemmän aikaan.

Vaikka varsinkin juhlapuheissa puhutaan usein yliopistojen autonomiasta, Kärkkäisen mielestä juuri resurssiohjauksen voimakkuus heittää varjon autonomian päälle.

— Se liittyy juuri tähän uusiutumiseen, että kuinka paljon autonomiaa käytännössä on ja missä rajoissa se toteutuu.

Sitä saadaan, mitä mitataan

Tutkintomäärillä on jo pitkään ollut merkittävä rooli yliopistojen rahoituksessa. Tilastojen perusteella rahoitusmalli on tuottanut tulosta ainakin vuoden 2010 yliopistouudistuksen jälkeen, sillä siitä lähtien yliopistotutkintojen määrä on kasvanut noin 10 prosenttia.

Kärkkäinen kuitenkin muistuttaa, että tässäkin tapauksessa saadaan sitä, mitä mitataan.

— Kaikissa strategioissa ja visioissa on ylevä lähtökohta, että meidän pitäisi olla maailman osaavin kansa. Korkea koulutustaso siis rinnastetaan korkeaan osaamiseen.

Perustutkintojen laatua tai niiden tuottamaa osaamista ei kuitenkaan arvioida ulkopuolelta mitenkään.

Kärkkäinen on toiminut tietotekniikan aineenopettajakoulutuksen vastuuprofessorina yli 20 vuotta ja nähnyt omassa työssään, miten varsinkin pienet oppiaineet ovat määrällisen ohjauksen takia kovassa puristuksessa. Hän sanoo, että henkilöstömääriin suhteutettu tutkinto- ja julkaisumäärien rakettimainen kasvu kiihdyttää resurssiohjauksen yksikköhintoja inflatoivaa vaikutusta. Kun rahaa jaetaan tietystä budjettimomentista kolmen vuoden liukuvien keskiarvojen perusteella, tuotosmäärien noustessa yksikköhinnat laskevat.

— Kun tutkintoja tulee lisää, yksittäisen tutkinnon rahoitus vähenee koko ajan. Samaan aikaan kustannustaso kuitenkin nousee, ja opetukseen on tehtävä monenlaisia järjestelyitä, hän sanoo.

— Koko yliopistoväen on siis keskityttävä hiihtämään nopeammin ollakseen liukumatta taaksepäin.

Automaatio ennustaa Jufo-luokituksia

Juuri tässä tilanteessa on olennaista ymmärtää muun muassa Jufo-luokituksien perusteita. Jufo-pisteiden perusteella jaetaan tällä hetkellä 13 prosenttia yliopistojen rahoista.

— Kun systeemi on tällainen, kaikki tietävät, että kannattaa julkaista mahdollisimman hyvillä foorumeilla. Ja Jufo ilman muuta kertoo, mitkä paikat ovat hyviä.

Kärkkäinen ja Saarela analysoivat Jufo-tasoja jo neljä vuotta sitten julkaistussa tutkimuksessaan. Silloin yksi johtopäätöksistä oli se, että suomalaiset tutkijat julkaisevat keskimääräistä aktiivisemmin korkeimman Jufo-tason julkaisusarjoissa.

Hiljattain Kärkkäinen ja Saarela julkaisivat jatkotutkimuksen, jossa he kehittelivät malleja Jufotasojen ennustamiseen. Tutkimuksen aineistona käytettiin Juuli-tietokannasta löytyviä suomalaisten tieteenharjoittajien julkaisutietoja sekä Julkaisufoorumin sisältämiä julkaisusarjojen metatietoja.

Tutkimuksen kahdessa osiossa analysoitiin ohjatun koneoppimisen menetelmien avulla sekä Jufotason määrittelyn automatisointia että mallien ennusteista poikkeavia Jufo-tasoja. Kun Kärkkäinen ja Saarela vertasivat automaation kautta määrittyneitä Jufo-tasoja, ne olivat lähes 90-prosenttisesti asiantuntijapaneelien tekemiä luokituksia vastaavia.

Kuten aikaisemmassakin tutkimuksessa, automatisoiduista malleista poikkesivat edelleen lähinnä ne julkaisusarjat, joissa suomalaiset tutkijat jo ennestään julkaisevat keskimääräistä enemmän.Mallien tuominen käytäntöön helpottaisi erityisesti eri alojen säännöllisesti kokoontuvien Jufo-paneelien toimintaa. Paneelit tekevät päätöksiä siitä, mihin Jufo-luokkaan mitkäkin julkaisusarjat kuuluvat. Kärkkäinen on itse Tietojenkäsittely ja informaatiotieteet -paneelin jäsen, joten hän tuntee hyvin Jufo-luokitusten kriteerit ja paneelien työtavat.

— Niissä käydään yksilöllisesti ja ryhmänä aika monta tuhatta julkaisusarjaa läpi, ja keskustelu on asiantuntijalähtöistä, Kärkkäinen sanoo.

— Yksittäisillekin tutkijoille ja tutkimusryhmille olisi hyödyllistä tietää, mistä luokitus tulee ja mitkä tekijät tasoon vaikuttavat.

Nyt Kärkkäisen ja Saarelan tavoitteena on edistää Jufo-luokitusten automatisointia tuomalla oman tutkimuksensa tuloksia ja malleja entistä laajemmin Julkaisufoorumin avuksi. Kärkkäisen mukaan keskustelut Tieteellisten seurain valtuuskunnan kanssa on jo aloitettu.

---