Kuinka monta on paljon?

Tutkimustyön tuottavuutta on hankala mitata. Yksi apuneuvo löytyisi artikkelivastineesta, jonka on kehitellyt norjalaistutkija Svein Kyvik 1990-luvun alussa. Kyvik on tutkimuksessaan vertaillut myös eri tieteenaloja edustavien tutkijoiden tuottavuutta. Artikkelivastineen mittayksiköstä voisi olla hyötyä myös UPJ-arvioinneissa. Tästä kirjoittaa ohessa professori Jussi Välimaa.

UPJ:ssä on tänä keväänä haasteena henkilökohtaisen suoriutumisen arviointi. Mietin jutussani sitä, miten tutkimustyön tuottavuutta voisi mitata. En ota kantaa itse UPJ-prosessiin, sillä minun on vaikeaa löytää siitä mitään positiivista sanottavaa. Tosiasia kuitenkin on, että tutkijoiden työstä suoriutumista täytyy arvioida, vaikka UPJ:n neuvottelutuloksessa ei anneta selkeitä kriteereitä siitä, miten se pitäisi tehdä.

Jo tasapuolisuudenkin vuoksi olisi löydettävä kriteerit sille, miten tutkijoiden ja opettajien tekemää tutkimustyötä voidaan arvioida yhteismitallisesti. Tätä arviointia on hyvä tarkastella akateemisen työn tutkimuksen näkökulmista.

Tutkimuksen tuloksellisuuden mitoittamisessa ja mittaamisessa on kaksi ongelmaa: Miten tarkastella erilaisia julkaisuja yhtenäisillä kriteereillä? Kuinka monta julkaisua osoittaa hyvää tulosta?

Kuinka mitoittaa erilaiset julkaistut ja eri tieteenalat?

Eräs järkevän tuntuinen tutkimustyön arvioinnin perusta näyttäisi olevan tieteellinen tutkimusartikkeli. Tutkimusartikkeli tarkoittaa kuitenkin eri tieteenaloilla eri asiaa, sillä sen luonne ja pituus voivat vaihdella luonnontieteiden parista sivusta humanistien 30-sivuiseen tutkielmaan. Norjalainen tutkija Svein Kyvik (Producivity in Academia. Scientific Publishing at Norwegian Universities,1991) on asiaa pohtiessaan määritellyt laskemisen mittayksiköksi artikkelivastineen (article equivalent).

Hän katsoo, että tieteellisen julkaisun mitoituksessa on otettava huomioon sekä julkaisun pituus, tieteellinen luonne (empiirinen, teoreettinen, yleiskatsaus tms.) että tekijöiden lukumäärä. Näin hän itse asiassa määrittää tieteellisen artikkelin vaatiman työmäärän avulla kaikki julkaisut samalle mitta-asteikolle. UPJ:n osalta tämä vaikuttaisi relevantilta perusteelta, sillä meille maksetaan sekä tehdystä työstä että henkilökohtaisesta suoriutumisesta.

Artikkelivastineen mittayksikön avulla Kyvik on mitoittanut erilaiset julkaisut siten, että tieteellisen aikauskirjan artikkeli tai tieteellisen kirjan luku vastaa yhtä artikkelivastinetta. Hän ei tee eroa kotimaisen tai ulkomaisen artikkelin välillä. Tieteellinen kirja vastaa 2 - 6 artikkelivastinetta riippuen kirjan luonteesta, sivumäärästä ja sen toimittamiseen osallistumisesta. Väitöskirja on hänen määrittelyssään 6 artikkelivastinetta. Oleellista on se, että artikkelivastineen avulla voidaan mitoittaa erilaisia julkaisuja samalle asteikolle. Oleellista on myös se, että eri tieteenaloilla asteikot voivat painottua eri tavoin, sillä julkaisemisen luonne ja foorumit vaihtelevat tieteenaloittain.

Kuinka monta on paljon?

Svein Kyvik on tutkimuksessaan laskenut myös tutkijoiden tuottavuutta. Hän vertaa analysoimiaan norjalaisten yliopistojen tutkijoiden ja opettajien tuloksia kansainvälisiin tutkimuksiin tuottavuudesta. Kyvikin mukaan 46,0 % tutkimuksentekijöistä tuottaa vähintään yhden artikkelivastineen vuodessa, 29,6 % tutkijoista tuottaa vähintään kaksi artikkelivastinetta vuosittain, 14,8 % tuottaa vähintään 3 artikkelivastinetta, 7 % tutkijoista yltää vähintään 4 artikkelivastineeseen ja vähintään 5 artikkelivastinetta tuottaa 3,2 % tutkijoista vuosittain. Enemmän kuin 6 artikkelivastinetta vuodessa tuottaa vain 1,6 % tutkijoista.

Eroja löytyy tieteenalojen välillä, sillä yhteiskuntatieteissä vähintään yhden artikkelivastineen julkaisi 63,2 % tutkijoista ja 2,0 % yli 6 artikkelivastinetta, kun luonnontieteissä 46,1 % julkaisi yhden artikkelivastineen verran ja 0,4 % yli 6 artikkelivastinetta. Tulokset ovat suuntaa antavia, sillä tieteiden ryhmät ovat liian laajoja tarkemman analyysin perustaksi. Kyvikin mukaan tutkijoiden tuottavuudessa voidaan kuitenkin löytää säännönmukaisuuksia, sillä tieteenalasta riippumatta noin 20 % tutkijoista tuottaa noin 50 % julkaisuista. Lisäksi tutkijoiden lukumäärä puolittuu, kun artikkelivastineiden määrä kasvaa yhdellä. Nämä luvut ovat hyvin samansuuntaisia kansainvälisten akateemista tuottavuutta tarkastelleiden tutkimusten kanssa.

Tämän tiedon perusteella näyttää siltä, että jokainen vähintään yhden artikkelivastineen vuodessa tuottava tutkija on tehnyt tuloksellisemmin töitä kuin keskimäärin puolet maailman tutkijoista. Kolmella artikkelivastineella tutkija kuuluu jo erittäin tuotteliaaseen kuudesosaan maailman tutkijoista. Poikkeuksellisen hyvä suorituskyky on niillä tutkijoilla, joilla julkaisuja on vähintään neljä artikkelivastinetta vuosittain. Vastaus otsikon kysymykseen on siten: kolme on paljon.

Entä laatu?

En ole ottanut kantaa siihen, miten saada selville hyvän tutkimuksen laatu. Mielestäni tämä kysymys ei edes kuulu UPJ:ssä ratkaistaviin asioihin. Kunkin tutkijan työn laatu punnitaan nimittäin silloin, kun hän etenee urallaan ja hakee vakinaisia virkoja. Akateemisen työn laadunvarmistus voi olla luotettavasti vain tiedeyhteisöjen käsissä.

Toinen peruste on se, että kaikilla tieteenaloilla ei ole käytössä sitaatioindeksejä tai muita laskennallisia välineitä. Kansainvälinen keskustelu on lisäksi kiinnittänyt huomiota tämän menetelmän epäluotettavuuteen, sillä sekä epäonnistuneet että erinomaiset tutkimukset voivat kerätä paljon viittauksia.

Kolmas tekijä on puolestaan se, että Suomen Akatemian seitsemästä julkaisuluokasta löytyvät kaikki tieteellisen julkaisemisen muodot. Eri tieteenaloilla on järkevää julkaista eri foorumeilla. Siksi vain yhden kriteerin – esimerkiksi kv. ref. artikkelin – käyttö ei ole rationaali yleinen laadun kriteeri, kun halutaan saada selville, miten tuottavaa yliopistoissa tehtävä akateeminen työ on.

Ja tuottavuuden palkitsemistahan UPJ:ssä ollaan kiinnostuneita. Tutkimustulosten osalta on järkevää tarkastella kaikkia julkaisuja samalla työn tuottavuutta kuvaavan kriteerin avulla. Artikkelivastine voisi olla tällainen kriteeri.

Jussi Välimaa
professori Koulutuksen tutkimuslaitos
Jyväskylän yliopisto