Keskustelua

Nykyisessä vertaisarviointikäytännössä on pahoja puutteita, mutta se on kehittämiskelpoinen, kirjoittaa Mikko Heikkilä. Parannusta toisi kirjoittajan mukaan muodollisesta nimettömyydestä luopuminen tai kolmannen nimettömän arvioijan mukaan ottaminen.

Unus inter pares — vertaisarvioinnin vertaisarvio

Vertaisarviointi on kaikille etabloituneille tieteentekijöille perin tuttu käytäntö tieteenalasta riippumatta; kaikille arvioitavan, useimmille myös arvioijan ja monille vielä tiedelehden toimittajan roolissa. Kansainvälisesti tunnetun British Medical Journalin pitkäaikainen editori Richard Smith peräsi Katri Pajusolan haastattelussa (Acatiimi 8/2016) ”uudenlaista avoimuutta julkaisujen vertaisarviointiin” todeten muun muassa, että ”[vertaisarvioinnin] tarkoitus on hyvä, mutta todellisuudessa järjestelmä toimii huonosti”. Yhdyn monilta osin Smithin näkemykseen vertaisarvioinnista järjestelmänä. Erittelen seuraavaksi (ihmistieteellisten artikkelien) vertaisarvioinnissa esiintyviä ongelmia ja esitän lopuksi joitakin parannusehdotuksia (varsinkin niiden) vertaisarviointikäytäntöihin.

Erityisesti tiedelehtien päätoimittajien on syytä tiedostaa, että refereemenettelyssä on kyse vallankäytöstä ja että tiedeyhteisö on kuin taitoluistelukilpailu, jossa kilpailijat arvioivat toistensa suoritukset. Siksi tiedelehtien toimitusten tulisi vahvasti välttää tilanteita, joissa tutkijan T käsikirjoituksen K vertaisarvioijaksi pyydetään henkilö H, joka on itse tutkinut (aivan) samaa aihetta ollen siitä vastakkaista mieltä ja joka arviossaan joutuisi ottamaan kantaa, kumpi hypoteesi on parempi, hänen omansa vai arvioitavan käsikirjoituksen kirjoittajan. Ihmisluonteen ja akateemiselle maailmalle ominaisen kilpailuasetelman tuntien sellaisen arvioinnin lopputulos on useimmiten ennalta arvattavissa intressiristiriidasta johtuen, eikä tilannetta ainakaan paranna se, että arvioija on arvioitavan käsikirjoituksen kirjoittajan suuntaan muodollisesti anonyymi, mutta pystyy useimmiten itse päättelemään, kenen käsikirjoitusta arvioi. Sitä paitsi yllä kuvailtu tilanne on hyvin selvästi hallintolain esteellisyyspykälän (28 §) hengen vastainen. Yhtä selvä jääviystilanne syntyy myös liian läheisten kollegoiden arvioidessa toistensa tuotoksia, ja sitä pitää yhtä lailla tietoisesti välttää.

Suomen kaltaisessa asukasluvultaan pienehkössä maassa tiedepiirit ovat sen verran pienet, että vertaisarvioinnin nimettömyys on varsin usein nimellistä eikä ulkomailta läheskään aina löydy sopivia arvioijia. Toisin sanoen useimmiten refereet tietävät, kenen/ keiden käsikirjoitusta arvioivat, ja melkein yhtä usein käsikirjoituksen kirjoittaja(t) tietä(v)ä(t), ketkä käsikirjoituksen ovat arvioineet. Ei-tieteellisistä syistä johtuvat hylkäyslausunnot ja kaikki asiattomat refereelausunnot niihin sisältyvästä hyväksyttävyysehdotuksesta riippumatta ovat omiaan luomaan poleemisia suhteita tutkijoiden välille, mikä puolestaan heijastuu negatiivisesti takaisin vertaisarviointeihin.

Refereelausunnot saavat luonnollisesti olla kriittisiä — arvioitavan käsikirjoituksen laadusta riippuvassa määrin — mutta asiattomuuksia ja tarpeetonta ilkeyttä tulee välttää — kuten kaikessa sivistyneessä toiminnassa. Refereelausuntoja kirjoitettaessa ja toimituksen niitä tulkitessa tuleekin voimakkaasti keskittyä lausunnoissa esitettävien näkemysten perusteluihin. Vaikka lausunnossa lukisi, sanokaamme, että käsikirjoituksessa on vakavia puutteita tai että se on näinkin heikkotasoinen, mutta lausunnossa esitetyt (asia)perustelut väittämän tueksi ovat köykäiset, tulisi hälytyskellojen soida toimituksessa. Voimakkain sanankääntein esitetty kritiikki ei yksin saisi varmistaa käsikirjoituksen julkaisematta jättämistä. Yhtään sen enempää arvioitavan käsikirjoituksen kritiikitön ja/tai perustelematon suitsutus ei yksin saisi varmistaa sen julkaisemista.

Yleinen kahden anonyymin refereen käytäntö on ongelmallinen, koska kaksi on parillinen luku ja arviot eroavat usein toisistaan merkittävästikin ja koska nimettömyys on usein muodollista nimettömyyttä. Lisäksi ainakin jommankumman lausunnon saaminen kestää usein kauan (vrt. Smith).

Tässä vaiheessa arvoisa lukija voi luulla, että kannatan Richard Smithin tavoin vertaisarvioinnista luopumista. En kannata. Hyvin ja kohtuullisessa ajassa toimiva vertaisarviointi on mielestäni parempi asiaintila kuin vertaisarvioinnin puuttuminen. Erityisesti silloin, kun vertaisarviointi on oikeasti anonyymi molempiin suuntiin ja refereet esteettömiä, vertaisarviointiprosessi puolustaa mielestäni vahvasti paikkaansa.

Ratkaisu kahden nimettömän refereen käytäntöön sisältyviin ongelmiin voisi olla, että arviot joko annetaan omalla nimellä (vrt. Smith), mikä yleensä maltillistaa kielenkäyttöä, tai sitten siirrytään kolmen nimettömän arvioijan käytäntöön ja julkaisupäätöksissä määräenemmistöpäätöksiin siten, että kolmen puoltolausunnon käsikirjoitusta ei toimituksen toimesta jätetä julkaisematta kuin kirjallisesti perustellusta erittäin painavasta syystä, kahden puoltolausunnon käsikirjoitus pääsääntöisesti hyväksytään julkaistavaksi, yhden puoltolausunnon käsikirjoitusta ei pääsääntöisesti hyväksytä ja nollan puoltolausunnon käsikirjoitusta lähtökohtaisesti ei koskaan. Kolmen arvioijan mallissa olisi se(kin) etu, että mikäli joku nimetyistä (ainakin teoriassa) nimettömistä arvioijista ei sitten syystä tai toisesta kykenekään laatimaan lausuntoa (kohtuullisessa ajassa), puuttuvaa lausuntoa ei tarvitse jäädä pitkää aikaa odottamaan eikä refereen tarvitse selitellä.

Optimaalinen vertaisarviointiasetelma olisi mielestäni kolmen esteettömän refereen ja arvioitavan käsikirjoituksen tekijän/tekijöiden todellinen molemminpuolinen nimettömyys, sillä nimellisenä annettava lausunto voi itsesensuurin muodossa myös rajoittaa arvioijaa tuomasta rehellisesti esiin kaikkia näkemyksiään arvioimastaan käsikirjoituksesta. Optimaalista tilannetta astetta huonompi muodollisesti nimettömien esteettömien vertaisarvioijien tilanne on sekin hyvin kannatettava. Kahden muodollisesti nimettömän intressiristiriitaisen arvioijan asetelma on sen sijaan lähinnä huono.

Entä miten suhtautua asiattomiin refereelausuntoihin? Asiattoman hylkäyslausunnon perusteella ei tule hylätä käsikirjoitusta – joskaan ei myöskään hyvitykseksi sitä hyväksyä –, vaan asiattoman lausunnon laatinut arvioija hyllytetään määräajaksi kyseessä olevan lehden vertaisarvioijareservistä, ja käsikirjoituksen julkaisupäätöksen tekemisen tueksi pyydetään vielä yksi asiantuntijalausunto. Kiukkuisesti kirjoittaminen ei saa lisätä refereen mahdollisuutta estää käsikirjoituksen julkaisu, kuten ei myöskään kritiikitön hehkutus saa varmistaa käsikirjoituksen julkaistavaksi hyväksymistä, vaan sekä puolto- että hylkäysehdotuksen läpimenon todennäköisyyden tulisi riippua ehdotuksen tueksi refereelausunnoissa esitettyjen asia-argumenttien, ja vain niiden, laadusta. Edellä kirjoitettu pätee pitkälti myös opinnäytteiden arviointiin ja yliopistotehtävien täytössä käytettävään asiantuntija-arviointiin, vaikka niissä asiantuntijaarviot annetaan virallisestikin nimellisinä.

Vertaisarvioinnin vertaisarvioni loppulausuma ja kunnioittava ehdotus järjestelmän hyväksyttävyydestä suomalaiselle tiedeyhteisölle on täten tämä: hyväksytään muutoksin.

Mikko Heikkilä
FT, kielen- ja historiantutkija
Tampereen yliopisto