Laitoksen blogissa käsitellään ajankohtaisia tietojenkäsittelytiedettä tai laitosta koskevia asioita. Blogia toimittaa provokatorisistakin kirjoituksistaan tunnettu professori Jukka Paakki. Kommentointi ja keskustelu on toivottavaa ja suorastaan pakollista.
International department blog
Summer Trip to Porvoo, 14 August 2015
The CS Blog Task Force
The CS Blog Task Force
Lessons Learnt from My First Journal Publication
The CS Blog Task Force
The CS Blog Task Force
1
Reflections after five years of Software Factory projects
The CS Blog Task Force
The CS Blog Task Force
Julkaisufoorumi patistaa laatujulkaisemiseen – laitoksella vielä runsaasti luokatonta julkaisutoimintaa
Kansainvälisiä esikuvia seuraten on Suomeen nyt saatu Julkaisufoorumihankkeen tuloksena tieteellisten julkaisukanavien ensimmäinen laatuluokitus. Yhteensä noin 22 000 tieteellistä julkaisukanavaa (lehdet, kongressisarjat, kirjankustantajat) on luokiteltu kolmeen laatuluokkaan (tasot 1, 2, ja 3) eli perustasoisiin, johtaviin (noin 15 % kaikista) ja korkeimman tason (noin 5 % kaikista) tieteellisiin julkaisukanaviin. Luokitustyö tehtiin 23 tieteenalakohtaisessa arviointipaneelissa Tieteellisten Seurojen Valtuuskunnan organisoimana. Luokitustulos ja siihen liittyvä taustamateriaali on luettavissa Julkaisufoorumin sivuilla, jotka löytyvät kun hakukoneelle sanoo Julkaisufoorumi.
Luokitushankkeen tavoitteena on parantaa maan tieteen laatua: Pyri julkaisemaan tasolla 3 tai vähintään tasolla 2 ja parempaa tulosta odotellessa voit joskus julkaista tasolla 1, mutta luokituksetta jääneillä kanavilla älä julkaise ollenkaan! Luokitus antaa tiedeyhteisölle selvän viestin siitä, mitkä ovat parhaat kanavat, joihin tähdätä ja joiden ulkopuolella julkaisemisesta ei pitäisi innostua.
OKM on jo ottanut tasoluokituksen käyttöön uudessa yliopistojen resurssijakokaavassa: vuodesta 2015 alkaen yliopistojen rahoituksesta 13 % osuus määräytyisi julkaisutoiminnasta siten, että 9 % jaetaan Julkaisufoorumin luokkiin 2 ja 3 osuvien julkaisujen (lukumäärän) perusteella ja loput 4 % luokan 1 perusteella. On odotettavissa, että OKM:n mallia seuraten myös muut tieteen toimijat kuten yliopistot tulevat käyttämään tasoluokitusta laadun mittarina.
Tietojenkäsittelytieteen kanavien luokituksen teki paneeli, johon kuuluivat Jaana Kekäläinen (TaY), Kari Kuutti (OY), Erkki Oja (Aalto), Jukka Paakki (HY), Matti Rossi (Aalto), Kaisa Sere (Åbo) ja Esko Ukkonen (HY). Foorumin sihteeristö ja paneelistit toimittivat paneelillemme luokitettavaksi 1292 julkaisukanavaa. Ensimmäinen ehdotus luokitukseksi valmistui toukokuussa 2011 ja siitä pyydettiin kommentit paneelin kutsumalta noin 40 hengen kommentoijarenkaalta (kommentteja tuli laiskasti). Tämän jälkeen viimeistelimme työmme ja saimme aikaan luokituksen, jossa tasolle 3 tuli 48 kanavaa (3.7 %), tasolle 2 tuli 174 kanavaa (13.5 %) ja loput 1070 kanavaa jäivät tasolle 1.
Tietojenkäsittelytieteen kanavien luokittamisessa erityisen haasteen aiheuttaa alamme erikoisuus, runsas kongressijulkaiseminen. Tietojenkäsittelytieteessä kongressit ovat vakiintuneita ja joskus myös huippuarvostettuja julkaisukanavia, joissa on tietenkin käytössä papereiden vertaisarviointi ja karsinta samaan tapaan kuin tieteellisissä lehdissä. Kongressijulkaisuissa ilmestyy suuri osa parhaista tuloksistamme täysimittaisina papereina. Teknisiä tieteitä lukuun ottamatta koko muu tiedekenttä ei kuitenkaan arvosta kongressijulkaisemista juuri lainkaan – eihän kongressi voi olla uuden alkuperäistuloksen ensimmäinen julkaisupaikka!
Paneelimme keskusteli ankarasti kongressijulkaisemisen asemasta. Kannaksemme muodostui, että kongressijulkaiseminen ei ole hyvä ihanne. Kongressijulkaisuja on liian helppo perustaa, minkä seurauksena julkaisukenttä pirstoutuu, ja kongressipaperien pakkotahtinen referointi ei ole aina erityisen luotettavaa. Tämän viestin koodasimme (varovasti) siten, että emme laittaneet yhtään kongressia tasolle 3. Tässä seurasimme Comm. ACM:n päätoimittajan Moshe Vardin linjaa. Hän on esittänyt kongressijulkaisemisesta luopumista ja paluuta tieteen päävirran mukaiseen julkaisukäytäntöön.
Kongressit ovat myös kovin dynaaminen kenttä, uusia tulee runsaasti koko ajan ja joskus maltetaan joku kongressi lopettaakin. On vaikea laatia luotettava lista kongressisarjoista, jotka ovat riittävän laadukkaita ja vakiintuneita tullakseen mukaan tasoluokitukseen. Paneelimme käytti lähtökohtana Australiassa laadittua kongressiluokitusta. Silti varmaan useita luokituksen ansaitsevia kongresseja jäi tässä vaiheessa listan ulkopuolelle.
Kuinka hyvin laitoksemme julkaisutoiminta tällä hetkellä sijoittuu Julkaisufoorumin tasoille? Pyysin kirjastonhoitajaamme tekemään tästä selvityksen: Vuonna 2012 laitos tuotti 186 julkaisua, ja näistä 12 julkaisua (6 %) sijoittuu tasolle 3, 42 julkaisua (23 %) tasolle 2, 68 julkaisua (37 %) tasolle 1 ja loput 64 julkaisua (34 %) eivät saa tasoluokitusta lainkaan. Tulos on kohtalainen ottaen huomioon sen, että luokituksen ulkopuolelle jääneissä julkaisuissa lienee myös joitakin sellaisia kirjoituksia kuten tieteen popularisointia tai päivälehtikirjoittelua, joita laitoksen sopii kyllä tuottaa mutta joiden ei kuulukaan saada tasoluokitusta.
Miten tästä eteenpäin? Edellä ilmeni että valmistunut tasoluokitus on vasta alkuharjoitus. Totinen paikka on edessä vuonna 2015, mistä alkaen tasoluokituksella tulee todennäköisesti olemaan selvä vaikutus yliopistojen resursseihin. Juuri nyt on siis oikea hetki opetella julkaisemaan kunnon foorumeilla. Tason 2 alapuolelle ei oikeastaan saisi huippuyliopiston huippulaitoksella vilkuilla.
Myöskään luokitusten osalta peli ei ole vielä menetetty. Uusia kanavia otetaan luokitukseen vuosittain mukaan sitä mukaa kuin riittävän laadukkaita ilmaantuu. Lisäykset laitetaan aluksi tasolle 1. Vuonna 2014 on tarkoitus tehdä seuraavan kerran tasoluokitusten täysi uudelleen arviointi. Jos siis suosikkikanavasi ei vielä ole lainkaan listalla tai tasoluokka on mielestäsi ihan väärä, lähetä noottia Julkaisufoorumille. Foorumin sivuilta löydät (Julkaisukanavien ehdottaminen) webbilomakkeen, jolla voit tehdä perustellun lisäys- ja luokitusesityksen. Jos haluat suosikkisi tasolle 2, pitää perustella että kanava kuuluu oman erikoisalueensa julkaisukanavien 20 %:n parhaimmistoon ja jos peräti tasolle 3, silloin 5 %:n parhaimmistoon. On yhteinen etumme, että yhteisvoimin laitamme tasoluokitukset kuntoon.
Esko Ukkonen
Vaikka kommentoida voi anonyymisti, niin toiveena on että oman nimen laittaisi viestin loppuun tai kommentoisi sisäänkirjautuneena, jolloin käyttäjätunnus näkyy viestin alussa.
Lisää kommentti
Kommentit
07.09.2012 - 13:15
02.02.2012 - 13:17
Julkaisukentän muutokset
Meidän alamme julkaisukenttä on muuttumassa. On kaksi keskeistä kysymystä, joihin liittyen käydään aktiivista keskustelua:
(1) Konferenssien ja lehtien suhde. Perinteisesti meidän alallamme julkaisua huippukonferenssissa on pidetty suuressa arvossa ja lehtiversioita artikkeleista ei ole usein vaivauduttu laatimaan lainkaan. Mahdollinen uudistus tässä olisi alan normalisoituminen: omaa työtä toki mainostetaan konferensseissa, mutta varsinainen tieteellinen julkaisukanava on lehdet.
(2) Open access. Perinteisesti tutkijat ovat siirtäneet artikkeleiden tekijänoikeudet vastikkeetta kaupallisille kustantajille, ja kustantajat taas myyvät lukuoikeuksia takaisin yliopistoille. Mahdollinen uudistus tässä olisi siirtyminen avoimeen julkaisemiseen: tekijänoikeudet säilyvät tekijöillä ja julkaisut ovat vapaasti kaikkien luettavissa internetissä.
Julkaisufoorumihankkeessa on otettu näihin kysymyksiin nähdäkseni erilainen lähestymistapa:
(1) Kuten Esko Ukkonen kirjoituksessaan totesi, Julkaisufoorumissa on tietoisesti nostettu lehdet konferensseja tärkeämmäksi. Hiukan kärjistettynä, FOCS- ja STOC-paperit ovat näissä luokituksissa sitä normaalia hyvää tasoa, ja vasta lehtiartikkeli voi olla terävintä kärkeä. Tämä on selvästi irtiotto perinteisestä.
(2) Open access -kysymyksessä puolestaan en ole nähnyt mitään aktiivista kannanottoa. Lupaavia uusia open access -lehtiä on jätetty varovaisesti ykköstasolle, ilmeisesti yksinkertaisesti siksi, ettei niillä ole vielä takanaan pitkää historiaa. Konferenssien osalta avoin julkaiseminen ei ole ainakaan auttanut luokituksia.
Kysymyksen (1) osalta siis julkaisuluokituksilla ollaan aktiivisesti ajamassa muutosta eteenpäin, kun taas kysymyksen (2) osalta passiivisesti seurataan, mitä tapahtuu.
Ymmärrän kyllä molemmat ratkaisut.
Ongelmana tässä on se, että passiivinen lähestymistapa ei ole niin neutraali kuin voisi kuvitella. Kun luokitukset laaditaan sen mukaan, mitä foorumeita on perinteisesti arvostettu, aktiivisesti vaikeutetaan uusien pelaajien tulemista kentälle. Miten uusi open access -lehti voisi koskaan nousta huipputasolle, jos uudet lehdet laitetaan varovaisesti ykköstasolle ja julkaisujen lähettämistä ykköstason lehtiin karsastetaan?
Julkaisuluokitus ei siis edes pysty ottamaan täysin neutraalia näkökulmaa tämän kaltaisiin kysymyksiin: deskriptiivinen lähestymistapa, jossa vain dokumentoidaan nykytila, tarkoittaakin muutoksen aktiivista vastustamista. Luokituksissa joudutaan väistämättä tekemään arvovalintoja ja kannanottoja.
Tämä johtaa myös siihen, että yksittäisen tutkijan arvomaailma ja luokituspaneelin tekemät valinnat eivät välttämättä kohtaa. Meidän tutkimusryhmässämme keskustelimme tästä liittyen tuoreehkon konferenssiartikkelin lehtiversioon. Päädyimme lähettämään sen tasolla 1 olevaan open access -lehteen (Theory of Computing).
Jukka Suomela
Open access ym. muutosliike
Jukka puhuu taas asiaa; jotkin Julkaisufoorumin kaavailluista käyttötarkoituksista ovat piirun epäyhteensopivia omankin arvomaailmani kanssa, koska ne pönkittävät sitä että tehdään ja julkaistaan sellaisista asioista ja sellaisilla tavoilla jotka on jo todettu arvokkaaksi.
Open access on julkaisemisessa uusi trendi, ja uudet poikkitieteelliset alueet ovat... no, jo vanha kaava mutta jokainen on sellaisenaan uusi alue uusine kujeineen. Osasta tulee jotain ja osasta ehkä ei niin paljon, mutta Julkaisufoorumin näköpiiriin eivät kumpikaan kategoria vielä mahdu koska se on vankasti historiatietoa.
Sanotaan nyt sekin ääneen että Open access ei ole pelkästään kehitysmaiden tukea. Teen töitä Suomen suurimmassa, poikkitieteellisimmässä ja kauneimmassa yliopistossa enkä just nyt pääse sähköisesti käsiksi pariin alani keskeisistä foorumeista. Ihan vaan siksi että kustantajan pakettihinnoittelusta johtuen niiden hankinnan vuosimaksu olisi tällä hetkellä luokkaa muutama tuhat euroa per kaipaamani proceedings-kirja eikä se ole kovin järkevä kustannus (IFIP ei ole saanut aikaiseksi tehdä omaa digitaalista kirjastoaan vaan ostaa sen kustantajalta, joka vaihtuu muutaman vuoden välein). No mutta, onneksi on tuttuja Kiinassa, eiku...
Mitä foorumeihin noin yleensä tulee, en ole näistä koostetilastoista ihan loputtoman vaikuttunut. Olen kirjoittanut pari (epäilemättä Google-yhteensopivaa) kirjallisuuskatsaustyylistä pläjäystä jotka ovat puolivahingossa keränneet yhteensä runsas parisataa viittausta sillä aikaa kun olen tehnyt jatko-opintojani. Itse konferenssifoorumit eivät ole olemassa kategorisoinnissa, ja kirjasarjoina IEEE:n sekalaiset ja Lecture Notes in Computer Science ovat ja pysyvät tasolla 1. Joskus hulvattomina hetkinä uskaltaudun jopa uskomaan että tekeleilläni on tällöin ollut jotain pientä merkitystä tieteenalani kannalta, vaikka epäilemättä lähinnä siksi että koko tieteenala on vielä niin uusi että sille ensimmäistä journaalia pykättiin pystyyn viime vuonna. :) Jos toisaalta pelkkiä viittaustilastoja katsotaan, tässä tuntuisi näkyvän että kahdella hassulla jatko-opiskelijan kirjoittamalla paperilla olisikin yllättävä nostattava vaikutus kummankin foorumin joihinkin impaktimittareihin; ja minua kun kiinnosti toisen niistä kohdalla lähinnä se minne sanottavani mahtuu sivumäärärajan perusteella, kun en ajatellut sen olevan niin kovin kummoinen ja yksi hylsykin sille taisi ensin tulla. No mutta, koska ne ovat konferensseja, niistä ei onneksi kerätä virallisia impaktifaktoreita, ei tarvitse miettiä oliko ensin muka vai nana.
En itse ajatellut jatkossakaan kerätä pääasiallisesti papukaijapisteitä, vaan katsoa mitä kautta kohdeyleisöni saan kiinni ja ohjata tieteenalani kehitystä järkevään suuntaan. Sitten ehtimisen riittäessä voisi yrittää jotain kooste+päivitystä nykyisille huippufoorumeille (jos nyt saa eriävät tutkimusparadigmat jotenkin sillattua järkevästi eri yleisöjen välillä että menevät läpikin). Mutta pääasiallisesti katsoisin että mennään niin päin että omista kotifoorumeista nyt vaan jossain vaiheessa tulee vääjäämättä huippufoorumeita kunhan sinne asti ehditään, koska niissä tehdään isoja asioita.
Yliopistotutkimuksen pointti on ymmärtääkseni mennä puhkomaan latua sinne minne muut alkavat kaivata ehkä vuosikymmenen tai muutaman päästä. Koska ei sellaisia riskejä missään muuallakaan mahdu ottamaan. Siksipä minua aina vähän vaivaa että mitäs sitten jos se mittausjärjestelmän painostusvaikutus toimintaan on niin vahva että aletaan juosta ensisijaisesti niiden papukaijapisteiden perässä, eli mennä hakemaan ekologista lokeroa sieltä missä kaikki muutkin jo ovat.
Kuka nyt mereltäkään maalle nousisi kun tuhannet viime aikoina syntyneet lajit ovat kaikki olleet meressä, ja maata ei ole edes vielä luokiteltu elinkelpoisuusasteikolla? ;)
Jos tuore tietojenkäsittelytieteen varhaisen vaiheen tutkija aloittaa väitöskirjaprojektin asiasta jota on pengottu niin kauan että kaksi edellistä sukupolvea on jo sitä mieltä että sillä on hienot pitkät perinteet ja paljon tärkeää on siitä julkaistu (ja katso, sillä voi kerätä papereita Julkaisufoorumin suosittamilla foorumeilla), hän pääsee nypläämään pitsiä suurten tekijöiden jalanjäljissä (ehkä niiden pohjalla). Ja erikoistuu vaikkapa nyt tietokantojen tietynlaisten hakujen optimointiin. Ja tekee varmaan sitten suunnilleen sitä tutkijanuransa ajan, koska jos jatko-opintovaiheessa ei kannata ottaa riskejä, mahtaako koskaan myöhemminkään.
Jos taas tuore tutkija lähtee tonkimaan vaikka hypekäyrälle parin vuoden päästä laskeutuvaa aihetta, hän voi yhtäkkiä huomata olevansa maailman johtava ekspertti alalla jota yhtäkkiä vedetään joka suuntaan. Silloin kudotaan melkoisella täpinällä säkkikangasta ja toivotaan etteivät reiät jää kovin isoiksi, ja parhaimmillaan yhteiskunnallinen impaktikin on käsin kosketeltavissa. Ala tasaantuu vasta ehkä seuraavan sukupolven tullen, ja siinä vaiheessa maasto on jo paalutettu: tervetuloa virkkaamaan tähän kulmaan, ja tuo on varattu, sinne ei ole menemistä, ja se ei ole muodissa Australian tiedepolitiikassa tänä vuonna. :)
En nyt suinkaan halua tässä väittää että kaikkien pitäisi olla aina propellipäähippejä ja lähteä Marsia tonkimaan vain siksi että siellä ei ole oltu; kyllä niitä aloitettuja asioita pitää tehdä valmiiksi ja viilata huippufoorumit pystyyn myös, ja mitattavuus on mittausmieliselle aina tärkeää.
Mutta haluaisin painokkaasti väittää että kun katsotaan minkämuotoisia huiput yleensä ovat ja mihin suuntaan sieltä voi lähteä, juuri propellipäähipeille pitää erikseen antaa johtamisen tasolla tilaa kukoistaa: propellikehitys on vaikeaa, ja osa kuolee joka tapauksessa hapenpuutteeseen kun käy ilmi että kidukset eivät sopeudu avaruuteen, mutta joistakin syntyy parhaimmillaan vaikka uusia ainelaitoksia parin sukupolven päästä. Sellaisia joilla onkin seuraavan 50 vuoden ajan hurjat paineet todistaa kaikille muille aloille että kyllä mekin osataan tehdä rigoröösiä tutkimusta, ja kyllä mekin ollaan tiedettä, ihan oikeasti, vaikka tehdäänkin asioita myös aika eri tavalla kuin emolaitokset ja -alueet eikä välttämättä oikein hallita vielä omiakaan tutkimusmenetelmiämme, saatika muilta sovellettuja, jne.
Haluaisin tiivistää tästä lopullisena johtopäätöksenä että tietojenkäsittelytiede on minusta ihan sairaan päheetä. :)
Julkaisufoorumiin perustuvat mittarit
Näen paljon hyvää siinä, että julkaisuja on jotenkin luokiteltu. (Vielä paljon parempi tilanne olisi, jos luokittelusta olisi jonkinlainen kansainvälinen yhteisymmärrys.)
Mutta kuinkahan julkaisujen luokittelusta saatavia tilastoja konkreettisesti käytetään julkaisujen laadun mittaamiseen?
Joissain ehdotuksissa on -- Eskonkin kirjoituksen otsikon hengessä? -- tarkasteltu eri luokkiin sijoittuvien julkaisujen suhdetta. Ajatuksena varmaankin on saada jonkinlainen käsitys tutkimuksen yleisestä laadusta. Näinhän asia ei kuitenkaan ole, ja tällaista suhteellista mittaustapaa ei missään nimessä pitäisi käyttää.
Asia tulee toivottavsti ilmeiseksi yksinkertaisella esimerkillä. Vuonna 2012 laitos siis tuotti 186 julkaisua, joista 64 (34 %) ei saanut lainkaan tasoluokitusta. Jos nuo julkaisut olisi jätetty tekemättä, laitoksen suhdeluvut olisivat huomattavasti paremmat. Mutta olisiko laitoksen tutkimus ollut parempaa?
Ei tietenkään, ennemminkin päinvastoin. Eivät hyvät julkaisut tulisi siitä yhtään paremmiksi, että huonompia jätettäisiin tekemättä. Ajatusleikin voi tehdä myös toisin päin. Jos samojen laatujulkaisujen lisäksi julkaistaan lisää luokittelemattomilla foorumeilla, laskeeko laatu? Ei tietenkään, laatututkimus on laatututkimusta riippumatta muista julkaisuista.
Suhdeluku mittaa siis väärää asiaa, ja sitä on lisäksi helppo manipuloida jättämällä heikompien foorumien julkaisut tekemättä (tai raportoimatta tilastoihin). Heikommat foorumit kuten workshopit voivat kuitenkin olla tärkeitä esim. tutkijakoulutuksessa: ne tarjoavat matalan kynnyksen jatko-opiskelijalle päästä verkostoitumaan ja harjoittelemaan tieteellisessä yhteisössä toimimista, usein juuri omalla erikoisalalla. Siihen kai haluamme kuitenkin kannustaa?
Mitä sitten pitäisi mitata, jotta saataisiin kuva laadusta ja kannustettaisiin laadukkaaseen tutkimukseen haittaamatta toisaalta esim. workshop-tason toimintaa?
Yksinkertaista: tulee mitata julkaisujen kärkeä absoluuttisesti, ei suhteellisesti, ja palkita siitä kuinka terävä ja leveä tuo kärki on. Kuinka monta julkaisua meillä on etenkin parhaissa luokissa 3 ja 2 ja kuinka tämä lukumäärä kehittyy tulevaisuudessa?
Hannu Toivonen
Foorumeista ja lehdistä
Olen Haban kanssa samaa mieltä siitä, että on ihan hyvä, että tämänkaltaisia luokitteluja tehdään ja olen edelleen samaa mieltä siitä, että olisi erittäin hyvä, jos meillä olisi laajempi kansainvälinen yhteisymmärrys siitä, miten eri foorumit luokitellaan. Suomen listan hyvä puoli on se, ettei pyörää lähdetty keksimään uudestaan, vaan otettiin Australian lista pohjaksi. Tämän huono puoli on se, että Australian lista osin luokittelee foorumit Australian oman tiedepolitiikan mukaan, painottaen konferensseja heidän näkökulmastaan. Omasta näkökulmastani (tietoverkot) tämä käytännössä tarkoittaa sitä, että muutamia "helppoja" foorumeita on otettu listalle mukaan, vaikkeivat ne ehkä sitä ansaitsisi.
Toisaalta, eräänlainen kansainvälinen yhteisymmärrys foorumien tasosta vallitsee jo jokaisen tutkijayhteisön sisällä. Tämänkaltaista "mutua" on tietenkin hankala heittää OKM:n suuntaan. :-) Kuten edellä muut jo kirjoittavatkin, eivät lista ja yhteisön oma arvostus aina kohtaa. Tästä syystä sanoisinkin jatko-opiskelijoille ja postdoceille, että unohtakaa kokonaan tämän listan olemassaolo. Teidän tehtävänänne on saada väitöskirja kasaan tai pätevöityä (akateemiselle) uralle, eikä niissä tehtävissä kannata keskittyä papukaijamerkkien keräämiseen. Tärkeämpää on julkaista niissä paikoissa, joita _oma_ tutkijayhteisönne arvostaa; jatko-opiskelijoiden kohdalla iso osa tästä vastuusta on myös ohjaajalla. Teidän yhteisönne kolleegat arvioivat väitöskirjanne ja päättävät, saatteko professuuria tai muuta työpaikkaa, eivät OKM:n irtopisteitä laskevat byrokraatit. Tottakai päällekkäisyyttä listan hyvien ja yhteisön arvostamien foorumien välillä on paljon, mutta paljon eri yhteisöjen arvostamia foorumeja on jäänyt listalta kokonaan pois (hyvästä syystäkin). Esimerkiksi tietoverkkojen alalla huippukonferenssien yhteydessä järjestetään workshopeja, joissa julkaisemista arvostetaan, mutta jotka eivät koskaan tule tämänkaltaiselle listalle pääsemään (eikä niiden tulisikaan päästä).
Hieman tuossa ehkä tuli kärjistettyä, mutta kuten yllä sanoin, näen hyvää siinä, että tällainen lista on olemassa. Omasta puolestani, aion jollain tasolla kiinnittää huomiota siihen, etenkin tilanteissa, joissa pitää valita kahden eri, omasta ja yhteisön mielestä samantasoisen, konferenssin välillä, ja toisella on parempi luokitus tai toista ei ole listalla ollenkaan. Tällöin yritän sitä parempaa. Ja tottakai hyviä papereita yritetään ensin paremmille foorumeille, mutta en tarvitse mitään listaa osatakseni tehdä tämän. :)
Kuten Sini kirjoittaa, listan orjallinen seuraaminen johtaa mahdollisesti ossifioitumiseen, eikä uusille avauksille ole tilaa, koska niistä ei saa pisteitä. Tämä on erittäin vaarallinen suuntaus, ja sen takia ei yksittäisen tutkijan tai tutkimusryhmän kannata liian tiukkaan seurata listaa. Laitoksen johtajan näkökulmasta tilanne on varmaan hieman eri kun hän tarvitsee jotain kättä pidempää neuvotteluissa dekaanin kanssa. ;-)
Eskon mainitsema lehtien painotus konferenssien kustannuksella on mielenkiintoinen kannanotto. Tämä keskustelu herää eloon aina silloin tällöin ja mielipiteitä menee molempiin suuntiin. Itselläni ei ole uskonnollista vakaumusta kumpaankaan suuntaan, mutta tämä herättää muutamia ajatuksia.
Yksi argumentti lehtien puolesta on juuri tuo Eskon mainitsema "kaikki muutkin tekevät niin", mutta entäpä jos me olemmekin edelläkävijäala ja muut ovat hieman jälkeenjättöisiä? Perinteisesti lehtien arvostus on seurannut siitä, että niissä on vertaisarviointi, ne julkaistaan virallisesti ja niistä säilytetään kopioita, taaten tulosten saatavuuden ja pysyvyyden. Konferensseista ei välttämättä julkaista mitään eikä kaikilla aloilla niissä ole edes vertaisarviointia; tietoverkkojen puolella tosin jopa surkeimmissa Ö-luokan workshopeissa on (jonkinlainen) vertaisarviointi ja melkein kaikista julkaistaan jonkinlaiset prosarit (mutta onpa jopa virallisella listalla yksi meidän alan foorumi, josta ei kunnon prosareita tehdä; on vain webisivu...).
Ainakin tietojenkäsittelyssä lähes koko julkaisutoiminta tuntuu siirtyneen internetiin, enkä tarkoita pelkästään open access -julkaisuja. ACM ja IEEE julkaisevat digitaalisissa kirjastoissaan sekä konferenssit että lehdet ja tarjoavat julkaisupalveluita myös ei-affilioituneille konferensseille. Lääketieteessä on PubMed ja meidänkin yhteisöissä on puhuttu, pitäisikö tietojenkäsittelyssäkin perustaa vastaavanlainen sivusto.
Jos julkaisut ovat netissä saatavilla kunnolla luokiteltuina ja vertaisarvioinnin läpikäyneinä, onko sillä mitään väliä julkaistiinko se "konferenssissa" vai "lehdessä"? Tiedon saatavuuden ja pysyvyyden kannalta näillä ei enää nykymaailmassa ole mitään eroa. Eikö lehti ole tässä tapauksessa eräällä tavalla konferenssi, jossa ei pidetä esitelmää? Tottakai jonkinlainen "foorumien" luokittelu tarvitaan, koska muuten ei oikeasti tärkeitä artikkeleita löydä mitenkään. Ja propellipäille, anarkistinen "paperit Arxiviin ja slashdot-tyyppisellä moderoinnilla/vertaisarvioinnilla nousevat jyvä eroon akanoista" ei , IMHO, tule ikinä mitenkään vahingossakaan toimimaan, vaikka sitäkin on ratkaisuksi ehdotettu.
Eräs pointti, joka näissä lehti vs. konferenssi keskusteluissa usein tulee esiin on se, että ne yllämainitut arvioijat (väitöskirja, professuuri) painottavat sitä, mitä alalla pidetään hyvänä, eli usein konferensseja. Tarvittaisiin siis laajamittainen, äkillinen siirtymä konferensseista lehtiin, jotta lehtien painoarvoa voitaisin oikeasti yhteisön silmissä nostaa. Jos tenure track -komitea katsoo, montako julkaisua on huippukonferensseissa, on tyhmää julkaista lehdissä. Akatemian tietojenkäsittelytieteen arviointi vuonna 2007 antoi tietoverkoille palautteena: "Miksette julkaise alanne huippukonferensseissa?". Tämänkaltainen ajattelutavan muutos ei ole helppo saavuttaa, mutta en myöskään sano, että se olisi väärä suunta.
Itselläni ei ole selkeää kantaa tässä suhteessa, kumpi suunta olisi oikea, mutta saatan hyvinkin tulevaisuudessa lähettää artikkelin ennemmin lehteen kuin huonommin tai samoin luokiteltuun konferenssiin, mikäli koen edellisen olevan "helpompi" saada artikkeli läpi (ja minulla on aikaa odottaa arvioinnin tuloksia).
Jussi Kangasharju
Lehdistä ja konferensseista
Ja siltä varalta, että joku ei vielä ole huomannut: lehtien ja konferenssien yhdistyminen on jo käynnissä. Esim. ICML ottaa ensi vuonna valmistelevan askelen kohti VLDB:n mallia. Perusajatus on, että lehdellä on vaikkapa 6 numeroa vuodessa, jokaisella numerolla oma määräaikansa artikkelien tarjoamiselle, ja vuoden aikana hyväksytyt artikkelit muodostavat kesän konferenssin ohjelman.
Omien havaintojeni perusteella Julkaisufoorumin tasoilla 2 ja 3 olevien lehtien arviointiprosessit eivät mitenkään eroa edukseen tason 2 konferensseista. "Paluu" tieteen päävirran mukaiseen julkaisukäytäntöön tarkoittaisi kai siirtymistä julkaisemaan kaupallisten kustantajien kalliissa lehdissä. Minun on vaikea uskoa tämän saavan laajaa kannatusta ainakaan aloilla, joilla on jo totuttu siihen, miten paljon helpompaa ja halvempaa avoin julkaiseminen on.
Jyrki Kivinen
journal and conference
Such ranking is always debatable, especially mixing conference and journal together. Even in China there were arguments raising when such intention was initiated. However, it appears like a trend.. and there is even official ranking list out-there.
Different from the level 1 2 3 covering all venues, conference and journals are put to different categories. For information, provides a few links for those who are interested, so that researchers at TKTL can judge and comment.
Networking and Communications - first A B C levels are for journals, the following A B C are for conferences
http://www.ccf.org.cn/sites/ccf/biaodan.jsp?contentId=2567814757416
Database, Data mining
http://www.ccf.org.cn/sites/ccf/biaodan.jsp?contentId=2567518742937
AI and pattern recognition
http://www.ccf.org.cn/sites/ccf/biaodan.jsp?contentId=2567814757420
The overview (only in Chinese, sorry)
http://www.ccf.org.cn/sites/ccf/paiming.jsp
few comments and personal
few comments and personal opinions:
1) when everyone else is doing that, it does not necessarily mean we need to follow, becasue by following, we can hardly take the lead.
2) more crucial for us to concern is that if nobody or very few are doing that, shall we adopt such strategy e.g. using the publication ranking to guide our direction.
Picking the right forum is important and very tricky as well - the most dominant conference or journal nowadays all started from its first session and first issue years and years back. At that time, what is their ranking?
I like the analysis of current TKTL publication status, just for one simple reason - we need a voice to point out that actually 'the king isn't wearing properly' at the moment.
Aaron
Haba puhuu asiaa
Haba nostaa esille tärkeän asian. Ei olennaista ole keskimääräinen laatu, vaan korkeatasoisten julkaisujen määrä. Tässä tehdään usein virhe: Jopa itse Akatemia julkaisi taannoin raportin, jossa vertailtiin eri maiden julkaisujen keskimääräisiä sitaattilukuja. EVVK, täysin merkityksetön suure.
Aapo
Soveltamista
Nyt kun on meneillään urapolku-hakuja ja kohta tulee lisää, niin käyttääköhän laitos tätä työkalua arvioinnissa heti? Hmmm, tiedossa voisi olla mukavia ja vähemmän mukavia yllätyksiä. No toisaalta satunnaiskohinaa on aina paljon.
Tomi