不該用期刊評價指標來評科研人員
發(fā)稿時間：2017-04-18 17:36:39 來源：澎湃新聞網 作者：羅昕
剛過世的“SCI之父”加菲爾德曾在中國親自對“利用影響因子來評估科研”等問題作出回應：“用期刊影響因子來評估每個人的科研表現和科研能力，包括他個人的評估，獎金也好，贊助也好，都是不合理的。”
“按領域加權引用影響指數，世界科研文章的平均水平是1.0，中國科研文章的平均水平為0.8，愛思唯爾發(fā)表的中國文章的質量水平與愛思唯爾發(fā)表文章的平均質量都為1.3。”4月11日，全球著名出版商、信息服務提供商愛思唯爾(Elsevier)在北京的學術期刊評價圓桌討論會上向媒體分享了上述數據。
愛思唯爾全球期刊出版業(yè)務總裁菲利普·德哈根(Philippe Terheggen)博士及Scopus內容策略管理負責人維姆·梅斯特(Wim Meester)博士還就全球期刊評價體系、中國期刊的國際影響力、如何用好學術質量評價指標展開討論。
“中國40萬科研論文、38%中國作者引用的文章來自愛思唯爾旗下期刊。”菲利普稱，近幾年中國研究者發(fā)表文章在全球所占比重不斷增加，并逐漸接近美國所占比重。“中國科研人員在國際期刊上發(fā)表學術成果，對促進中國科研事業(yè)的發(fā)展是非常有益的?？蒲谐晒酵怀觯覀兙透鼞撽P注對它的評估，并思考如何以更多元的方式進行評估。”
近幾年中國研究者發(fā)表文章在全球所占比重不斷增加，并逐漸接近美國所占比重。
“引用”并不是唯一的學術指標
菲利普表示，目前評估科研影響力最經典、最常用的方式就是看它的被引頻次。“引用并不是唯一重要的信息，但它現在仍是比較重要的指標。”
“不可否認的是，沒有哪一項指標是完美的，它們都有不足。”維姆隨即介紹，在使用學術指標時，一般有兩大黃金原則：第一個原則是在決策過程中既要有定量的指標，又要有定性的評價，比如同行評議、采訪調研、對教學工作進行評價;第二個原則是在進行定量分析的時候，不能只使用一種單一的指標，而需要多個指標進行全面評估。
維姆也展示了愛思唯爾旗下Scopus數據庫(全球最大的文摘與索引數據庫)的一籃子指標，包括群體(相關編委會及作者)、貢獻(發(fā)表文章數量)、使用情況(被引用)、學術影響力(如學術成果在學術網站上被提及的次數)及社會影響力(如學術成果在社交媒體上被討論的次數)等方方面面。
愛思唯爾旗下Scopus數據庫的一籃子指標。
“這一籃子指標并不是由我們開發(fā)，而是各個科研群體長期提出的想法。”維姆稱，去年年底，愛思唯爾在這一籃子指標中增添了評價學術期刊質量的CiteScore(CS)指標。CS是指某期刊前3年發(fā)表的文獻在統(tǒng)計當年的篇均被引頻次。
CS計算公式，分子為出版物連續(xù)三年的出版文章在一年里所獲得的篇均被引頻次，分母為三年內發(fā)表文章的所有類型出版物。
新提出的CS指標，避免影響因子的“可操弄性”
和我們最熟悉的影響因子(IF)類似的是，CS也為評價學術期刊影響力而生，分子是論文被引頻次，分母是文獻數量。
然而兩者亦有很大不同。維姆強調，一是CS引證窗口期為3年，IF為2年;二是CS分母為期刊全部文獻數量，而IF的分母為可被引文獻(學術文本)數量。
換言之，對于那些發(fā)展速度較慢的學科，CS的評價更為公平。CS的分母設定，也避免了上海交通大學科學史與科學文化研究院院長江曉原之前在“破解Nature影響因子神話”中提及的“期刊通過布局文獻類型(減少學術文本)，人為操弄評價指標”。
維姆在現場舉例清華大學出版的《納米研究》，該期刊在2015年的CS值為7.87，在中國期刊中目前是最高的。“在頁面中，你還可以看到CS之外的指標，比如被引頻次、期刊發(fā)表文章總數以及其所在的排名百分位。”
清華大學出版的《納米研究》在2015年的CS值為7.87，在中國期刊中是最高的。
“CS的優(yōu)點一是全面，數據源自Scopus數據庫，有超過22000種刊物，不僅涵蓋期刊，還包括行業(yè)刊物及會議文集等;二是透明，我們網站上所有CS指標都是免費獲取的;三是時效性很強，除了有月追蹤，新收錄的連續(xù)出版物在一年后就能獲得CS年度值。”維姆透露，推出CS指標后，Scopus數據庫每個月的獨立訪問用戶數量(非訂閱用戶)一度達到七萬五千人次。
“和SNIP、SJR這兩個期刊評價指標相比，CS算法更簡單。而對比影響因子，CS能彌補它的不足，而且覆蓋了更多刊物，更透明。”不過維姆也坦言，CS指標亦有局限性：“我們稱一些優(yōu)秀的科研成果或文獻為‘睡美人’。它們在剛發(fā)表的時候，可能并沒有很多引用。對于這樣的學術成果，CS指標并不能很好地去反映它的影響力，所以這時候就要采用其他指標，所以我們強調一籃子指標的重要性。”
別用“期刊評價指標”來評價科研者
菲利普也表示，如同“睡美人”一般的學術研究要發(fā)揮影響力，可能需要十年、二十年，甚至更長的時間。
他舉例CRISPR技術(基因組編輯工具)早在十年前就被Emmanuelle Charpentier博士提出了，但當時這份研究的影響力比較低，到后來才慢慢提高。菲利普也向澎湃新聞坦言，部分人文學科領域的學術成果還是“引用”這一指標無法體現的。
“所以，我們不應該僅僅關注引用這一個方面。雖然引用很重要，但它只是我們達到目的的一個工具，真正關鍵的是我們對其中反映出來的信息的洞察，引用只是次要信息。”菲利普說，人們需要正確使用“引用”指標，并保證指標是透明、全面、綜合的。
“可以說，在指標使用上，我們有很多‘應該做’和‘不應該做’的。”
在年初，中國學界曾就“影響因子”、“量化評估”等問題展開爭議。其實剛過世的“SCI之父”加菲爾德曾在中國親自對“利用影響因子來評估科研”等問題作出回應：“用期刊影響因子來評估每個人的科研表現和科研能力，包括他個人的評估，獎金也好，贊助也好，都是不合理的。”
菲利普同樣認為學界不應該把對于期刊的評價指標用在評價科研人員上：“比如一個期刊有25%的被引率，但其中有的文章被引次數低很多。如果我們用該期刊的被引頻次來評價該期刊的所有作者，顯然非常不準確。這對期刊和研究人員也是不公平的。”
“所以對應不同的評價對象，我們需要有不同的評價指標。”菲利普補充，“使用定量指標的同時也應該結合定性評價，比如同行評議或采訪，對定量指標進行補充。”■
