影響因子是有明顯漏洞的機制,為何還有那麼多聰明人崇拜它?

神經科學 文章 科學 生物探索 2017-04-16

原文以Deciphering impact factors為標題

發佈在2003年8月的《自然-神經科學》上

影響因子是有明顯漏洞的機制,為何還有那麼多聰明人崇拜它?

在五年前《自然-神經科學》期刊發行後不久,我們就發表了一篇社論文章來提醒大家期刊的影響因子(IF)會遭到誤用。鑑於該期刊現已發展得相當成熟,我們決定進一步探究期刊影響因子高意味著什麼。我們的研究結果表明需謹慎解讀這項被濫用的衡量指標。

我們觀察了《自然-神經科學》(2002年影響因子14.857)中論文被引次數的分佈,然後將其和《自然》(總體影響因子30.432)、《神經科學雜誌》(影響因子8.045)、《大腦研究》(影響因子2.409)中選取的神經科學類論文的被引次數分佈進行同期比較。

最明顯的特徵是它們都呈偏態分佈(見圖1),中位數都比平均數低,進一步說明了將影響因子(算術平均數)作為期刊中任一篇論文被引次數的預測性指標是沒什麼意義的。

影響因子是有明顯漏洞的機制,為何還有那麼多聰明人崇拜它?

儘管上述分佈有所重疊,但是它們在進行非參數檢驗時差異非常大。不出所料的是,各分佈中的峰值移動方向都系統性地和整體的影響因子保持一致,例如,在《自然》中被引次數處於中位數的論文相對《自然-神經科學》來說就處於第68個百分位,相對《大腦研究》處於第99個百分位。

高影響因子的期刊最顯著的特點是長尾分佈,也就是說有相對少的論文被顯著地、大量地引用,它們對影響因子產生不成比例的貢獻,由此推知,對這些期刊的整體聲望也產生不成比例的貢獻。而在分佈的另一端,低影響因子的期刊則發表了更多被引次數少的論文。

當然,被引次數並不是衡量一篇論文重要性的最佳標準,尤其是因為引用率會隨研究主題的不同而變化。比如,比起皮質生理學,阿爾茨海默症相關的論文更吸引他人引用。上述分佈差異可能和研究主題有一定的關係,但這不太可能是唯一的影響因素,因為四大期刊基本涵蓋了神經科學的方方面面。

綜合考慮到它們重疊的部分和相去甚遠的影響因子,這些期刊算是一個體現了文獻中的“垂直分層”現象的合理案例。從這些數據似乎可以得出這麼一個結論,儘管這些期刊之間有重疊的部分,但影響因子最高的期刊似乎充滿了引用經典,發表的低引用率論文明顯更少。

可能會有人認為,論文被引次數高和學術質量關係不大,只不過是由於它發表在頂尖期刊上更容易引人注意。這種觀點過於極端,期刊的論文篩選機制不太可能是完全隨機的,但論文的引用也不大可能完全不看其來源。

的確,知名度高的期刊存在的主要目的是吸引人們關注重要論文,如果期刊不影響論文的引用,那麼人們可能就要質疑期刊體系的衡量作用和存在的意義了。

作為編輯,我們相信(儘管沒辦法證明)事實介於二者之間,並且期刊體系的作用就是擴大細微的差異性;也就是說,我們選擇發表會被廣泛引用的高質量論文,然後這些論文由於擁有了更多的讀者而進一步被引用。

反饋循環的作用也不容小覷。近期基於引用錯誤滋長而做的一項估計表明,大約80%的參考文獻是直接從他人論文的參考文獻列表中轉過來的,而非查閱了原始文獻。鑑於這項發現,我們很難不去懷疑很多作者是否真的閱讀了他們引用的所有論文,還是隻引用了在他人蔘考文獻中出現頻次較高的那些論文。

而在整體文獻中被引次數的分佈的確符合上面提到的這種模式。在35年前的一篇經典文章中,社會學家Robert Merton指出,科學也逃脫不了所謂的馬太效應,即強者愈強(“凡有的,還要加倍給他……”)。在目前一味追求量化和排名的風氣下,Merton的言論一如既往地切合時宜。

解讀恰當得話,引用數據對評估期刊、論文、作者、甚至是編輯來說都是一個有價值的工具。但是再有價值充其量也不過是一個粗糙的工具,如果把複雜的分佈簡化為平均數來看待的話,那麼其大部分價值也就隨之消失了。我們不能用期刊影響因子來量化論文的重要性或作者應得的榮譽,我們所處的時代有一點很奇怪,就是那麼多精通科學的人竟會如此相信一個有明顯漏洞的機制。

相關推薦

推薦中...