1月19日公布的一個新的在線工具可通過分析已發(fā)表論文的引文數(shù)量，衡量該論文可再現(xiàn)性。

這個軟件出現(xiàn)得可謂正當(dāng)其時，很多證據(jù)已經(jīng)給科學(xué)界和期刊行業(yè)敲響警鐘，它們表明許多已發(fā)表文章的研究結(jié)果是不可重復(fù)的，為此科學(xué)界正在努力尋找可靠的方法來評估它們是否可以再現(xiàn)。

新工具由美國康涅狄格州紐黑文市Verum分析公司開發(fā)，它生成了一個叫作r-因子的指標(biāo)，該指標(biāo)依據(jù)其他證明或駁斥其研究結(jié)果的研究數(shù)量，來說明一篇期刊文章的可再現(xiàn)性。但r-因子指標(biāo)卻引來了學(xué)者的大量批評，他們認(rèn)為這種相對簡單的方法可能不足以解決衡量可重復(fù)性的多方面問題。

對新工具的初步反饋表明，Verum公司并沒有完全消除這些擔(dān)憂。該公司開發(fā)者承認(rèn)新工具仍然存在局限性；他們表示開放該工具的目的是接受相關(guān)反饋，以獲得關(guān)于其工作效果以及如何改進(jìn)的建議。Verum公司自愿開發(fā)了該工具，其聯(lián)合創(chuàng)始人Josh Nicholson說，他們希望公開該工具的初步版本能吸引潛在的投資人助力改善它。

Verum去年8月在一篇預(yù)印文本中報告了該工具基于r-因子的方法，并在新工具中對其進(jìn)行了改進(jìn)。它僅依賴于受歡迎的生物醫(yī)學(xué)搜索引擎PubMed網(wǎng)站上可免費獲取的研究論文的數(shù)據(jù)。

在開發(fā)之初，Nicholson和同事手動分析了4.8萬個引用其他已發(fā)表文章的論文文本的片段。Verum和同事將每個片段分別歸類為“證實、反駁或是提及”其他的文章。然后，Verum利用這些分類來訓(xùn)練一個算法自動識別樣本群之外的每類片段。

基于約1萬個摘錄的片段樣本，Verum公司的開發(fā)人員稱，新工具可以在93%的情況下對段落進(jìn)行正確的分類。與證實或反駁性的引用片段相比，它能更準(zhǔn)確地檢測到“提及”其他文章的引用，因為證實或反駁類的樣本更少。分析發(fā)現(xiàn)，絕大多數(shù)文章都提到了以前的研究，但卻沒有證實或反駁它們的主張；只有約8%的引用是證實性的，而反駁性的約有僅1%。