2019-02-28 06:40:02
旨在提高黄金水文学研究的再现性

在2017年发表的六篇备受推崇的水文和水资源期刊中,可以完全复制结果的研究估计百分比仅在0.06%至6.8%之间。这种低水平的可重复性在水文学研究中并不少见 - 许多科学家都很容易认识到这一点。然而,犹他州立大学的一组研究人员可能已经找到了一种解决方案,使这些研究更具可重复性。

在他们的论文“评估水文和水资源中的数据可用性和研究可重复性”(2月26日发表在Nature的科学数据中),David Rosenberg的共同作者开发了一种在线调查工具,用于评估已发表研究的可重复性。该团队审查了2017年发布的六篇水资源期刊的360篇文章。在360篇文章中,他们只能完全复制四篇文章的结果。

“我们的调查工具将科学再现性的概念分解为数据可用性的特定组成部分,结果的可重复性和结果的可复制性,”USU土木与环境工程副教授罗森伯格说。 “然后,我们建议作者,期刊,资助者和机构如何使用调查工具来提高再现率。”

作者说重复性可以分为三个部分:

工作中使用的数据,模型,代码,使用说明和其他工件是否可用?

可以使用工件来重现已发布的结果吗?

可以用新数据集复制这些发现吗?

该团队的在线调查工具由15个问题组成,并提供了工件可用性和结果再现性所需的基本项目清单。工件是在研究中复制结果所需的所有数据,软件,模型,代码,方向和其他材料的总称。

该团队发现,大约70%的抽样文章表明某些材料可用,但只有约48%的材料可以在线访问。只有约6%的抽样文章公开提供了文物,只有1%的抽样文章提供了文物,可以完全复制。

作者说许多文章都缺少产生结果的方向。他们说,如果作者提供指示,那么可以测试再现性的文章数量会翻倍。使所有文物可用的文章有六分之一的机会重现其部分或全部结果。该团队调查的两种期刊需要文章说明如何访问文物,四种期刊鼓励发表声明。没有期刊要求作者提供所有工件。

调查工具可以帮助识别并鼓励作者达到一定的再现性水平。例如,作者可以使用调查工具自我评估其结果的可重复性。罗森伯格和他的团队还建议使用奖牌系统来识别不同级别的再现性:

铜牌:所有文物都在文章或开放式存储库中提供

银牌:所有文物都可用,结果完全可重复

金牌:结果是完全可重复的,并且可以在具有相同或不同工件的不同设置中复制整体发现

罗森伯格建议在在线文章旁边张贴奖牌图标,以识别作者的可重复性工作,并使读者更容易找到最佳的再现性实践。罗森伯格和他的团队在他们评论的360篇文章中分配了四枚银牌和六枚铜牌。颁发金牌以获得研究结果的可复制性仍然是未来工作的重要方面。

“我们希望该调查工具能够帮助推动作者,期刊,资助者和机构,使科学工作更具可重复性,”罗森伯格说。 “我们欢迎讨论改进调查工具并提高我们科学的可重复性。”

猜您喜欢的其它内容