跳到主要内容

负责任地使用研究指标

纽卡斯尔大学关于负责任地使用研究指标的政策声明。

背景

纽卡斯尔大学认识到,负责任地使用指标可以支持米博体育战略的实现,促进学科内部和学科之间的变革性研究,并建立一个积极和繁荣的研究文化。因此,我们制定了本政策声明和相关指南,以适当使用定量研究指标作为负责任的研究评估的一部分该大学于2017年成为DORA的签署国,并在2019年发布的REF行为准则中重申了对DORA原则的承诺。研究指标的使用属于《米博体育》的范畴。

这份政策声明建立在这些承诺和其他一些突出的外部倡议的基础上,包括莱顿研究计量宣言和计量潮流报告。后者敦促英国机构制定一份关于在研究管理和评估中使用定量指标的原则声明,其中指标应考虑稳健性(使用最佳可用数据);谦卑(认识到定量评估可以补充,但不能取代专家评估);透明度(保持数据收集及其分析公开接受审查);多样性(反映了众多的研究和研究人员的职业道路);以及反身性(更新我们对度量的使用,以考虑这些度量所产生的影响)。

本声明的实施支持了我们的战略目标,以及我们对研究诚信协议和支持研究人员职业发展协议的机构承诺,并得到了英国研究资助者(例如,UKRI, Wellcome Trust等)的支持(在某些情况下,授权)。这一声明将随着我们与学生、同事和外部专业体育投注平台协商制定大学的研究文化行动计划而不断发展。

这一声明是我们致力于发展跨职业阶段和工作家庭的研究界所有成员的承诺的组成部分。它将支持我们的目标,即培养一种认可对研究的不同贡献的研究文化,并建立一种重视包容性合作、诚信、透明度和全球知名度的研究文化。

落实负责任地使用指标声明

我们认识到纽卡斯尔大学是一所多元化的大学,我们将根据学科和当地情况以敏感的方式使用指标。本政策声明有意灵活地考虑到环境的多样性,并不打算提供一套全面的规则。

我们认识到,度量标准通常更适合于评估团队的集体贡献,而在评估可能是多样化的个人贡献时不太有用。在牛津大学,我们努力使用指标来提供一幅整体画面,说明我们是如何按照我们的战略执行的。

为了帮助将本声明付诸实践,我们将提供一套不断发展的指导材料,包括如何应用这些原则的更详细的讨论和示例。纽卡斯尔大学致力于根据研究和研究人员的优点而不是指标的优点来评估研究和研究人员。未来,我们将通过纽卡斯尔大学技能学院为我们研究社区的所有成员提供相关培训。

本声明的实施将包括建立一个审查和监测过程,使遵守这些原则的定期机构审查,以及报告和处理违反原则的机制。

纽卡斯尔大学负责任地使用指标的指导原则

提供本指南是为了确保研究评估活动按照以下三个原则进行。

指标:

支持专家判断

  • 研究评估应始终以专家判断为基础,并使用指标来支持和告知该评估。
  • 研究的质量、影响、卓越和影响通常是抽象和主观的概念,禁止直接衡量。没有简单的方法来衡量研究质量,定量方法只能被解释为质量的间接代理。仅在研究评估中使用研究指标对研究质量的肤浅推断可能会产生误导。
  • 不负责任地使用指标本身可能会带来激励不良行为的风险,例如关注出版物的数量而不是质量,追逐具有高期刊影响因子(JIF)的期刊上的出版物,而不管这是否是最合适的发表地点,或者阻碍使用预印本或数据共享等开放研究方法。

符合目标

  • 数据只应从可靠和准确的来源获得,并应适当考虑确保数据质量。
  • 我们使用的指标应该与我们认为重要的东西保持一致。例如,我们评估的类别包括:(a)研究质量,(b)研究数量,收入和活动水平(临界质量),(c)研究影响,以及(d)研究环境。
  • 学科差异应该被考虑在内。来自不同学科的研究人员对研究质量的特征有不同的看法,对确定什么构成重要的研究成果有不同的方法(例如,书籍章节与期刊文章的相对重要性)。由于一些指标对某些学科领域不利,我们将与更广泛的部门合作,确保我们所有院系的研究都得到理解,并在STEM和SHAPE学科中体现其价值。
  • 所有研究成果必须根据其本身的优点,在适当的背景下考虑,以反映研究领域和成果的需求和多样性。应该在正确的上下文中使用度量标准,并且用户应该注意可能影响基础评估的信息更改。
  • 应从广泛使用和容易理解的数量指标中选择数量指标,以确保这一过程是透明的,并得到适当的应用。同样,任何量化目标或基准都必须公开接受审查。
  • 如果目标或基准是定量表达的,则应注意避免度量本身以牺牲研究质量为代价成为研究活动的目标。
  • 对总体评估有用的度量标准可能不适合在不同的尺度上使用,例如在评估单个输出时。例如,期刊的JIF是衡量期刊整体内容的有用指标,但不能推断出期刊中每篇文章的质量。

是透明的

  • 当使用度量标准进行评估时,应该确认数据源和假设。新的和可替代的指标正在不断发展,以通知所有类型的研究成果的接收,使用和价值。任何新的或非标准的度量标准或指标都必须按照这里列出的用于更传统度量标准的其他原则来使用和解释。此外,这些指标背后的来源和方法应该考虑到它们是否容易被操纵、操纵或捏造。
  • 度量标准(特别是文献度量标准)可以从各种服务中获得,具有不同程度的覆盖率、质量和准确性,在选择数据或度量标准的来源时应该考虑这些方面。在必要的情况下,例如在对个别研究人员的评估中,应该使用允许记录被验证和整理的来源,以确保记录是全面和准确的。

[1]“研究评估”一词是指对研究质量的评价和对研究投入、产出和影响的测量,包括定性和定量方法,包括文献计量指标和制图的应用,以及同行评议。研究评估可以在广泛的背景下进行,从响应国家研究评估活动到在招聘活动中评估个人候选人。

联系谁

研究政策,智力与伦理,研究战略与发展

 

政策由参议院于2021年6月30日批准