准确评价学术成果的社会影响力

准确评价学术成果的社会影响力

余厚强

教育部印发的《关于破除高校哲学社会科学研究评价中“唯论文”不良导向的若干意见》明确指出，“重点考核论文、著作、决策咨询报告等代表性成果的政治立场、理论创新、学术贡献和社会影响”，将学术成果的社会影响摆在了更加突出的位置。相比学术影响力，学术成果的社会影响力更为广泛。一般认为，社会影响力是指学术成果为经济、社会、文化、公共政策、公共服务、医疗、环境或生活品质带来的影响或效益。社会影响力评价有助于全面评价学术成果的影响力，有助于引导科学研究聚焦社会关切的问题，有助于提高社会公众对学术成果的理解和应用，也有助于构建中国特色学术评价体系。

必须清醒地认识到，社会影响力评价比学术影响力评价更加复杂，实施起来更加富有挑战性。首先，社会影响力的多维性造成追踪和归因上的困难。不同用户利用学术成果的渠道是多维的，这些渠道很难全面加以追踪，造成的潜在结果是，仅选取容易获得的渠道进行评价，从而带来偏见。学术成果对社会产生影响的过程是错综复杂的，在评估时很难将影响归功于特定学术成果的贡献。因此，学术成果的社会影响力是复杂的、非线性的、本质上不可预测的。其次，社会影响力的滞后性难以满足学术评价的及时性需求。学术评价的目的是指导科学决策，这要求评价工作是及时的。学术评价时间的长短，取决于学术成果的复杂性程度，但是滞后的评价结果实用性会大打折扣。再者，社会影响力易受到社会因素的影响。学术成果产生的社会影响力存在偶然性，不同机构对研究的侧重点不同，须充分考虑不同类型的研究；学术成果的社会影响并非价值中立，不是由成果内容直接决定的，而与多种社会因素包括研究人员的推广有关。因此，准确评价学术成果社会影响力至少须重视两个方面的结合。

第一，提倡结果评价与过程评价相结合。学术成果的社会影响力评价既要注重结果评价，也要注重过程评价，结果评价提供了坚实的评价依据，过程评价弥补了结果评价的“失灵”地带。将科学研究的社会影响力视为一种结果来进行评价，是目前的通行做法。回报框架是面向结果的社会影响力评价常用方法，可以将关于学术成果影响力的数据整合并进行比较分析。根据学术成果从学术界流向社会的过程，可以分为研究主题识别、研究投入、研究开展、直接研究成果、间接研究成果、研究成果得到采用、社会影响力产生这七个阶段。根据学术成果产生效益的维度，可以划分为学术收益、未来研究和能力建设收益、政策服务与产品开发收益、部门收益以及更广泛的经济收益这五个方面。从而实现数据、质量、效果、效率以及社会满意度等方面评价，但是结果评价在实际操作中存在归属、时滞、多因素影响等问题。

过程评价强调科学研究社会影响力是一个知识转移与转化的过程，是结果评价的重要补充。过程评价通过追踪科研主体与社会其他主体之间的合作和联系来评价其社会影响力。SIAMPI模型是过程评价的典型代表，将科研主体与其他社会主体的有效交互划分为直接交互、间接交互和财务交互三种。直接交互包括面对面、电话、邮件和视频会议等方式。间接交互包括研究人员利用文本、展览、模型、音频、视频等载体与其他社会主体建立联系，例如新闻中报道学术成果、政策文件中参考学术成果、科技展览中提及学术成果。财务交互包括签订研究合同、提供资金资助、设备共享等，常伴随直接交互或间接交互，但是一般会对研究活动产生更强烈的反馈。

第二，坚持定性评价与定量评价相结合。我国在构建中国特色的学术成果社会影响力评价过程中，可以借鉴一些发达国家的经验，同时充分考虑自身的需求，坚持定性与定量评价相结合的原则。一方面，建立标准的案例研究呈报规范。案例研究是测度学术成果社会影响力最主要的定性评价方法，评估者通过案例展示其学术成果在社会影响力方面的成功故事或实践，由专家评议组进行审议。以这方面最成熟的英国科研卓越框架为例，机构提交的案例包括五个部分，总结、相关学术成果的描述、参考文献、影响力、影响力相关的佐证。建立标准的案例研究呈报规范，有助于提高案例审议的效率，进行案例数据的梳理和积累，为进一步的挖掘和分析提供基础，从而推动社会影响力评价的智能化。由于学术同行专家难以衡量学术成果的社会影响力，可考虑在评议组中纳入业界专家。案例研究的优势在于，能提供丰富方式去展示学术成果的社会影响力，适用于所有学科。但是案例研究的成本很高，增加了评审者和申请人的负担。案例研究的结论不能标准化、难以推广，无法实现相互比较，也无法直观反映投资的回报。

另一方面，探索建立科学的定量评价指标。定量评价指标是对定性同行评议的有力补充，在评价学术成果学术影响力方面已经有了成功的实践，相关经验可为构建社会影响力的定量评价指标提供参考。各国在评价实践中积累了许多优秀的定量评价指标，专利引文和临床医学指南引文是两种广泛接受的社会影响力评价指标。例如，澳大利亚科研卓越评价框架中，采用的定量评价指标包括专利引文、植物育种者权利、注册外观设计、学术成果商业化收入。近年兴起的替代计量学研究为社会影响力评价提供了新的工具，学术成果在社交媒体、新闻报道、政策文件等被提及，讨论的数据得到系统收集，基于这些数据构建的部分替代计量指标已经被机构作为展示社会影响力的证据采用。定量评价指标的优势在于，成本相对较低，能够实现标准化和聚合化，进行横向对比。但是，必须充分考虑学科差异，界定好指标所要衡量的相关领域。定量评价指标的多维性和可行性之间难以取得平稳，并且定量评价指标作为指挥棒存在异化的风险。

（作者单位：中山大学信息管理学院）

来源：中国社会科学网-中国社会科学报