科技论文质量评价方法的理论基础及存在的问题

1、直接评价法的质量构成因素理论及存在的问题

从直接评价法的定义、研究结果的介绍和评价实践看，作者把直接评价法的理论依据归纳为质量构成因素理论，即科技论文的质量是由学术性和写作质量等论文本身的各种构成因素以及它们各自的子因素的质量高低来决定的。 在评价实践中，不论评价者学术水平和学术素养的高低，对单篇科技论文的评价都是从论文的基本构成因素来分析的。 学术管理部门现在不采用这种方法的原因，一方面在于直接评价法工作量大，对评价者的学术素质和道德素质要求高，主观性大; 另一方面，直接评价法的根本问题是对科技论文质量构成因素的指标选取不一致，目前的实践和研究中指标选取仁者见仁，智者见智，而且有的指标选择存在逻辑上的重叠现象，尚没有一个大家认可的指标选择体系。在定性指标尚没有标准的情况下，建立在这种基础上的量化研究的可操作性和普及性就难以服众。

2、间接评价法的理论基础及存在的问题

2.1等级论及存在的问题

等级是一个按社会地位高低来划分的政治概念。 因受传统思想的影响，如今在人们的观念里等级思想还根深蒂固。 反映在科技论文质量评价上，就是从期刊的主管部门的行政级别、作者的职称级别和基金项目的级别来判断科技论文质量的高低。 科技论文本身不存在社会上认为的级别之分，期刊的主管部门也多次声明用行政级别划分期刊质量的提法不够严格，但是，采用等级论来衡量科技论文质量的观念和作法还依然存在。

作者的职称级别高，学术研究能力和学术水平相对也高，这是不争的事实。 但是，作者的职称级别高，其写作的科技论文就一定高则值得商搉。 如作者任职某一级别的职称以来，可能发表很多论文，但每篇论文受当时的学术基础、科研资金和精力投入、写作目的等多种因素的制约，不见得篇篇都是代表其水平的精品力作。

得到基金项目资助是进行科学研究的重要保证。 每种基金项目都要通过有关的评审程序。 虽然评审过程中可能存在一些不正之风，但绝大多数得到资助项目的作者水平是得到认可的，而且是项目审批单位的级别越高，其资助的研究学术水平就越高。 问题是代表一项研究基金项目的科技论文是否反映了预期目的，即使是论文反映了预期目的，其研究论文是否只有一篇。 从研究实践看，一项基金资助项目往往是一系列的研究论文，这系列论文中篇篇都是高质量不能一概而论。 更严重的是，作者为了易于发表，期刊为了提高基金论文比例，已导致了科技论文中基金项目挂名等学术不端行为的发生。

2.2文献计量学理论及存在的问题文献计量

学是以期刊为研究对象，以服务读者需求为目的，采用若干的定量指标评价期刊质量的科学体系。 核心期刊、SCI 期刊、影响因子和被引频次等都是文献计量学的研究成果。 由于文献计量学采用了定量的研究方法，与直接评价法相比，客观性大和可操作性强，因而，借用文献计量学的研究成果间接评价科技论文质量的方法成为目前科研评价的主导方法。 正由于是借用期刊的评价方法，从一开始应用就有异议，如今反对声音更是日渐高涨，但多数异议者看到的是这些方法表现出的表面现象和由此产生的负面影响，仅有少数研究者能分析其中的实质。

借用文献计量学成果和对期刊进行人为分级来评价科技论文质量是利用期刊的学术质量与所刊载的论文质量呈现的正比关系，是建立在论文质量与期刊质量等同的前提基础上的。 但是，论文质量与期刊学术质量间的相关程度的高低、与期刊的稿源、审稿者的水平、编辑水平等有很大关系，学术质量高的期刊稿源广、稿量大、筛选的余地大，虽也受审稿者和编辑水平的制约，但所发表的论文平均质量较高，受作者和读者的关注度也高，文献计量学指标表现好; 反之，稿源单一、稿量较少，审稿者和编辑水平有限，期刊中论文的质量就可能参差不齐，期刊就不可能有很高的学术质量，文献计量学指标统计结果也不会尽如人意。

文献计量学统计结果是建立在期刊学术质量基础上，期刊的学术质量又是其所刊载的论文平均质量的反映，决定于编辑和审稿者对单篇论文质量的直接评价。 因此，科技论文质量的间接评价法是以直接评价法为基础的。 直接评价法才是科技论文质量评价的根本方法。

间接评价法优点是借用现成的研究结果，评价用时少、易操作、对操作者的学术水平和学术道德要求低。 但是，其缺点也非常明显，引起的负面后果很严重。 间接评价法只重视了群体和个体间的一致关系，忽略了群体与个体间的差异和由此引起的负面效应。

这里所说的群体有两层含义: 一是核心期刊、SCI 期刊、特定影响因子范围内的期刊等分别构成的期刊群体，二是各期刊所刊载的各篇论文构成的论文群体。 期刊群体内的各期刊因文献计量学指标数值不同，表现出不同的学术质量。 把同一期刊群体内而学术质量有差异的期刊所发表的论文笼统地认作同一质量档次显然是不合适的。 这是间接评价法存在的问题之一。

另一方面，每种期刊都是按照一定的办刊宗旨，在稿源多少、审稿者和编辑水平等因素影响下产生的论文群体。 间接评价法评价的是这些论文群体的平均质量，不是对其中某一篇论文的单独评价。 用群体的平均质量对待高于其平均值的论文质量，显然有失公允; 把群体质量等同于其平均值以下的论文质量也不恰当。 这种“以刊论文”是间接评价法存在的问题之二。

间接评价法只关心科技论文发表在了哪里，不关心其中发表了什么，由此产生的奖励措施使某些科研人员产生浮澡心理，导致弄虚作假等学术不端行为广泛发生。 这是间接评价法存在的问题之三。

文献计量学统计是建立在期刊已发表论文基础上的，统计时的论文与后来利用这些论文统计结果判断质量的论文之间并没有直接的或必然的关系。 从这一角度看，间接评价法给一种“前人栽树，后人乘凉”的感觉。 这是间接评价法存在的问题之四。

从知识产权的角度讲，间接评价法是一种没有付出任何科学劳动的学术偷懒行为，是应用期刊编辑和文献计量学研究者的劳动成果进行经济活动的行为，但因其没有支付任何劳动报酬，实际上又是一种学术剽窃行为。 评价者本身就是学术不端者，上行下效，被评价者能做出各种各样的学术不端行为也就不足为奇了。 这是间接评价法存在的问题之五。

科学技术是人类的共有产品，没有国界和你我之分，但科学技术涉及的利益是分彼此的。 间接评价中出现的盲目崇拜SCI 现象，已经导致了中国科技信息和科研资金的大量外流，影响了中国科技信息的安全性和科研动机的目的性，不利于中国科技事业的正常发展。 这是间接评价法存在的问题之六。