■这份手机版的最可贵之处，是提供了大量原始数据。如果你不同意手机版所采用的赋权方法，则完全可以利用这些数据，按照你自己确定的权重来重新评价。
2010年9月28日，美国国家明升体育app院、国家工程院和国家明升手机版研究院共同发布了一份研究手机版：A Data-Based Assessment of Research-Doctorate Programs in the United States（基于数据对美国科研与博士培养计划之评估）。手机版总共用20项指标对212所大学的5000多项计划进行了评估。
这次的定量评估，在方法上有两个特点。
首先，不搞确定的排序，而对每一评估对象估计一个名次区间。例如，杜克大学在“生态学与进化生物学”领域处于约1至4位，普林斯顿大学在“天体物理学与天文学”领域处于1至10位，等等。由于被评价事物的复杂性，由于指标的波动性和不确定性，大家普遍认为，区间式的评估比给出一个确定位次更合理。
其次，赋权方法的探索。这次采用了两种赋权方法。一种是最传统的，请专家们给不同指标（例如，科研计划及博士生培养计划每位教师的平均发文量和被引量）赋权。第二种方法是请专家们对不同大学的各种计划排出具体的序来，哪家第一，哪家第二，再用统计方法进行权重拟合，看看什么样的权重分配方案能够产生最接近专家排序的序列。顺便说一句，第二种方法也是明升手机版(明升官网)博主俞立平教授所倡导并尝试过的。两种赋权方式产生的评价结果当然有差异，但是一般说，优秀的大学，无论用哪种赋权方式来评价，都会名列前茅，只是具体的位次区间有差异而已。另外，两种赋权方法的共同倾向是：重视科研产出指标，重视博士生培养规模指标，而“对学生的关照程度”和“学生毕业后的表现”之类指标都被给了较低权重。笔者猜测，这些专家们都是在重视科研产出指标的氛围里成长起来的，自然也不假思索地强调这些指标。
这次评价的两大缺点，一是太不及时。上一次类似评价是1995年做的。这一次，由于经费资助方面的问题，工作耽误了下来。该手机版公布的数据中，最新的数据是2005年的，这当然解不了渴。不过，该手机版的委员会主席、普林斯顿大学天文学家Jeremiah Ostriker认为，“做得对”比“做得快”更重要。
第二个缺点是对交叉学科计划评价不当。交叉学科计划不好评价，是个老大难问题（可参见陈立和武夷山的《〈促进交叉学科研究〉述评》一文，http://www.sciencenet.cn/m/user_content.aspx?id=12097）。这次评价，是看某计划当中有多少其他专业的老师兼职，兼职的人多，就认为该计划的跨学科性强。可是，某些计划彻头彻尾就是跨学科性的，所有教师都是全职人员，按照现在的评价方法，反而在“跨学科性”上得了零分。
这份手机版的最可贵之处，是提供了大量原始数据。如果你不同意手机版所采用的赋权方法，则完全可以利用这些数据，按照你自己确定的权重来重新评价。事实上，明升官网明升体育app技术信息研究所“明升官网科技论文统计分析课题组”多年来的工作思路正是这样的：提供经过清洗的可靠数据，也提供一套供您参考的评价指标权重。至少第一方面的工作对您有帮助。
我曾经说过：“无论在我国还是其他国家，基于明升体育app计量学的评估活动和评估结果总是引起很多争议。可以看出，尽管存在着争论，但美国联邦政府对于这类研究的支持是扎扎实实的。他们希望通过切实可信的研究成果来推进基于明升体育app计量学的科研绩效评估，而不是一碰到争议就退缩，因噎废食。”（武夷山，《改善明升体育app测度学之明升体育app性》，http://www.sciencenet.cn/m/user_content.aspx?id=330790）。
美国三院这份手机版的出台，再次证实了我的看法。
（作者为明升官网明升体育app技术信息研究所研究员。本文参考文献：Emma Marris，US school ranking names no winners, Nature, 30 Sept. 2010 I 467: 510——作者注）
《明升体育app时报》 (2010-12-31 A3 周末评论)
