同行评审本应是高质量、高影响力研究的过滤器。但近年来随着人工智能的快速发展,AI相关的研究人员及论文的数量成倍增加,这给论文的同行评审带来了巨大的挑战。如何改进同行评审的机制,提高审稿流程的可靠性,是学术界普遍关注的话题。
近日,宾夕法尼亚大学沃顿商学院和计算机系教授苏炜杰在NeurIPS上发表文章,结合统计和优化的思想,提出一个提升论文同行评审效率的简单实用的方法,为改进同行评审提供了新思路。
苏炜杰在研究中认为,既然增加审稿人数,或给每个审稿人分配更多的论文不现实,那么可以要求投稿作者提供信息来协助我们决策。
然而,又要保证投稿人不会为了自身利益提供不实信息,应该如何设计这一机制呢?为此,苏炜杰在研究中针对性地提出了一种新机制——保序机制(Isotonic Mechanism),并从理论上保证了该机制既能激励投稿人提供真实的信息,又能增加审稿结果的可靠性。
根据保序机制,假设投稿人投出了n篇论文,其真实分数为R1, R2, …, Rn,假设投稿人知道这些真实分数的排序。那么,机制要求投稿人汇报自己对这n篇论文打分的排序,再结合审稿人给出的原始平均分数,解一个凸问题,并给出最终分数。
另外,该机制还假设投稿人是理性的,即投稿人汇报论文打分排序的最终目的,是让自己的利益最大化。数学上,表现为投稿人希望机制得出的最终分数可以最大化。
据介绍,该机制便于实施,且具有理论的最优性保证,如果能在现实中使用该机制,很有希望在一定程度上缓解当前的机器学习顶会的低质量评审问题。
据悉,论文作者苏炜杰分别于北京大学和斯坦福大学获得本科和博士学位。曾获得NSF CAREER Award和斯隆研究奖。
相关论文信息:http://arxiv.org/pdf/2110.14802.pdf
版权声明:凡本网注明“来源:明升官网明升体育app报、明升手机版(明升官网)、明升体育app手机版杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、明升头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。