网友:并不会更公平
明敏 发自 凹非寺
非常AI 报道 | 公众号 QbitAI
刚刚CVPR宣布,将正式禁止论文于审核期间放在社交平台上讨论。
这可让网友们炸开了锅,在Reddit上火速引起热议。
最令人关注的问题莫过于:
还能在arXiv上发布吗?
CVPR表示,只禁止在社交平台上讨论,仍旧可以在arXiv上发布论文。
这让许多人感到非常迷惑:
如果我在arXiv上发布了论文,然后其他人在社交平台上分享了我的论文,这算不算破坏规则呢?
这禁令的漏洞也太明显了吧,只要有人存心想钻空子,那岂不是轻而易举!
除此之外,禁止在社交媒体上讨论,会对论文的传播造成非常大的影响,这对于学术研究可不是件好事。
基于这些原因,有2位CV研究人员在禁令投票表决期就联名发帖表示反对。
他们认为,这条禁令的提出是为了解决双盲评审中的偏见现象。
但是禁止在社交平台上讨论,并不能从根本上解决这个问题啊!
看上去这项禁令会对有知名度的人造成影响,但可能真正受害的是那些没有背景和知名度的研究人员。
而且这个规则里有很多定义都不明确,也就存在很多漏洞,比如:
- 什么算社交媒体呢?现在有很多人会直播自己的代码课程,YouTube和Twitch算是社交媒体吗?
- 如果有其他人在社交媒体上提到了你的论文,你又进行了分享或转发,这算是违规吗?
- 如果论文被大V介绍,这算违规吗?
- 这项规定将如何执行呢?专门团队负责?如果发帖后又删帖,这怎么处理呢?
诸如此类,仅仅是他们两个人预想到可能会存在的问题。
他们的发声得到了Yann LeCun、Yannic Kilcher等人的支持。
LeCun直言:
限制交流会阻碍学术的进步,也违背了道德规范。CVPR的这项新政策简直是疯了。
那么这条禁令真的完全一无是处吗?
也不尽然。
有网友就生动地描述了双盲评审中,专家可能被宣传信息引导的现象。
“嘿!我是著名的研究人员X,我非常高兴能够在社交媒体上公开我的项目,该项目将Widget测量提高了 20%。它正在审查中,但因为它太酷了,而且我是我所在领域的巨头,我相信它会通过的。”
提交论文的审稿人:“嗯,这篇论文将Widget测量提高了 20%。这是否意味着我正在审阅著名的X论文?我确定他们是正确的,因为他们是该领域的巨头;因此没有必要仔细检查这个。”
也有人认为,CVPR提出这项禁令的初衷是好的,但是他们没有找到正确的解决办法。
我们真正关心的是评阅的专家!而不是讨论问题的大众。
在我看来这是一项好的政策,会有一定的改善效果;但另一方面,这也的确是个棘手的难题。
如果因为专家会受到影响,就禁止开展正常的学术讨论,这个规则未免也太“一刀切”了。
而且从实际效果来讲,很可能适得其反。
知名的实验室可能会钻空子,运用自己的影响力帮助同行相互宣传;而小实验室就只能干等评审了。
有人甚至表示:
相比于双盲评审,我更信任社交媒体上的评审(讨论)。
真的公平吗?
双盲评审机制是否真的公平,其实是个老生常谈的问题了。
此前,GAN的发明人Ian Goodfellow就曾炮轰同行评审机制,认为是这一制度导致了如今AI会议论文下降。
其中,“评审人员质量参差不齐”是主要原因,浮夸的论文被选中,真正的好论文反而被埋没。
而且在去年,也有类似的事情在Reddit上引发过讨论。
一位研究人员表示自己的论文在Twitter上被大V分享后,得到了许多人如潮水般的好评,但当时还在论文盲评期。
这在一定程度上破坏了双盲评审机制,并由此引发许多人对“社交媒体+arXiv”模式的不满。
这么看,CVPR似乎还很倾听大众的声音,对评审机制做出了相应的调整。
但是为什么还是有很多人不领情呢?
显然,大众对于双盲评审机制的讨论,出发点都是希望能得到更大的公平。
如果提出来一个新规则,还是破坏了一部分人的利益,这势必还是会引起不满。
因此,想要建立一个更完善的机制,不是靠“一刀切”的政策就能实现的,还需要做更多的优化、考虑更多方面。
此前有网友就提出“是否可以在arXiv匿名投稿”这种具体的解决办法。
对于如何让双盲评审更少偏见、更多公平,也还需要作出很多努力。
对此,你有什么看法呢?
欢迎评论区留言讨论~
参考链接:
[1]https://www.reddit.com/r/MachineLearning/comments/o9euga/d_cvpr_officially_bans_social_media_discussion/
[2]https://twitter.com/ylecun/status/1409393630310248452
[3]https://amytabb.com/ts/2021-06-16-cvpr-motion-position/
[4]https://www.reddit.com/r/MachineLearning/comments/hbzd5o/d_on_the_public_advertising_of_neurips/