cvpr审稿人 CVPR 2021评审出炉，得分惨不忍睹，面对奇葩评审该如何反击？

《CVPR 2021》上映了，评分惨不忍睹。面对精彩的点评如何反击？

作者|穆青

1月18日，CVPR 2021测评结果发布。学生的评价结果怎么样？《AI科技评论》在社交网络上徘徊了好几次，基本上是一幅哀怨哀怨的风景画。可能取得好成绩都是偷着乐，或者怕被打。然而，人们不仅在哭，而且还有很多抱怨，主要是针对评论中奇怪或不合理的现象。

那么我们来看看，作为谷歌学术指数排行榜上的顶级AI会议，CVPR评论有哪些槽点。

1个会议数据

首先简单提一下CVPR 2021年的提交数据。CVPR 2021计划主席、FAIR研究科学家Georgia Gkioxari近日表示:今年有效提交的论文有7015篇，每篇论文至少有3个评价结果，所有论文总共有21603个评价结果。与去年相比，今年的投稿数量增长了19.6%，也是没有任何意外的新高。

有趣的是，一篇非常“幸运”的论文得到了9个评价结果。

那么，收到评估结果后，需要多长时间进行反驳？只有一周，结束于北京时间2021年1月26日03:59。到2月28日，作者将收到一封关于论文是否收到的电子邮件。

为什么拿到9个评价结果就“幸运”了？因为这意味着作者可能会受到很多质疑，而且他要比其他作者写更长的反驳。

但是评委会没有提供更多的表述空，和所有作者一样，只能写一页！时间也是一周。看到这，不少网友在推特上表示“难以想象”，AI科技评论称“你可以实践这项技术”。

知乎网友@向晓宇表示，自己有幸得到了六次点评。“总共分配了七名评审员。除了一只鸽子，其他的都提出了很多问题。”

出现这种情况的原因是“上一位审稿人没有按时提交，所以域主席安排了多次紧急审稿，然后上一位审稿人在最后一刻才提交...与此同时，大多数审稿人在最后几天匆忙提交，所以他们没有太注意评论，并反复询问了许多写在supp上的文章或问题。”

而且得到粗心评审结果的人远不止一个。

2精彩的复习成果

在社交网络上，很多学者都暴露了自己的分数，太可怕了。

评价采用5分制，1分为最高分，5分为最低分。每个分数代表一个明确的评估意见:

1分——强烈接收2分——勉强接收3分——被拒边缘4分——温柔拒绝5分——强烈拒绝

看这个表情，可以隐约感受到点评的严厉。

AI科技评论几乎没有看到一个人得到1分的评论，很多都是223、244、344、234等。更糟糕的是，有444，553，554甚至555个...其实也有一些1分的成绩，但是笔者也有一个很奇怪的经历，后面会提到。

在知乎上，有网友表示:分数比较差，但得到了比较中肯的评价，提出的问题切中要害。评论写得很详细，同时他们也没有把话说死，给了足够的反驳空的余地。

但并不是所有人都那么幸运:有些人因为不明原因被一句话强烈拒绝；有审稿人直接说看不懂;一些给出最低分的人在技术上犯错；有些评论家没有引用过一些论文，但作者认为引用的数量足够，论据也足够；部分同行评议结果差异较大，涵盖了论文本身的质量问题。

还有看似精神分裂的评论:

看到一个鬼，一个精神分裂的R3，下面两句出自同一个人，你敢相信吗？

R3:

你的文章总体写得不错！

对我来说，你的写作质量低于标准。

R3:

你的每一句话都组织得很好，表达得很好。

你的句子中有许多语法错误。

R3:

下面我会讲一些问题，但是都很小，不会造成理解论文的问题。

那么你的输入中有A吗？我看不懂！

有网友反映了一个奇怪的现象:认真写的论文得分低，匆忙写的论文得分高。"这似乎是计算机视觉会议中的一个常见问题，并且已经实现了."

在推特上，很多人也表达了对评价结果的不满。

比如有人吐槽很多评委单纯用“我不相信”“我不认为”来表达疑惑，没有提出论据和具体的参考工作，表示希望节目主持人或者域名主持人注意到这一现象。

此外，还举了另一个例子来反映评价有多粗心:本文的优点是X、Y和Z，此外，它也有一些缺陷，即X、Y和Z。...

多么令人惊讶和震惊...为什么不说“这篇论文太烂了，强烈接受！”

英特尔高级研究科学家% u130lke像德米尔一样嘲笑《CVPR 2021》的回顾总结:

评论1:这篇文章类似于a。

评论二:这篇文章类似于b。

法官3:不，这是新的！

它是一只鸟吗？它是一架飞机吗？不，是超人！

请问法官在吵架吗？

哈佛医学院的助理教授、麻省理工学院的研究科学家阿德里安·达尔卡也觉得这个评价心不在焉。他们团队部分论文的评价结果为:“随机评价”，每道评价题回答5-10个字。

CVPR 2021年博士联合会主席Jean Francois Lalonde回应并表示遗憾，“我联系了所有只提供简短评论的审稿人，要求他们提供更详细的信息。然而，并不是每个人都这样。

阿德里安·达尔卡对此表示感谢，并指出，“出现这样的评论并不奇怪，但我认为这对年轻的研究人员来说是令人沮丧的。我真的希望我们能激励研究人员放慢脚步，关注那些重要的细节。”让·弗朗索瓦·拉隆德同意他的观点，但实现这一点仍然很困难。

随后，在CVPR 2021担任现场主席的瑞尔森大学助理教授康斯坦丁诺斯·德帕尼斯在对话的底部表示，“CVPR社区至少应该对所有收到的关于CVF的论文开放评审结果，这样我们才能看到其他论文的优点和缺点，从而激励我们自己，我们才能看到好的和坏的评审之间的比较。”

英特尔智能系统实验室博士后萨玛斯·布拉姆巴特很幸运。他的论文得到了非常中肯和深思熟虑的评价结果，比如评价花了很多时间提出改进，分享了一些关于组织报价和代码的技巧。

这也应该是大多数学者希望得到的回应。

当然，评估的建议是否真的有用，只是一个意见问题。弗吉尼亚理工大学助理教授黄家斌分享了他的感受:

当《CVPR 2021评论》为你的论文提出了一个很好的建议时，我:

马克斯·普朗克智能系统研究所所长迈克尔·布莱克发现，“CVPR评论家更喜欢新问题的一般解决方案，而不是现有问题的好解决方案。然而，在一个领域有两种研究。如果每篇论文都提出一个新问题，我们就永远不会在任何问题上取得进展。”

在reddit上，有网友@redlow0992分享了自己的复习成果，他得到了1分的高评价，同时感受到了5分的巨大差距。

我们写了一篇论文，揭示了以前许多论文中使用的方法的缺点，并提出了一种改进的方法。

审查结果令人惊讶:

评价1:强烈拒绝。基本上，我们的论文是无用的，它们没有给我们批评的论文提供任何额外的好处。

复习2:接受度强。评委们表示非常喜欢这篇论文，并提出了用另一种方法进行改进的建议。

评价3:拒绝边缘。没有具体评价。

@redlow0992对一篇论文会同时被强烈接受和强烈拒绝感到不解！如果审稿人1真的是他们批评的论文的作者之一，那岂不是很尴尬？

针对这一困惑，网友@OneiriaEternal回应道:

这种情况比预期的要多。

我的建议是确保论文被正确理解。即使审稿人1是你批评的论文的作者，如果你的批评是公正的，是完全支持的，那么他们也不会刻意反驳你的观点。

建议在反驳阶段认真回应每一条评论建议，评论者要以自己想要的方式理解论文要点。

域名主席会做出最终的决定，所以如果你认为审稿人1不公平，你不需要抱怨，但是你可以通过很好地反驳他的观点来指出这一点。

那么，如果现在的分数相差很大，危险吗？网友@deep_noob说，不一定。去年，一份CVPR的论文得到了134分，比@redlow0992稍好，最终被录取。

3.精彩回顾的由来？

为什么这些审稿人要审核几篇论文？除了上述草率提交，还有哪些可能的原因？

CVPR今年共提交了7015份有效申请，276名外地主席参加了审查。平均而言，一位现场总裁负责25篇论文。

比如Konstantinos Derpanis，很长一段时间都在推特上更新自己的复习进度。作为现场主席，他处理了28篇论文，审查了84份审查结果。

此外，根据Georgia Gkioxari提供的信息，每位审稿人最多分配到6篇论文。从这个数据可以粗略估计，《CVPR 2021》的审稿人至少有3600人。相比之下，《2020年神经病学》共有6，747名审稿人。

但可能还有一点影响评价质量，那就是CVPR 2021采用招募投稿人作为审稿人的方式。

其实这种做法在NeurIPS 2020上已经实践过了，Georgia Gkioxari认为效果还不错。

NeurIPS 2020邀请了64位资深领域总裁、480位领域总裁和4969位审稿人。虽然审稿人有4969人，但完成工作还远远不够。因此，神经科医生要求作者对论文进行审查。从提交的作者中，神经科选择了1，778名审查者，使审查者总数达到6，747人。

筛选标准是:

a)他们必须拥有TPMS或OpenReview的个人数据；

b)他们必须至少有一次回顾顶级ML会议的经验；

c)他们必须投标至少10篇论文；

d)他们必须至少在顶级机器学习会议上以第一作者的身份发表至少一篇论文。

CVPR 2021也采用了类似的方法，对提交的作者进行了问卷调查，并对选定的作者进行了培训。至于培训的整体效果，恐怕要等到论文的接收结果出来。

Georgia Gkioxari认为，这种做法对于审稿人的多样性非常重要。通常，审阅者的信息会从一个会议传递到下一个会议。“因此，通过这种方式，我们可以确保在其他会议上有一定投稿和审稿经验的人也能在CVPR做出合理的贡献。”

看来评委也不容易。

4如何准备反驳？

吐槽归吐槽，上气不接下气之后，还是要乖乖准备造反。就像上面那位reddit网友说的，反驳的时候要理性，不要让评论者看到你的情绪，和田主席公平。

据说一篇论文不仅很难产生初稿，而且从提交到最终出版也很难想象。

终于到了反驳阶段。当然，我还有话要说。

知乎上有网友分享了一些反驳相关的小技巧:

1.不要太在意新鲜感正如审稿人所提到的是有限的。很多论文都有一篇论文的影响力，这会对一篇论文的影响力造成伤害。从长远来看，许多简单但从属的小说有很大的影响。我可以想象，如果ResNet给很多人盲试，它也会喷新鲜感有限。

2.如果你能投票给ICLR、神经外科和ICML，你就能投它一票。这三篇文章平均质量比CVPR高，最好投ICLR一票。都是公开评审，评审员会有压力。即使分数低，也会得到更中肯的建议。

3.尽快arXiv，然后继续下一份工作。早期arXiv也是强迫自己更早完成一项工作，然后继续做下一个有趣的问题。有很多论文改变了领域，比如最初的知识蒸馏和WaveNet，只能挂到现在。

或者你也可以参考《AI科技评论》的这篇文章“如何写反驳来说服评委和领域总裁？”，本文介绍了如何应对ECCV的反驳。

总的来说，我们不应该忽视场长的存在，把反驳当成辩论赛，把审稿人当成对手，把场长当成裁判。反驳的最终目的是让对手和裁判都满意:“说服裁判相信你的论点远比让对手改变主意重要。”

本文列举了具体做法和注意事项，希望对同学们有所帮助。

四步法:

1.逐一列出评审人员的评审意见。用电子表格组织每个评审者的评审、问题和关注点。这种把所有东西都放在同一个地方的做法，可以防止遗漏关键点，也可以及时决定是否增加新的实验。

2.脑补的可能回复。创建电子表格时，留出一个单独的栏来写下您认为审阅者可能的回应。写作时要大胆，不考虑风格和篇幅，但要有说服力。

3.写一份反驳的草稿。草案不需要考虑篇幅，虽然简明扼要，但涵盖了每一个关键点，并对关键点进行了优先排序。

4.审查和修订。重新阅读初始评审意见和电子表格，并确保一切都已解决。

用于收集评审意见的电子表格示例

反驳的例子

一些精明的网友表示，如果没有信心，可以反驳，为ICCV 2021改进方法。ICCV 2021纸质注册DDL为北京时间2021年3月11日03: 59。

然后有些同学就糊涂了。我不能在反驳中加入实验作为改进吗？明确回答:不会，如果被发现，审核人和域主席有权认为反驳无效，反驳模板也强调审核人不应要求增加新的实验，希望所有同学都知道。

然而，许多学生报告说，评论者经常强调实验数据集不足和测试图表少的问题，并表示他们希望看到更多的实验结果。这个，这个，这个...你能补充一下吗？欢迎读者回答。

最后祝你好运。

参考材料

https://www . Reddit . com/r/machine learning/comments/l05knt/d _ cvpr _ 2021 _ reviews/？utm _ source = ifttt

https://neurips conf . medium . com/我们从neurops中学到了什么-2020-review-process-e 24549 EEA 38 f

《AI科技评论》为您带来10本由现代自然语言生成正版作者签名的新书。

请于1月17日发布清华CoAI课题组新书《现代自然语言的生成》的头条文章！在张骞院士序言的留言区畅所欲言，谈谈你对这本书的看法和期待。

FAI科技评论将在留言区选出10位读者，每人发一份亲笔签名版的《现代自然语言生成》。

活动规则:

2.信息内容将被筛选，必须与本书的主题相关。比如“选我上去”不会被筛选，不会获奖。

3.活动时间为2021年1月17日至2021年1月24日，活动推送只允许一个奖品。

募捐

报告