消融研究(ablation study)是什么

ZhuYuanxiang 2023-02-14 11:48:04
Categories: Tags:

消融研究(ablation study)

目的就是:模型简化测试。检验取消一些模块后性能有没有影响。根据奥卡姆剃刀法则,简单和复杂的方法能达到一样的效果,那么简单的方法更可靠。

最简单的词面理解,就是我们在中学物理和生物课上常见的一个词“对比实验”。在生物中,应该叫做控制变量法。

对所实现的模型进行“剪枝”,去除某些精细的设计或者相对“the state of art”(当前已有的最优模型)的新增设计,测试性能对比。查验是否你新添加的那些设计有起到作用以及是哪些设计起到了作用

比如说你为了提升baseline的性能,给它加了两个模块A,B,加完之后效果果然提高了很多。于是你急急忙忙开始写论文,写到你的贡献,你给了两条:1.模块A,2.模块B。

但是这样写有个问题:尽管AB同时加上去对模型有提升效果,但是你并没有证明A、B两个模块分别都是有意义的。

所以为了验证A、B两个模块是不是真的都有用,你需要做ablation study。方法也很简单:

  1. 在baseline的基础上加上模块A,看效果。
  2. 在baseline的基础上加上模块B,看效果。
  3. 在baseline的基础上同时加上模块AB,看效果。

然后结果可能是,实验1和实验2的结果都不如实验3,那么说明AB都是有用的;然而也有可能你会发现实验1的结果和实验3一样,甚至更好。这就说明你的想法是有问题的,模块B其实并没有起到作用,提升只来自于模块A。

综上所述,ablation study就是你在同时提出多个思路提升某个模型的时候,为了验证这几个思路分别都是有效的,做的控制变量实验的工作。