https://arxiv.org/abs/1703.06211
Deformable Convolutional Networks
Convolutional neural networks (CNNs) are inherently limited to model geometric transformations due to the fixed geometric structures in its building modules. In this work, we introduce two new modules to enhance the transformation modeling capacity of CNNs
arxiv.org
TL;DR
Convolution 연산 시 고정된 크기의 커널을 이용해서 featureextraction 하는 과정이 여러 클래스 간의 크기와 위치를 고려하지 않고 학습하는 과정이 과연 올바른 학습 방법인지에 대하여 의문을 던진 논문이다. 저자는 convolution 연산하기 전에 학습 가능한 offset(임의의 난수가 아닌 G 함수를 이용하여 bilinear 연산을 통해 1보다 작은 분수 꼴로 offset 크기를 지정)을 이용하여 좀 더 넓고 다양한 receptive field를 가지게끔 하여 객체당 다양한 크기의 feature map을 만들게 하는 방법론을 논문에서 주장한다. 어떤 의미에서 dilated conv와 유사하다고 볼 수 있지만 dilated conv도 고정된 크기이기 때문에 deformable conv의 offset 방법이 좀 더 매력 있게 느껴졌다.
요 근래 CNN의 inductive bias에 대한 문제점을 꼬집은 논문들을 많이 봤었고 CNN에 대한 문제점을 해결하기 위해 Transformer 혹은 MLP 구조를 사용한 논문들을 자주 접했는데 2017년에도 이러한 CNN의 inductive bias 문제점을 지적한(논문에서는 inductive bias라는 언급을 하지는 않지만) 논문들이 있었다는 점에 대해서 예전 논문들도 놓치지 않고 읽어야겠다는 생각을 하게 한 논문이었다.
'Paper review > Skimming paper review' 카테고리의 다른 글
| Transformer Interpretability Beyond Attention Visualization (0) | 2023.01.16 |
|---|
