AI 논문 공부
Deformable DETR : Deformable Transformers for End-to-End Object Detection 논문 리뷰
Introduction - DETR의 후속작이다. - 느린 수렴(Convergence)과 작은 물체에 대한 낮은 성능에 대한 대안 - multi scale feature 사용 - deformable attention module 사용 Attention weight가 uniform하게 초기화되고 나서, 의미있는 위치에 focus 시키기 위해 학습하는 시간이 매우 길다. (uniform이란, 평균이 0이고 분산이 1인 분포) ex) key가 160개라면, 1/160으로 시작해서 gradient도 매우 작은 상태, query가 주어졌을 때 key는 이미지의 다른 모든 pixel이 되기 때문에 학습이 오래 걸림 + 작은 객체를 detection은 주로 high resolution feature map에서 이뤄지..
