GoogleNet 논문 리뷰

GoogleNet(Going deeper with convolutions)

 

1. Introduction

연산을 하는데 소모되는 자원의 사용 효율 개선 -> 네트워크의 depth와 width를 늘려도 연산량이 증가되지 않고 유지됨을 의미

이처럼 하기 위해, Hebbian principle과 multi-scale processing을 적용

이 구조를 googleNet 이라 하며 Inception이라고 부름

- AlexNet에 비해 파라미터가 12배나 적음에도 불구하고 훨씬 더 정확함

- 모바일이나 임베디드 환경에 적용할 수 있도록 유연한 구조를 가지게끔 하였음

- 추론 시에 합곱 연산 횟수를 15억번 이하로 지정하여 현실에서도 적절히 사용되게끔 설계 함

 

GoogLeNet의 코드네임인 Inception이란 이름은 Network in Network(NIN)라는 논문에서 유래하였으며,  인셉션 영화의 대사인 "we need to go deeper"에서 착안하였다. 이때 "deep"은 두 가지 의미를 가진다.

1. "Inception module"의 형태로 새로운 차원의 구조 도입

2. 두 번째는 네트워크의 깊이가 증가하였다는 직접적인 의미

 

2. Related Works

network-in-network 방법이란? 1x1 conv layer와 ReLU를 사용하는 것

googleNet은 해당 방법을 많이 사용

 

*1x1 필터의 목적?*

    - 성능 저하 없이 network의 깊이(level)와 너비(각 level의 unit 수 증가)

    - 차원감소로 인한 병목현상 제거

 

3. Motivation and High Level Considerations

심층 신경망의 성능 개선 == network의 사이즈 증가(=깊이, 너비 증가)

그러나 단순히 사이즈만 증가 시키는 방법은 두가지 단점 존재!

    - 크기가 클수록 파라미터 수가 많아지고 과적합될 가능성이 증가 (특히 데이터 수가 더 적은 경우)

    - 컴퓨터 자원 사용의 증가

 

위 두 문제를 해결하는 방법

-> dense 한 Fully-Connected 구조에서 Sparsely Connected 구조로 바꾸는 것

왼쪽이 sparse한 네트워크이고, 오른쪽이 Dense한 구조

 

하지만 오늘날의 컴퓨팅 환경은 이 구조에 비효율적

-> Sparse 매트릭스를 클러스터링 하여 상대적으로 Dense 한 Submatrix를 만드는 방식 이용

유사 sparse 구조

Google 팀의 Inception 구조는 위에서 말한 유사 Sparse 구조를 시험하기 위해 시작되었다.

그리고 러닝 레이트와 하이퍼 파라미터를 조정하고 훈련 방법 등을 개선한 결과, Localization 및 Object detection 분야에서 특히 좋은 성능을 보였다고 한다.

 

4. Architectural Details

핵심 아이디어: Sparse 매트릭스를 서로 묶어 상대적으로 Dense 한 Submatrix를 만든다는 것

(a) : 피쳐맵을 효과적으로 추출할 수 있도록 1x1, 3x3, 5x5 필터 사용 (높이와 폭 맞추기 위해 padding도 사용) -> 5x5 필터로 인해 연산량이 엄청나게 증가한다는 문제 발생

(b) : (a) 방식에 1x1 필터를 두어 차원을 줄이고, 여러 scale을 확보하면서도 연산량을 낮출 수 있게 됨

- 1x1 필터 기능 : 차원 축소, ReLU

( (a)방식에서 의미하는 효과적으로 추출이란? 좀 더 넓은 영역의 필터가 존재해야 연관된 유닛들을 더 많이 뽑을 수 있는 상황)

맨 오른쪽의 원형 모양은 필터가 더 커야 연관된 유닛을 더욱 많이 뽑아낼 수 있음

 

즉, 네트워크 크기를 늘리면 오버피팅과 계산량 증가 문제->네트워크를 sparse하게 구성 -> 그러나 sparse한 구조는 하드웨어 계산에서 비효율적이므로 이러한 sparse들을 클러스터링하여 상대적으로 dense하게 만드는 것!

 

- ReLu를 통해 비선형성 추가

- 효율적인 메모리 사용을 위해 낮은 layer에서는 기본적인 convolution layer를 적용하고 높은 layer에서는 inception module을 사용

- Inception module을 통해 얻을 수 있는 두가지 효과

    - 1. 과도한 연산량 문제없이 네트워크 크기 증가-> 차원 축소를 통해 다음 layer의 input을 조절할 수 있기 때문

    - 2. 시각 정보가 다양한 규모로 처리되고 다음 layer는 동시에 서로 다른 규모에서 특징을 추출할 수 있게 된다. 1x1, 3x3, 5x5 convolution 연산을 통해 다양한 특징을 추출할 수 있기 때문

 

5. GoogleNet

Input : 224 224 3

# 3 x 3 reduce와 # 5 x 5 reduce는 3 x 3과 5 x 5 필터 앞에 사용되는 1 x 1 필터의 채널 수를 의미

모든 reduction 및 projection layer에 ReLU가 사용

pool proj 열은 max pooling layer 뒤에 오는 1 x 1 필터의 채널 수를 의미

#3x3, #5x5는 1x1 필터가 사용된 후 바로 연결

Part1

낮은 레이어가 위치해있는 부분

입력 이미지와 가까움

기본적인 CNN 모델 적용

Part2

Inception module

 

part2에서는 다양한 특징을 추출하기 위해 1 x 1, 3 x 3, 5 x 5 Convolutional layer가 병렬적으로 연산을 수행하고 있으며,

차원을 축소하여 연산량을 줄이기 위해 1 x 1 Convolutional layer가 적용되어 있는 것을 확인할 수 있다.

Part3 : auxiliary classifier

모델의 깊이가 매우 깊을 경우, 기울기가 0으로 수렴하는 gradient vanishing 문제가 발생

중간 layer에 auxiliary classifier를 두어 추가적인 역전파를 일으켜 gradient가 전달될 수 있게함

지나치게 영향을 주는 것을 막기 위해 auxiliary classifier의 loss에 0.3을 곱하였고,  실제 테스트 시에는 auxiliary classifier를 제거 후, 제일 끝단의 softmax만을 사용

Part4 : 끝부분

최종 Classifier 이전에 GAP가 적용된 average pooling layer

GAP : 이전 layer에서 추출된 feature map 각각을 평균 내어 1차원 벡터로 변환

softmax layer와 연결하기 위함,  fc layer 대신 사용가능,  overfitting에 유리, 입력 사이즈에 상관x, 파라미터가 추가되지않아, 학습에 유리

Global Average Pooling (GAP)

(FC layer를 classifier로 사용하는 경우 파라미터의 수가 많이 증가하는 단점이 있으며 feature 전체를 matrix 연산하기 때문에 위치에 대한 정보도 사라지게 됩니다.  더구나 FC Layer 사용 시 반드시 지정해 주어야 하는 FC layer의 사이즈로 인해 입력 이미지 사이즈 또한 그에 맞춰서 고정되어야 하는 단점이 존재)

6. 성능

기존 방법과는 다른 새로운 방법

성능은 대폭 상승하지만 연산량은 약간만 증가

0.9 momentum의 Stochastic gradient descent, learning rate는 8 epochs 마다 4%씩 감소

이미지의 가로, 세로 비율을 3 : 4와 4 : 3 사이로 유지하며 본래 사이즈의 8% ~ 100%가 포함되도록 다양한 크기 사용

photometric distortions(광도 왜곡)를 통해 학습 데이터를 늘렸다고 한다.