AlexNet 논문 리뷰

AlexNet을 개략적으로 설명하자면, 딥러닝과 CNN의 주목을 이끌었고, 이에 따라 CNN 구조의 GPU 구현과 dropout 적용이 보편화되는 경향을 가져왔다.

목차

1. DataSet

2. Architecture

3. Reduce Overfitting

4. 학습 세부사항

5. 결과

 

1. DataSet

 

2. Architecture

2-1. 활성화 함수 ReLU 사용

backpropagation을 했을 때, vanishing Gradient문제 X, 속도 향상

속도 향상을 알 수 있다.

(vanishing Gradient란? Sigmoid에서 입력값들이 그래프 가운데에서 멀어질 경우, 미분값이 작아져 뒤에 있는 뉴런들이 잘 학습이 되지 않는 문제)

2-2. overlapping pooling

- s < z 이용해 에러율 감소

•(s = pooling 시 stride 값, z = pooling 결과 feature map 크기

사진에서&nbsp; s=1, z=2

2-3. Multiple GPUs

 전체 뉴런을 절반씩 각 GPU에 할당, layer2에서 layer3로 넘어갈 때는 동일 GPU에서 입력을 받되, 다른 GPU에서도 입력을 받음 (=통신), 나머지 계층은 동일 GPU에서만 입력을 받음

이 역시 top-1, top-5 에러율 감소

2-4. local response normalization 

LRN을 구하는 수식

ReLu는 양수에서는 입력값을 그대로 사용 -> conv나 pooling 시 매우 높은 픽셀값이 주변에 영향

-> 이를 방지하기 위해 normalization (ReLU 뒤에 적용)

-> 그러나 요즘은 batch normalization이란 것을 사용한다고 한다.

(주변 필터의 결과값을 이용해 정규화)

(a = 이미지상 특정 x,y 위치에 있는 i번째 conv filter가 적용된 결과값)

2-5. overall

- 총 8개의 layer (conv 5개 + Fc 3개)

- conv1, conv2 layer는 max pooling 후 LRN 사용 하여 Norm1, Norm2 적용

- 마지막 layer제외하고 모두 ReLU 적용

 

3. Reduce Overfitting

3-1. Data Augmentation

- 데이터를 다양하게 형성, cpu에서 실행하므로 부담이 없다.

3-1-1. mirroring

using label-preserving transformation (라벨의 특성은 유지한 채 변환)

논문에서는 수평반전 사용

미러링 예시

3-1-2. Random Crops

256x256에서 227x227 크기로 무작위 추출 -> 데이터 양 2048배 증가

3-1-3. PCA Color Augmentation

 데이터 셋의 색상 변경(이미지의 특성은 유지)

3-2. Drop out

- 처음 2개의 fc layer에서 적용

- 상관관계가 강한 feature 방지

- 50% 확률로 적용하여 신경망 사이의 연결을 랜덤으로 제거 (=feedforward/backpropagation 참여 x)

- 학습 시간을 증가시키지만, overfitting을 방지해주고 에러율을 줄여주는 효과

 

4. Details of learning

 

5. Result