Optimizer

Gradient Descent Methods

- Gradient Descent Methods ​ - Stochastic gradient descent 엄밀한 의미의 sgd는 하나의 샘플에 대해서 gradient를 계산해서 update ​ - mini-batch gradient descent 배치 사이즈만큼의 데이터의 gradient를 계산해서 update ​ - batch gradient descent 전체 데이터의 gradient를 계산해서 update ​ 대부분 mini-batch 방식 사용 ​ - batch-size란? 한번에 학습시킬 데이터의 크기 큰 의미가 없을 수 있지만, 의외로 중요하다 -> 배치 사이즈를 줄이면 일반화가 줄어든다! ​ - optimizer 1. (stochastic) gradient descent - 이 방법은 lr에..