- Gradient Descent Methods - Stochastic gradient descent 엄밀한 의미의 sgd는 하나의 샘플에 대해서 gradient를 계산해서 update - mini-batch gradient descent 배치 사이즈만큼의 데이터의 gradient를 계산해서 update - batch gradient descent 전체 데이터의 gradient를 계산해서 update 대부분 mini-batch 방식 사용 - batch-size란? 한번에 학습시킬 데이터의 크기 큰 의미가 없을 수 있지만, 의외로 중요하다 -> 배치 사이즈를 줄이면 일반화가 줄어든다! - optimizer 1. (stochastic) gradient descent - 이 방법은 lr에..
용어정리 generalization : 모델의 성능이 학습데이터의 성능과 비슷하게 나올 것이다! - 대부분의 모델의 경우 일반화 성능을 높이는 것이 목적! - training error가 줄어든다고 해서 test error가 줄어드는 것이 아님! - 일반화란? generalization gap을 최소화 generalization gap : training error와 test error 사이의 차이 overfitting(과적합) - 학습데이터에 너무 치우쳐져 있어서 테스트데이터에 대해 잘 동작하지 않는 문제 cross-validation - 데이터를 학습데이터와 테스트데이터로 구분 - 보통 K개의 partition으로 나누고, N-1개의 partition으로 학습하고 1개의 partition으로 ..
딥러닝이라 불리우는 학문은 여러가지 분야들로 이루어져 있다. 좋은 deep learner가 되기 위해선? 구현 스킬이 중요 수학적인 능력 중요 - 특히, 선형 대수와 확률통계 현재 연구 트렌드에 대한 앎 (Knowing a lot of recent Papers) 인공지능이란? - 사람의 지능을 "모방" 머신러닝이란? - 인공지능안에 포함되는 영역으로, 데이터를 통해 학습하는 것을 의미 딥러닝이란? - 머신러닝안에 포함되는 영역으로, neural network를 사용하는 세부적인 분야 위 설명에 대한 그림 딥러닝의 key Components Data Model (Input을 받아 Output을 도출해내는) Loss function (Model을 학습시키기 위한 함수) algorithm (..
