용어정리
generalization : 모델의 성능이 학습데이터의 성능과 비슷하게 나올 것이다!
- 대부분의 모델의 경우 일반화 성능을 높이는 것이 목적!
- training error가 줄어든다고 해서 test error가 줄어드는 것이 아님!
- 일반화란? generalization gap을 최소화
generalization gap : training error와 test error 사이의 차이
overfitting(과적합)
- 학습데이터에 너무 치우쳐져 있어서 테스트데이터에 대해 잘 동작하지 않는 문제
cross-validation
- 데이터를 학습데이터와 테스트데이터로 구분
- 보통 K개의 partition으로 나누고, N-1개의 partition으로 학습하고 1개의 partition으로 테스트를 진행!
- 학습에 사용된 데이터로 테스트하면 안됨!
hyper-parameter
- 일반적인 parameter : 내가 최적해서 찾고싶은 값
- 하이퍼 파라미터 : 내가 정하는 값 ex) lr ..
bias and variance
- variance : 비슷한 입력을 넣었을 때 얼마나 일관적으로 출력이 나오는지에 대한 정도
크면, 오버피팅 가능성 커짐
- bias : variance와 상관없이 결과가 true target에 잘 접근하는지에 대한 정도
잘 접근할 수록 bias가 낮음
둘 사이의 trade off가 존재!
cost = bias2 + variance + noise
bootstrapping
고정된 데이터를 가지고 subsampling을 통해 여러 모델에 적용한 뒤 각 모델이 도출하는 결과의 의미를 이용할 때 사용
데이터로 모델을 만드는 3가지 방법
1. single classifier
데이터를 하나의 모델에만 적용
2. bagging
위에 언급한 boostrapping과 유사, 앙상블이라고도 함
3. boosting
각 데이터에 대해 좋은 결과를 내는 여러 weak learner들을 하나로 합쳐서 하나의 strong learner 만듦
'AI' 카테고리의 다른 글
| Regularization 간단 정리 (0) | 2022.09.28 |
|---|---|
| Gradient Descent Methods (0) | 2022.09.28 |
| Neural Networks and Multi-Layer Perceptron 개념 간단 정리 (0) | 2022.09.28 |
| 딥러닝 기본 용어 설명 (0) | 2022.09.28 |
| Yolo v3 custom data 하나부터 열까지2(Windows) (0) | 2022.09.27 |
