segformer의 offical github를 가져와서 custom data로 학습시키는 것을 해보겠다 0. 우선 기본적인 세팅은 끝마쳤다고 생각하겠다 (apt update, upgrade, conda 또는 docker를 이용해 환경 설정 등) https://daeun-computer-uneasy.tistory.com/126 이 링크 참조하시면 좋을 것 같습니다. mmcv 같은 경우, cuda 및 torch 버전에 엄청난 영향을 받아서,, 꼬일 대로 꼬이면 답도 없습니다 ㅜㅜ [PyTorch] mmcv 설치하기 / cuda 버전에 맞게 mmcv downgrade하기 / mmcv._ext error 해결 오늘은 잊을만하면 나오는 mmcv 설치 방법에 대해 총정리하는 포스팅을 해보려고 한다. 사실 항상 설..
시퀀스(sequence) 데이터 이해하기 소리, 문자열, 주가 등의 데이터를 시퀀스 데이터로 분류한다. 일련의 연속적인 데이터를 말한다. 시계열(time - series)데이터는 시간 순서에 따라 나열된 데이터로 이 역시 시퀀스 데이터에 속한다 독립동등분포(i.i.d.) 가정을 잘 위배하기 때문에 순서를 바꾸거나 과거 정보에 손실이 발생하면, 데이터의 확률분포도 바뀌게 된다. ("개가 사람을 물었다" -> "사람이 개를 물었다" : 문법적으로 틀리진 않지만 어색함) => 과거나 앞뒤 맥락 없이 미래를 예측하거나 문장을 완성하는건 불가능! 시퀀스 데이터 다루는 법 조건부확률을 이용 + 베이즈 법칙 어떤 정보는 필요할 수도, 필요하지 않을 수도 있기 때문에 적절히 활용하는 것이 필요! 결국, 길이가 가변..
Convolution 연산 이해하기 MLP와 달리, 커널(고정된 가중치 값)을 입력벡터 상에서 움직여가면서 선형모델과 합성함수가 적용되는 구조 입력벡터 x를 모두 사용하는 것이 아니라, 커널 V의 사이즈 K만큼만 활용한다. -> 그래서 움직여가면서' 라는 표현을 사용 이 연산 역시도 선형변환에 속한다고 한다. 커널은 위 그림에서의 i와 상관없이 고정되므로, 파라미터 사이즈를 굉장히 많이 줄일 수 있다는 장점이 존재! 수학적 의미 신호를 커널을 이용해 국소적으로 증폭 또는 감소시켜서 정보를 추출 또는 필터링 하는 것 continuous할 때는 적분을 이용하고, discrete할 때는 급수로 표현한다. 하지만, 적용되는 방식은 동일하다. 즉, 두개의 함수 f와 g가 있을 때, 각각 z를 움직여가면서 ..
cnn과 다르게 주어지는 입력 자체가 sequential하다는 특징을 가진다. sequential data란? 말, 동영상, 연속적인 모션 등등을 말한다. 그렇다면 이러한 데이터가 처리하기 어려운 이유는? 받아 들여야하는 입력의 차원을 알 수 없다! -> 그래서 CNN을 사용할 수 없다.(입력의 차원을 모르기 때문에) -> 말을 할 때, 듣는 사람은 그 말이 언제 끝날지를 모른다는 것을 생각하면 이해할 수 있을 것이다. 1. sequential model naive sequential model (가장 기본적인 모델) -> 어떤 입력이 들어왔을 때, 다음엔 어떤 입력이 들어올 지 예측하는 모델 -> 입력이 쌓일수록 고려해야할 과거의 데이터들이 계속 증가함 -> fix the past timespan ..
convolution 작동 방법 3 x 3필터를 7 x 7이미지에 적용하면, 5 x 5짜리 아웃풋이 나온다. =도장을 찍어서 매칭되는 좌표의 값을 곱한 뒤 하나로 더하면 됨! 주로 3차원의 RGB 이미지를 다룬다. 위 사진에서 차원이 하나 더 추가된 것을 알 수 있다. 필터를 한번 거치고 나면, 비선형 activation function 적용이 필요하다!(ex. ReLU) CNN은 convolution layer, pooling layer, fully-connected layer로 이루어져 있다. - convolution and pooling layer는 feature extraction의 역할을 함 (=이미지에서 유용한 정보를 뽑아주는 것) - full-connenced layer는 decisi..
학습을 방해하는 것이 목적! -> 학습데이터뿐 아니라 테스트데이터에도 잘 동작할 수 있도록 해주기 위한 일종의 도구 종류 early stopping - iteration이 증가할 수록 training error가 감소하지만, 특정 iteration이 넘어가면 validation error가 증가한다! 그래서 loss가 증가하기 전에 학습을 중지! parameter norm penalty - 파라미터가 너무 커지지 않도록 방지. nerual network가 만들어내는 함수의 공간속에서 함수를 최대한 부드럽게 하는 것! + 부드러운 함수일 수록 일반화 성능이 높을 것이라는 가정 data augmentation - 데이터는 많으면 많을수록 좋기 때문에 데이터 양을 증가시키기 위해 사용 (중구난방으로..
