Abstract & Introduction - ViT모델을 유지한 채 학습 방법을 조금 달리해서, 오로지 ImageNet 데이터셋과 single 8-GPU만으로 2~3일만에 학습하고 그에 준하는 Performance를 얻었습니다. - 우측 상단에 있을 수록 좋은 모델입니다. - 여기서 ViT-B는 SOTA ViT모델이 아니라 ImageNet 데이터만으로 학습했을 때의 ViT 모델인데 이 모델과 DeiT-B와는 꽤 많은 성능차이가 나는 것을 볼 수 있습니다 - DeiT-B 옆에있는 요상한 증류기 기호는 Distillation 학습방법을 사용한 모델에 붙는 기호인데 이에 대해서는 아래에서 설명하겠습니다. Related work - Image classification은 computer vision의 core..
2020년 Facebook AI에서 ECCV에 발표한 논문이다. Abstract - NMS, anchor box 등을 삭제하여 복잡한 detection pipeline을 간소화하였습니다. - ‘bipartite matching’ 을 사용했습니다. 자세한 설명은 뒤에서 하도록 하겠습니다. - object detection을 direct set prediction으로 생각했다고 합니다. 아래 그림과 같습니다. - set안에는 class 정보와 bounding box에 대한 정보가 존재합니다. Introduction - 기존 방식은 많은 바운딩 박스를 만들어, 그것들의 subset을 추리고, 그 다음에 subset을 regression(refine)하는 방식으로 진행하였습니다. - 이때 사용되는 NMS이나 a..
https://www.acmicpc.net/problem/2108 2108번: 통계학 첫째 줄에 수의 개수 N(1 ≤ N ≤ 500,000)이 주어진다. 단, N은 홀수이다. 그 다음 N개의 줄에는 정수들이 주어진다. 입력되는 정수의 절댓값은 4,000을 넘지 않는다. www.acmicpc.net 합계, 중앙값, 최빈값, 범위 위 4가지만 구하면 되는 문제이다. 심지어 N도 홀수로 주어져서 중앙값 구하기가 더 수월하다 그럼에도 불구하고, 이렇게 글을 작성하는 이유는 바로 'Counter' 때문이다. Counter를 사용하게 되면 리스트에 해당 값이 몇번 등장했는지 알아서 count 해준다!! most_common이라는 함수를 호출하게 되면 (키 : 값) 쌍으로 이루어진 튜플들이 모인 객체를 반환하는데, ..
https://www.acmicpc.net/problem/2941 2941번: 크로아티아 알파벳 예전에는 운영체제에서 크로아티아 알파벳을 입력할 수가 없었다. 따라서, 다음과 같이 크로아티아 알파벳을 변경해서 입력했다. 크로아티아 알파벳 변경 č c= ć c- dž dz= đ d- lj lj nj nj š s= ž z= www.acmicpc.net replace함수를 이용해 치환해주는 문제이다. 변수.replace (old, new, count) 형식인데, 변수에 있는 old 문자를 new 문자로 바꾸는 함수이다. count는 몇번 바꿀지 지정해주는 것이다. 만약 s= 'oxox' 라는 문자열이 있을 때 s.replace('ox', '*', 1) 이라고 하면 '*ox' 라는 결과가 되고, count를 2..
for i in range(5): print(i) if i == 1: i+=1 다음과 같은 코드가 있다. 우리가 이 코드를 돌렸을 때 생각하는 기댓값은 바로 0,1,3,4일 것이다. i가 1일때 1을 출력하고 i를 하나 증가시키므로 2가 건너뛰어질 것이라고 생각하기 때문이다. 실제로 자바, C, C++에서는 우리가 생각한대로 동작한다. 이렇듯, 파이썬에서는 for문의 인덱스 변수를 수정할 수 없다. 굳이 굳이 수정해야겠다면 while문을 사용해야 할 것 이다.
ViT 논문을 읽기 전, Attention Is All You Need와 같은 transformer 구조에 관한 논문을 읽고 오시는 걸 추천드립니다. 0. Abstract 그동안 NLP분야에선 transformer 구조가 굉장히 지배적인 standard 였습니다 사실, vision 분야에서의 응용은 잘 되지 않았습니다. 하지만! 새로 등장한 Vision Transformer는 기존의 다른 CNN들에 비해 계산량은 상당히 적으면서도 성능은 좋았습니다 CNN 구조 대부분을 Transformer로 대체했다는 특징이 존재합니다. 단, 많은 데이터를 pre-train해야한다는 제약이자 단점이 존재합니다. 1. Introduction - self-Attention을 적용하려는 시도가 많았지만 현대의 하드웨어 가속기..
