Convolution: spatial-agnostic and channel-specific it deprives convolution kernels of the ability to adapt to diverse visual patterns with respect to different spatial positions posing challenges for capturing long-range spatial interactions in a single shot Involution: spatial-specific and channel-agnostic wider spatial arrangement adaptively allocate the weights over different positions primary contributions rethink the inherent properties of convolution […]
https://colab.research.google.com/gist/youngjae0129/b8fcc2b181a98a7e3af818f8e113b2b4/gaussian_process.ipynb
Curriculum learning은 모델이 학습을 더 잘 할 수 있는 학습 과정을 정의하는 분야입니다. Paper Link : Curriculum Learning – Yoshua Bengio(2009) Curriculum Visualization Intuition Model Name No curriculum Assign uniform weight to every sample uniform. baseline_mentornet Self-paced (Kuma et al. 2010) Favor samples of smaller loss. self_paced_mentornet SPCL linear (Jiang et al. 2015) Discount the […]
A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks Preliminary 우선 Supplementary A에 대한 간단한 리뷰가 필요해 보임. Classifier는 크게 discriminative 와 generative classifier 두 가지로 나뉨. discriminative는 x가 주어졌을 때 어떤 class(y)인지 직접적으로 예측함, 즉 P(y|x). 대표적인게 softmax classifier이고 posterior distribution이 다음과 같이 정의됨. genertive classifier는 posterior distribution P(y|x) = P(x|y)P(y)/P(x)를 구하기 […]
Preprocess K+1 frames K : train Embedder [B(batch) * K, 2, C, W, H] x : frame [B * K, C, W, H] y : landmark [B * K, C, W, H] 1(t frame) : train Generator e_hat = E(x, y) x_hat = G(y_t, e_hat) r_x_hat = D(x_hat, y_t, i) r_x = D(x_t, y_t, i) LossEG […]
이 논문은 2019 CVPR에 발표된 “MnasNet: Platform-Aware Neural Architecture Search for Mobile” 의 저자인 Mingxing Tan과 Quoc V. Le 가 쓴 논문이며 Image Classification 타겟의 굉장히 성능이 좋은 Model인 EfficientNet을 제안하였습니다. 논문을 소개 드리기 앞서 이 논문의 결과를 먼저 보여드리고 시작을 하도록 하겠습니다. Model Scaling 일반적으로 ConvNet의 정확도를 높일 때 잘 짜여진 모델 자체를 찾는 […]
Introduction 이 논문은 제목에서도 볼 수 있듯이, ‘왜 Two-Stage Detector들은 이렇게 느린가?’ 라는 의문에서 시작합니다. 그리고 현존하는 어떤 Object Detection 모델들보다 훨씬 빠르고 강력한 모델인 Light-Head R-CNN 을 고안해냅니다. 이 논문을 읽기 위해서는 두 가지 단어의 뜻을 먼저 알고 가야 합니다. 먼저 Body 는 Fast R-CNN 계열 Two-Stage Detector에서 Region Proposal을 만드는 부분을 말합니다. R-CNN이나 Fast R-CNN에서는 Selective Search […]
그동안 CNN(Convolutional Neural Networks)은 이미지 분류, 얼굴 인식, 개체 탐지 등의 다양한 영역에서 널리 사용되었습니다. 안타깝게도 모바일 기기에 맞게 CNN을 설계하기는 어렵습니다. 모바일 모델은 작고 빠르면서도 정확해야 하기 때문입니다. MobileNet이나 MobileNetV2처럼 모바일 모델을 설계하고 개선하기 위한 노력이 많이 있었지만, 고려해야 할 잠재적 사항이 너무 많기 때문에 여전히 효율적인 모델을 수동으로 만들기는 어렵습니다. 최근 AutoML 신경 아키텍처 탐색의 발전에서 영감을 […]