sunghogigio

Sign in Subscribe

CNN

Transformation(Albumentation)

Albumentation 속도, 다양성 면에서 pytorch 내장 transformation보다 좋길래 사용했다. Transformation 구성 가령, 아래와 같은 transformation을 학습에서 사용했다고 해보자. transformation = A.Compose( [ A.Resize(224, 224), A.CenterCrop(100, 100), A.HorizontalFlip(p=0.5), A.OneOf( [ A.MotionBlur(p=0.2), A.MedianBlur(blur_limit=3, p=0.2), A.

마지막 점수 올리기

대회 막바지에 점수를 올리기 위해 사용했던 기법들이다. 극적인 성능 향상은 아니고 점수 굳히기 느낌이었다. TTA(Test time augmentation) ref: https://chacha95.github.io/2021-06-26-data-augmentation2/ 확정된 모델이 존재할 때 사용할 수 있는 방법이다. 확정된 모델에 대해 각종 augmentation이 적용된 이미지를 개별적으로 넣어서 나온 출력을 ensemble하는 방법론이다. ![](/assets/images/마지막 점수 올리기/

추가적인 학습 기법들

amp nvidia에서 torch에 넣어준 그 'amp'다. FP16으로 계산하게 해준다 해서 사용할 계획. https://pytorch.org/docs/stable/notes/amp_examples.html autocast에서 자동으로 해주는 첫번째 방법 사용. 다만 극적으로 성능이 향상되지는 않는다. nvidia benchamark에서도 일의자리 한자릿수 정도에서 성능향상이 이루어지더라. label smoothing (loss) model의 결과에 softmax를 거쳐서 생긴

CutMix vertical

CutMix 본래 cutmix는 랜덤하게 이미지 패치를 샘플링한다. 해당 방식이 마스크 이미지에선느 썩 효과적이지 못할 수도 있다. 마스크를 착용여부, 성별, 나이를 알기 위해서는 얼굴만 detection해서 patch를 하는것이 가장 효과적일 것이다. 따라서 랜덤하게 패치하고자한다면, 얼굴 영역 내에서 해야한다. 하지만 얼굴 detection을 하기 위해서는 또다른 수고가 들어간다... 막막하다. 찾아보니 다른 분들은 cutmix를 vertical하게

CutMix

CutMix https://hongl.tistory.com/223 random crop보다 효과 있다는 CutMix를 사용하기로 했다. 가령, crouput은 개의 얼굴을 그대로 날려버린다. CutMix는 개의 얼굴부분에 고양이를 붙여서 학습하겠다는 것이다. * 목적: $(x_A, y_A)$를 $(x_B, y_B)$와 결합하여 robust하고 성능이 좋은 모델 생성. * 결합 방법: $\lambda$만큼의 결합비율을 사용한다. 결합비율은

Convolution 실습

add_module() # Concatenate all layers self.net = nn.Sequential() for l_idx,layer in enumerate(self.layers): layer_name = "%s_%02d"%(type(layer).__name__.lower(),l_idx) self.net.add_module(layer_name,layer) self.init_param() # initialize parameters tf에서는 layer를 만들 때부터 name을 따로 설정할 수 있는데,

CNN key concept

CNN ILSVRC * ImageNet Large-Scale Visual Recognition Chagllenge * Classification, Detection, Localization, Segmentation * 1000 different categories ![](/assets/images/CNN key concept/4cf1564c-fafb-425d-8e60-9030768a67e7-image.png) 2015년도를 기준으로 사람보다 error rate가 낮아졌다. 참고로 저 '사람'은 어느 테슬라 개발자가 직접 해봤다고 한다. 이후에 설명할 CNN Model들은 해당 대회에서 검증이 됐다고 한다. AlexNet ![](/assets/