sunghogigio

Sign in Subscribe

PyTorch

Transformation(Albumentation)

Albumentation 속도, 다양성 면에서 pytorch 내장 transformation보다 좋길래 사용했다. Transformation 구성 가령, 아래와 같은 transformation을 학습에서 사용했다고 해보자. transformation = A.Compose( [ A.Resize(224, 224), A.CenterCrop(100, 100), A.HorizontalFlip(p=0.5), A.OneOf( [ A.MotionBlur(p=0.2), A.MedianBlur(blur_limit=3, p=0.2), A.

마지막 점수 올리기

대회 막바지에 점수를 올리기 위해 사용했던 기법들이다. 극적인 성능 향상은 아니고 점수 굳히기 느낌이었다. TTA(Test time augmentation) ref: https://chacha95.github.io/2021-06-26-data-augmentation2/ 확정된 모델이 존재할 때 사용할 수 있는 방법이다. 확정된 모델에 대해 각종 augmentation이 적용된 이미지를 개별적으로 넣어서 나온 출력을 ensemble하는 방법론이다. ![](/assets/images/마지막 점수 올리기/

헷갈리는 numpy

dtype=object, when compelx list list를 numpy로 변환하는 과정에서 str과 numerical 데이터를 혼용하면 numpy의 dtype이 obejct로 고정된다. 이 때는 해당 numpy를 index slicing해도 dtype이 바뀌지 않고, astype으로 바꾸려하면 오류가 뜬다. a = {somthing compelx Nd list} b = np.array(a) only_numerical = b[ {some slicing selecting only numerical data} ] only_numerical.

Ensemble

필드에서는 앙상블을 시도하기 위한 노력을 모델과 학습 파이프라인을 최적화시키는데 사용한다고 한다. 하지만 competition에서는 소수점 한자리 이하의 싸움이 있기 때문에 앙상블을 활용해서 점수를 올리는 것이 중요하다. Ensemble 대부분의 모델들을 학습시켜보면 overfitting이 빈번하기 발생한다. 물론 데이터가 너무 작고 편향돼서 underfitting이 발생할 수도 있지만 흔한 경우는 아니다. 아래 그림을 보면 이해가 편할 것이다.

Training proecss

Gradient Accumulation gpu가 좋은 상황이 아닐 경우 사용할만한 방법이다. num_accum = 2 optimizer.zero_grad() for epoch in range(10): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data outputs = net(inputs) loss = criterion(outputs, labels) / num_accum loss.backward() if i % num_accum

추가적인 학습 기법들

amp nvidia에서 torch에 넣어준 그 'amp'다. FP16으로 계산하게 해준다 해서 사용할 계획. https://pytorch.org/docs/stable/notes/amp_examples.html autocast에서 자동으로 해주는 첫번째 방법 사용. 다만 극적으로 성능이 향상되지는 않는다. nvidia benchamark에서도 일의자리 한자릿수 정도에서 성능향상이 이루어지더라. label smoothing (loss) model의 결과에 softmax를 거쳐서 생긴

헷갈렸던 training 방법

그 동안 헷갈리고 모호하게 알고 있던 내용들을 정리했다. Training, validation 순서 def train(): for epoch in range(epcoh): training() validate() 이 순서가 맞다. 아래처럼 해도 모델이 input data에 대해서 학습을 하긴한다. def train(): for epoch in range(epcohs): training() for epoch in range(epcohs): validate() 문제는 validate 시점이 모든 trainig이