sunghogigio

Sign in Subscribe

PyTorch

CutMix

CutMix https://hongl.tistory.com/223 random crop보다 효과 있다는 CutMix를 사용하기로 했다. 가령, crouput은 개의 얼굴을 그대로 날려버린다. CutMix는 개의 얼굴부분에 고양이를 붙여서 학습하겠다는 것이다. * 목적: $(x_A, y_A)$를 $(x_B, y_B)$와 결합하여 robust하고 성능이 좋은 모델 생성. * 결합 방법: $\lambda$만큼의 결합비율을 사용한다. 결합비율은

TIL 코딩 정리 2021.08.25~27

코딩, 검증에 정신없어서 기록을 하나도 못했다. 몰아서 정리해야겠다. conda, pip conda가 dependency conflicts 측면에서는 압도적으로 좋다. 다만, 네이버 서버에서는 매우 느렸다. 대부분 conflicts가 발생했고 설치된 모든 파이썬 모듈에 대해서 conda가 conflicts를 해결하기 위해 5분 이상이 걸렸다. 특히 윈도우에서는 더욱 오래 걸렸다. conda-forge를 사용하면 설치하지 못하는 모듈이 없지만, 작은 모듈들은 pip로

TIL train 계획 정리 2021.08.24

정리 학습 계획은 이전 TIL에 적은 그대로이긴하다. 다만 ensemble learning으로 학습할 방도가 떠오르지않아 일단은 단순 if문으로 처리했다. 3개의 feature 조건에 따라서 18개 클래스가 결정된다. 일일히 if문을 18개 넣어도되지만, python itertools의 product를 써서 해결했다. mask = [0, 1, 2] gender = [0, 1] age = [0, 1, 2] label_number = list(product(mask, gender,

Some tips

Data Generation Data feeding Data feeding을 잘해보자. ![](/assets/images/Data Generation/ba02679f-71ab-49da-800f-2b178061cab7-image.png) 가령, 위처럼 코딩해놨다고 하자. 두 코드 모두 비효율적이다. 첫번째는 generator의 속도가 model보다 느리기 때문에 model이 제 성능을 내지 못한다. 두번째는 model의 속도가 generator보다 느리기 때문에 generator가 제 성능을 내지 못한다. 다만, 보통 model의 성능이라하면 gpu의 성능을 의미하게

Preprocessing

Preprocessing bounding box 필요 이상의 정보를 거르자. 문제는 보통 그냥 이미지만 덜렁 주어진다는 것이다. 개발자가 알아서 적절한 방법을 찾아야한다. 수업 때 배웠던 YOLO를 써도되고, 대부분 이미지 중앙에 마스크 사진이 있으니 중앙crop만 해도 되고... 이것저것 해봐야겠다. Resize 원본 크기로 계산하면 좋겠지만 이미지의 w, h, channel을 고려하면 정보의 양은 매우 크다. 즉,

TIL train 계획 정리 2021.08.23

TIL 자체를 체계적으로 정리하지않고 카테고리별로 포스팅 후, 주간학습 정리에서 TIL을 간략하게 적었다. 지식을 배울 때는 쓸모있는 방식인데 매일매일 해커톤과 같이 계속 코딩할 때는 매우 비효율적인 느낌이다. 대회가 진행되는 P stage에서는 TIL을 직접 적어야겠다. Train 계획 feature는 여러개가 있지만, feature 간의 상관관계, 인과관계가 있다고 장담할 수 없다. 그리고 없는게 당연하다. 데이터를

Trouble shooting

GPUUtil * nvidia-smi같은 모듈 * gpu, mem 통계를 지속적으로 콘솔에 찍어준다. !pipi install GPUtil import GPUtil GPUtil.showUtilization() tensor의 누적 gpu 메모리를 사용하는 tensor 변수들이 있다. (대부분) 이런 변수들의 값이 지속적으로 누적되는 loop문이 있다면 gpu의 메모리가 금방 고갈될 것이다. e.g., total_loss = 0 for i in range(10): optim.zero_grad(