sunghogigio

Sign in Subscribe

Latest

[프로그래머스] 단어 변환

https://programmers.co.kr/learn/courses/30/lessons/43163 풀이 ref: https://moseory20.tistory.com/31 처음에 bfs로 풀었는데 4번째 테스팅을 통과 못해서 결국 다른 분의 풀이를 봤다. 내가 풀었던 것과 주요 포인트는 같았다. * 한글자만 달라지는 것을 감지 * 한글자만 달라졌다면 검사 시행 * 검사 시행 결과를 저장 다만 나는 재귀함수로 더

[백준] Messi Gimossi

https://www.acmicpc.net/problem/17297 풀이 ref: https://mountrivers.github.io/boj17297/ F(m) 아래와 같이 m번째 문자에 대해서 피보나치 수열로 표현할 수 있는 문자열이다. F(m) = F(m - 1) + F(m - 2) 다행히도 문자열은 Messi와 Gimossi만 존재해서 문자열의 수를 예측하는 것 자체는 쉽다. 관건은 F(m)

마지막 점수 올리기

대회 막바지에 점수를 올리기 위해 사용했던 기법들이다. 극적인 성능 향상은 아니고 점수 굳히기 느낌이었다. TTA(Test time augmentation) ref: https://chacha95.github.io/2021-06-26-data-augmentation2/ 확정된 모델이 존재할 때 사용할 수 있는 방법이다. 확정된 모델에 대해 각종 augmentation이 적용된 이미지를 개별적으로 넣어서 나온 출력을 ensemble하는 방법론이다. ![](/assets/images/마지막 점수 올리기/

헷갈리는 numpy

dtype=object, when compelx list list를 numpy로 변환하는 과정에서 str과 numerical 데이터를 혼용하면 numpy의 dtype이 obejct로 고정된다. 이 때는 해당 numpy를 index slicing해도 dtype이 바뀌지 않고, astype으로 바꾸려하면 오류가 뜬다. a = {somthing compelx Nd list} b = np.array(a) only_numerical = b[ {some slicing selecting only numerical data} ] only_numerical.

Ensemble

필드에서는 앙상블을 시도하기 위한 노력을 모델과 학습 파이프라인을 최적화시키는데 사용한다고 한다. 하지만 competition에서는 소수점 한자리 이하의 싸움이 있기 때문에 앙상블을 활용해서 점수를 올리는 것이 중요하다. Ensemble 대부분의 모델들을 학습시켜보면 overfitting이 빈번하기 발생한다. 물론 데이터가 너무 작고 편향돼서 underfitting이 발생할 수도 있지만 흔한 경우는 아니다. 아래 그림을 보면 이해가 편할 것이다.

Training proecss

Gradient Accumulation gpu가 좋은 상황이 아닐 경우 사용할만한 방법이다. num_accum = 2 optimizer.zero_grad() for epoch in range(10): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data outputs = net(inputs) loss = criterion(outputs, labels) / num_accum loss.backward() if i % num_accum

추가적인 학습 기법들

amp nvidia에서 torch에 넣어준 그 'amp'다. FP16으로 계산하게 해준다 해서 사용할 계획. https://pytorch.org/docs/stable/notes/amp_examples.html autocast에서 자동으로 해주는 첫번째 방법 사용. 다만 극적으로 성능이 향상되지는 않는다. nvidia benchamark에서도 일의자리 한자릿수 정도에서 성능향상이 이루어지더라. label smoothing (loss) model의 결과에 softmax를 거쳐서 생긴