DL

Gradient Accumulation gpu가 좋은 상황이 아닐 경우 사용할만한 방법이다. num_accum = 2 optimizer.zero_grad() for epoch in range(10): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data outputs = net(inputs) loss = criterion(outputs, labels) / num_accum loss.backward() if i % num_accum

그 동안 헷갈리고 모호하게 알고 있던 내용들을 정리했다. Training, validation 순서 def train(): for epoch in range(epcoh): training() validate() 이 순서가 맞다. 아래처럼 해도 모델이 input data에 대해서 학습을 하긴한다. def train(): for epoch in range(epcohs): training() for epoch in range(epcohs): validate() 문제는 validate 시점이 모든 trainig이