Convoluzione - Pratica

add_module()

1
# Concatenate all layers
2
self.net = nn.Sequential()
3
    for l_idx,layer in enumerate(self.layers):
4
        layer_name = "%s_%02d"%(type(layer).__name__.lower(),l_idx)
5
        self.net.add_module(layer_name,layer)
6
    self.init_param() # initialize parameters

In TF si può impostare il nome di un layer al momento della creazione, ma in PyTorch segue il nome della variabile.

Tuttavia, se si definisce nn.Sequential() e si chiama add_module() su quell’oggetto, si possono impostare liberamente i nomi dei layer come in TF.

Training delle CNN

1
print ("Start training.")
2
C.init_param() # initialize parameters
3
C.train() # to train mode
4
EPOCHS,print_every = 10,1
5
for epoch in range(EPOCHS):
6
    loss_val_sum = 0
7
    for batch_in,batch_out in train_iter:
8
        # Forward path
9
        y_pred = C.forward(batch_in.view(-1,1,28,28).to(device))
10
        loss_out = loss(y_pred,batch_out.to(device))
11
        # Update
12
        loss.zero_grad()      # reset gradient
13
        loss_out.backward()      # backpropagate
14
        optim.step()      # optimizer update
15
        loss_val_sum += loss_out
16
    loss_val_avg = loss_val_sum/len(train_iter)
17
    # Print
18
    if ((epoch%print_every)==0) or (epoch==(EPOCHS-1)):
19
        train_accr = func_eval(C,train_iter,device)
20
        test_accr = func_eval(C,test_iter,device)
21
        print ("epoch:[%d] loss:[%.3f] train_accr:[%.3f] test_accr:[%.3f]."%
22
               (epoch,loss_val_avg,train_accr,test_accr))
23
print ("Done")

Che sia MLP o altro, se non c’è un processo speciale coinvolto, la procedura di training è identica. Se serve personalizzazione, l’input e l’output della rete possono essere modificati liberamente, come ho fatto nel mio progetto di laurea.

Quello che cambia alla fine è il tipo di rete.

nn.Module.train()

Se ci sono layer come la batch normalization che vengono usati solo durante il training e non durante la valutazione, assicurarsi di chiamare train() prima del training.