Alcuni suggerimenti

Data Generation

Data feeding

Proviamo a fare bene il data feeding.


Supponiamo che il codice sia come sopra. Entrambi gli approcci sono inefficienti. Il primo: il generator è più lento del modello, quindi il modello non può esprimere il suo potenziale. Il secondo: il modello è più lento del generator, quindi il generator non può esprimere il suo potenziale.

Detto ciò, la performance del modello di solito equivale alla performance della GPU. Se si dovesse scegliere una situazione, scegliere la seconda direzione che massimizza la performance del modello sembra meglio. Ovviamente, varia a seconda della situazione, quindi scegliere di conseguenza.

transforms

1
ToTensor()
2
RandomRotation([-8, +8])
3
Resize((1024, 1024))

La performance di queste 3 transform dipende dall’ordine. Se l’immagine è più piccola di 1024, fare il resize per ultimo dà le performance migliori. Ovviamente — eseguire la conversione a tensore e la rotazione su 100x100 è più veloce che su 1024x1024.

albumentations

Si dice che sia più veloce delle transform di PyTorch e abbia più funzionalità. Ho deciso di provarlo imparando cose nuove.

1
import albumentations as A
2
import albumentations.pytorch
3

4
transformation = A.Compose(
5
    [
6
        A.Resize(224, 224),
7
        A.HorizontalFlip(p=0.5),
8
        A.OneOf([A.GaussNoise()], p=0.2),
9
        A.OneOf(
10
            [
11
                A.MotionBlur(p=0.2),
12
                A.MedianBlur(blur_limit=3, p=0.1),
13
                A.Blur(blur_limit=3, p=0.1),
14
            ],
15
            p=0.2,
16
        ),
17
        A.OneOf(
18
            [
19
                A.CLAHE(clip_limit=2),
20
                A.Sharpen(),
21
                A.Emboss(),
22
                A.HueSaturationValue(),
23
                A.RGBShift(),
24
                A.ChannelShuffle(),
25
            ],
26
            p=0.3,
27
        ),
28
        A.ShiftScaleRotate(
29
            shift_limit=0.2,
30
            scale_limit=0.2,
31
            rotate_limit=10,
32
            border_mode=0,
33
            p=0.5,
34
        ),
35
        A.RandomBrightnessContrast(p=0.2),
36
        A.Rotate(limit=(-30, 30), p=0.2),
37
        A.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225],),
38
        albumentations.pytorch.transforms.ToTensorV2(),
39
    ]
40
)

• La maggior parte delle funzionalità è autoesplicativa dal nome del metodo.
• p = probabilità
• ShiftScaleRotate ruota l’intera immagine e gestisce anche lo spazio vuoto dalla rotazione.
• In Normalize si possono specificare direttamente mean e std dei canali RGB.
• OneOf: seleziona uno tra i componenti di OneOf. Si può specificare p anche per questo.