In produzione, lo sforzo che andrebbe nell’ensemble viene solitamente speso per ottimizzare il modello e la pipeline di training. Ma nelle competizioni, dove si combatte per frazioni di punto decimale, usare l’ensemble per alzare il punteggio conta.
Ensemble
Allenando la maggior parte dei modelli, l’overfitting si verifica frequentemente. Certo, l’underfitting può verificarsi se i dati sono troppo pochi e sbilanciati, ma è meno comune.
La figura sotto potrebbe aiutare a capire.
ref: https://bywords.tistory.com/entry/%EB%B2%88%EC%97%AD-%EC%9C%A0%EC%B9%98%EC%9B%90%EC%83%9D%EB%8F%84-%EC%9D%B4%ED%95%B4%ED%95%A0-%EC%88%98-%EC%9E%88%EB%8A%94-biasvariance-tradeoff
Voting
ref: https://devkor.tistory.com/entry/Soft-Voting-%EA%B3%BC-Hard-Voting
- Hard voting: seleziona la classe di maggioranza
- Soft voting: restituisce la media tra le classi
- Weight voting: moltiplica l’output di ogni modello per il suo peso e divide per la somma dei pesi