Secondo le lezioni del 2020, ridurre il numero di parametri era considerato fondamentale. Perche cosi il training andava meglio e miglioravano le prestazioni generali o la generalization performance.
Ma oggi in una master class, il professore ha detto che nel 2021 non e piu cosi. C’e un paper di OpenAI che mostra come aumentare il numero di parametri migliori la generalization performance. Inoltre, se si hanno le risorse per il training, aumentare i parametri e piu vantaggioso sia per il training che per le prestazioni.