Inizializzazione Pesi
/weɪt ɪˌnɪʃəlaɪˈzeɪʃən/
Metodi per impostare valori iniziali dei pesi della rete neurale prima dell'inizio del training.
In English: Weight InitializationUn'inizializzazione corretta è cruciale per un training efficace. L'inizializzazione random rompe la simmetria. Metodi come Xavier/Glorot (per tanh/sigmoid) e He initialization (per ReLU) assicurano che i gradienti fluiscano bene inizialmente.
Esempi
- Inizializzazione Xavier per layer tanh
- Inizializzazione He per layer ReLU
- Inizializzazione zero per bias