Inizializzazione Pesi

/weɪt ɪˌnɪʃəlaɪˈzeɪʃən/

Metodi per impostare valori iniziali dei pesi della rete neurale prima dell'inizio del training.

In English: Weight Initialization

Un'inizializzazione corretta è cruciale per un training efficace. L'inizializzazione random rompe la simmetria. Metodi come Xavier/Glorot (per tanh/sigmoid) e He initialization (per ReLU) assicurano che i gradienti fluiscano bene inizialmente.

Esempi

  • Inizializzazione Xavier per layer tanh
  • Inizializzazione He per layer ReLU
  • Inizializzazione zero per bias