Dropout
Dropout: Una tecnica di regolarizzazione che disattiva casualmente neuroni durante il training per prevenire overfitting. Durante ogni iterazione di training, il dropout rimuove temporaneamente una percentuale casuale di neuroni. Questo forza la rete ad apprendere rappresentazioni più robuste e generalizzabili.
In English: DropoutLegge III · Come una rete impara dai datiDurante ogni iterazione di training, il dropout rimuove temporaneamente una percentuale casuale di neuroni. Questo forza la rete ad apprendere rappresentazioni più robuste e generalizzabili.
Formula
m ~ Bernoulli(1−p); y = (m*x)/(1−p) durante il training
Esempio numerico
import numpy as np
x = np.ones(5)
rng = np.random.default_rng(4)
p = 0.2
mask = rng.random(5) >= p
y = x * mask / (1-p)
print(mask, y)Quando usarlo
Riduce co-adattamenti e overfitting spegnendo unità casuali solo durante il training.
Limiti
Troppo dropout riduce la capacità utile e cambia il rumore di training; in inferenza viene disattivato.
Esempi
- Dropout con rate 0.5 in layer densi
- Riduzione overfitting in reti profonde
- Miglioramento generalizzazione
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.