Dropout

Dropout: Una tecnica di regolarizzazione che disattiva casualmente neuroni durante il training per prevenire overfitting. Durante ogni iterazione di training, il dropout rimuove temporaneamente una percentuale casuale di neuroni. Questo forza la rete ad apprendere rappresentazioni più robuste e generalizzabili.

In English: DropoutLegge III · Come una rete impara dai dati

Durante ogni iterazione di training, il dropout rimuove temporaneamente una percentuale casuale di neuroni. Questo forza la rete ad apprendere rappresentazioni più robuste e generalizzabili.

Formula

m ~ Bernoulli(1−p); y = (m*x)/(1−p) durante il training

Esempio numerico

import numpy as np
x = np.ones(5)
rng = np.random.default_rng(4)
p = 0.2
mask = rng.random(5) >= p
y = x * mask / (1-p)
print(mask, y)

Quando usarlo

Riduce co-adattamenti e overfitting spegnendo unità casuali solo durante il training.

Limiti

Troppo dropout riduce la capacità utile e cambia il rumore di training; in inferenza viene disattivato.

Esempi

  • Dropout con rate 0.5 in layer densi
  • Riduzione overfitting in reti profonde
  • Miglioramento generalizzazione

Autovalutazione

Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

1. Che cos’è Dropout?
Spiegazione

Dropout: Una tecnica di regolarizzazione che disattiva casualmente neuroni durante il training per prevenire overfitting. Durante ogni iterazione di training, il dropout rimuove temporaneamente una percentuale casuale di neuroni. Questo forza la rete ad apprendere rappresentazioni più robuste e generalizzabili.

2. Quale applicazione è coerente con Dropout?
Spiegazione

Riduce co-adattamenti e overfitting spegnendo unità casuali solo durante il training.

3. Quale voce è collegata a Dropout?
Spiegazione

Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.