Residual Connection

Residual Connection: Una connessione skip che permette al gradiente di fluire direttamente attraverso la rete, facilitando il training di reti profonde. Le residual connections (o skip connections) sommano l'input di un layer al suo output. Risolvono il problema del vanishing gradient e permettono reti molto profonde (ResNet).

Legge III · Come una rete impara dai dati

Le residual connections (o skip connections) sommano l'input di un layer al suo output. Risolvono il problema del vanishing gradient e permettono reti molto profonde (ResNet).

Esempi

  • ResNet con 152 layers
  • Transformer con residual connections
  • U-Net skip connections