Residual Connection
Una connessione skip che permette al gradiente di fluire direttamente attraverso la rete, facilitando il training di reti profonde.
Le residual connections (o skip connections) sommano l'input di un layer al suo output. Risolvono il problema del vanishing gradient e permettono reti molto profonde (ResNet).
Esempi
- ResNet con 152 layers
- Transformer con residual connections
- U-Net skip connections