ReLU (Rectified Linear Unit)
/ˈriːluː/
ReLU (Rectified Linear Unit): Una funzione di attivazione che restituisce l'input se positivo, altrimenti zero: f(x) = max(0, x). ReLU è la funzione di attivazione più popolare nel deep learning per la sua semplicità ed efficacia. Aiuta a mitigare i problemi di vanishing gradient e permette training più veloce rispetto a sigmoid o tanh.
In English: ReLU (Rectified Linear Unit)Legge III · Come una rete impara dai datiConfronto: ReLU e sigmoide: quale funzione di attivazione usareReLU è la funzione di attivazione più popolare nel deep learning per la sua semplicità ed efficacia. Aiuta a mitigare i problemi di vanishing gradient e permette training più veloce rispetto a sigmoid o tanh.
Formula
ReLU(x) = max(0,x); derivata = 0 se x<0, 1 se x>0
Esempio numerico
import numpy as np
x = np.array([-2.0, 0.0, 3.0])
print(np.maximum(0, x)) # [0, 0, 3]
print((x > 0).astype(float)) # [0, 0, 1]Quando usarlo
È una scelta comune negli strati nascosti per semplicità e gradienti non saturi nella parte positiva.
Limiti
Unità sempre negative possono restare inattive; Leaky ReLU, ELU e GELU modificano il comportamento sotto zero.
Esempi
- Layer nascosti in CNN
- Reti neurali profonde
- Maggior parte architetture moderne
Attivazioni e derivate
Confronta le curve: attiva ogni funzione e la sua derivata per osservare saturazione e gradiente.
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.