ReLU (Rectified Linear Unit)
/ˈriːluː/
Una funzione di attivazione che restituisce l'input se positivo, altrimenti zero: f(x) = max(0, x).
In English: ReLU (Rectified Linear Unit)ReLU è la funzione di attivazione più popolare nel deep learning per la sua semplicità ed efficacia. Aiuta a mitigare i problemi di vanishing gradient e permette training più veloce rispetto a sigmoid o tanh.
Esempi
- Layer nascosti in CNN
- Reti neurali profonde
- Maggior parte architetture moderne