ReLU (Rectified Linear Unit)

/ˈriːluː/

ReLU (Rectified Linear Unit): Una funzione di attivazione che restituisce l'input se positivo, altrimenti zero: f(x) = max(0, x). ReLU è la funzione di attivazione più popolare nel deep learning per la sua semplicità ed efficacia. Aiuta a mitigare i problemi di vanishing gradient e permette training più veloce rispetto a sigmoid o tanh.

In English: ReLU (Rectified Linear Unit)Legge III · Come una rete impara dai datiConfronto: ReLU e sigmoide: quale funzione di attivazione usare

ReLU è la funzione di attivazione più popolare nel deep learning per la sua semplicità ed efficacia. Aiuta a mitigare i problemi di vanishing gradient e permette training più veloce rispetto a sigmoid o tanh.

Formula

ReLU(x) = max(0,x); derivata = 0 se x<0, 1 se x>0

Esempio numerico

import numpy as np
x = np.array([-2.0, 0.0, 3.0])
print(np.maximum(0, x))          # [0, 0, 3]
print((x > 0).astype(float))     # [0, 0, 1]

Quando usarlo

È una scelta comune negli strati nascosti per semplicità e gradienti non saturi nella parte positiva.

Limiti

Unità sempre negative possono restare inattive; Leaky ReLU, ELU e GELU modificano il comportamento sotto zero.

Esempi

  • Layer nascosti in CNN
  • Reti neurali profonde
  • Maggior parte architetture moderne

Attivazioni e derivate

Confronta le curve: attiva ogni funzione e la sua derivata per osservare saturazione e gradiente.

-4-224yx

    Autovalutazione

    Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

    1. Che cos’è ReLU (Rectified Linear Unit)?
    Spiegazione

    ReLU (Rectified Linear Unit): Una funzione di attivazione che restituisce l'input se positivo, altrimenti zero: f(x) = max(0, x). ReLU è la funzione di attivazione più popolare nel deep learning per la sua semplicità ed efficacia. Aiuta a mitigare i problemi di vanishing gradient e permette training più veloce rispetto a sigmoid o tanh.

    2. Quale applicazione è coerente con ReLU (Rectified Linear Unit)?
    Spiegazione

    È una scelta comune negli strati nascosti per semplicità e gradienti non saturi nella parte positiva.

    3. Quale voce è collegata a ReLU (Rectified Linear Unit)?
    Spiegazione

    Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.

    Fonti