ReLU (Rectified Linear Unit)

/ˈriːluː/

ReLU (Rectified Linear Unit): An activation function that outputs the input if positive, otherwise zero: f(x) = max(0, x). ReLU is the most popular activation function in deep learning due to its simplicity and effectiveness. It helps mitigate vanishing gradient problems and enables faster training compared to sigmoid or tanh.

In italiano: ReLU (Rectified Linear Unit)Legge III · Come una rete impara dai dati

ReLU is the most popular activation function in deep learning due to its simplicity and effectiveness. It helps mitigate vanishing gradient problems and enables faster training compared to sigmoid or tanh.

Examples

  • Hidden layers in CNNs
  • Deep neural networks
  • Most modern architectures

Attivazioni e derivate

Confronta le curve: attiva ogni funzione e la sua derivata per osservare saturazione e gradiente.

-4-224yx

    Autovalutazione

    Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

    1. Che cos’è ReLU (Rectified Linear Unit)?
    Spiegazione

    ReLU (Rectified Linear Unit): An activation function that outputs the input if positive, otherwise zero: f(x) = max(0, x). ReLU is the most popular activation function in deep learning due to its simplicity and effectiveness. It helps mitigate vanishing gradient problems and enables faster training compared to sigmoid or tanh.

    2. Quale applicazione è coerente con ReLU (Rectified Linear Unit)?
    Spiegazione

    Un esempio è Hidden layers in CNNs.

    3. Quale voce è collegata a ReLU (Rectified Linear Unit)?
    Spiegazione

    Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.

    Fonti