Self-Supervised Learning

Self-Supervised Learning: Paradigma di apprendimento dove i modelli creano segnale di supervisione da dati non etichettati. Predice parti dell'input da altre parti (masked LM, image inpainting, next frame). Permette pre-training su dataset non etichettati massivi. Fondamento di BERT, GPT. Esempi di applicazione: BERT masked language modeling, GPT predizione next token, Predizione rotazione immagine.

In English: Self-Supervised LearningLegge III · Come una rete impara dai dati

Predice parti dell'input da altre parti (masked LM, image inpainting, next frame). Permette pre-training su dataset non etichettati massivi. Fondamento di BERT, GPT.

Esempi

  • BERT masked language modeling
  • GPT predizione next token
  • Predizione rotazione immagine