Self-Supervised Learning
Self-Supervised Learning: Paradigma di apprendimento dove i modelli creano segnale di supervisione da dati non etichettati. Predice parti dell'input da altre parti (masked LM, image inpainting, next frame). Permette pre-training su dataset non etichettati massivi. Fondamento di BERT, GPT. Esempi di applicazione: BERT masked language modeling, GPT predizione next token, Predizione rotazione immagine.
In English: Self-Supervised LearningLegge III · Come una rete impara dai datiPredice parti dell'input da altre parti (masked LM, image inpainting, next frame). Permette pre-training su dataset non etichettati massivi. Fondamento di BERT, GPT.
Esempi
- BERT masked language modeling
- GPT predizione next token
- Predizione rotazione immagine