Self-Supervised Learning
Paradigma di apprendimento dove i modelli creano segnale di supervisione da dati non etichettati.
In English: Self-Supervised LearningPredice parti dell'input da altre parti (masked LM, image inpainting, next frame). Permette pre-training su dataset non etichettati massivi. Fondamento di BERT, GPT.
Esempi
- BERT masked language modeling
- GPT predizione next token
- Predizione rotazione immagine