Pre-training
Il processo di addestrare un modello su un grande dataset generico prima di fine-tuning su task specifici.
Il pre-training permette ai modelli di apprendere rappresentazioni generali da grandi quantità di dati non etichettati. Fondamentale per transfer learning e modelli foundation come BERT e GPT.
Esempi
- BERT pre-trained su Wikipedia
- GPT pre-trained su web text
- ResNet pre-trained su ImageNet