Pre-training
Pre-training: Il processo di addestrare un modello su un grande dataset generico prima di fine-tuning su task specifici. Il pre-training permette ai modelli di apprendere rappresentazioni generali da grandi quantità di dati non etichettati. Fondamentale per transfer learning e modelli foundation come BERT e GPT.
Legge III · Come una rete impara dai datiIl pre-training permette ai modelli di apprendere rappresentazioni generali da grandi quantità di dati non etichettati. Fondamentale per transfer learning e modelli foundation come BERT e GPT.
Esempi
- BERT pre-trained su Wikipedia
- GPT pre-trained su web text
- ResNet pre-trained su ImageNet