Next Sentence Prediction
Next Sentence Prediction: Task di pre-training predicendo se frase B segue frase A. Classificazione binaria: 50% consecutive, 50% coppie random. Originalmente usato in BERT ma poi trovato meno utile di MLM solo. Esempi di applicazione: Task pre-training BERT, Relazione frasi, Comprensione discorso.
In English: Next Sentence PredictionLegge III · Come una rete impara dai datiClassificazione binaria: 50% consecutive, 50% coppie random. Originalmente usato in BERT ma poi trovato meno utile di MLM solo.
Esempi
- Task pre-training BERT
- Relazione frasi
- Comprensione discorso