Next Sentence Prediction

Next Sentence Prediction: Task di pre-training predicendo se frase B segue frase A. Classificazione binaria: 50% consecutive, 50% coppie random. Originalmente usato in BERT ma poi trovato meno utile di MLM solo. Esempi di applicazione: Task pre-training BERT, Relazione frasi, Comprensione discorso.

In English: Next Sentence PredictionLegge III · Come una rete impara dai dati

Classificazione binaria: 50% consecutive, 50% coppie random. Originalmente usato in BERT ma poi trovato meno utile di MLM solo.

Esempi

  • Task pre-training BERT
  • Relazione frasi
  • Comprensione discorso