Michele LaurelliBlog

Next Sentence Prediction

Task di pre-training predicendo se frase B segue frase A.

In English: Next Sentence Prediction

Classificazione binaria: 50% consecutive, 50% coppie random. Originalmente usato in BERT ma poi trovato meno utile di MLM solo.

Esempi

  • Task pre-training BERT
  • Relazione frasi
  • Comprensione discorso