Masked Language Modeling

Masked Language Modeling: Task di pre-training dove token random sono masked e il modello li predice dal contesto. 15% token masked: 80% [MASK], 10% random, 10% invariati. Obiettivo pre-training di BERT. Permette contesto bidirezionale. Esempi di applicazione: Pre-training BERT, Cloze task, Comprensione linguaggio bidirezionale.

In English: Masked Language ModelingLegge III · Come una rete impara dai dati

15% token masked: 80% [MASK], 10% random, 10% invariati. Obiettivo pre-training di BERT. Permette contesto bidirezionale.

Esempi

  • Pre-training BERT
  • Cloze task
  • Comprensione linguaggio bidirezionale