Masked Language Modeling

Task di pre-training dove token random sono masked e il modello li predice dal contesto.

15% token masked: 80% [MASK], 10% random, 10% invariati. Obiettivo pre-training di BERT. Permette contesto bidirezionale.