Attention Mask

Attention Mask: Matrice o vettore che limita quali posizioni possono contribuire all’attenzione di ciascun token. Serve per padding, causalità e vincoli personalizzati. Prima di softmax le posizioni escluse ricevono valori molto negativi per annullarne il peso. La trattazione collega definizione e uso nei sistemi di intelligenza artificiale.