Sparse Attention

Sparse Attention: Famiglia di meccanismi che calcola soltanto un sottoinsieme delle coppie di attenzione per ridurre memoria e operazioni. Pattern locali, globali o appresi introducono compromessi di copertura. Il vantaggio reale dipende anche dal supporto hardware e kernel. La trattazione collega definizione e uso nei sistemi di intelligenza artificiale.