FlashAttention

FlashAttention: Algoritmo di attenzione che riduce trasferimenti di memoria tramite tiling senza materializzare l’intera matrice dei punteggi. Mantiene il risultato dell’attenzione standard entro precisione numerica. I benefici derivano soprattutto da gerarchia di memoria e kernel ottimizzati. La trattazione collega definizione e uso nei sistemi di intelligenza artificiale.