Michele LaurelliBlog

Paged Attention

Paged Attention: Gestione della KV cache in blocchi non contigui per ridurre frammentazione e spreco di memoria. Come la memoria virtuale, una tabella associa blocchi logici e fisici durante la generazione. Questo facilita condivisione e schedulazione di sequenze di lunghezza variabile.

In English: Paged attentionLegge IV · Loss, gradiente e ottimizzatori

Come la memoria virtuale, una tabella associa blocchi logici e fisici durante la generazione. Questo facilita condivisione e schedulazione di sequenze di lunghezza variabile.

Esempi

  • Blocchi di KV cache
  • Condivisione del prefisso
  • Serving con continuous batching