KV Cache
KV Cache: Memoria temporanea dei tensori key e value che evita di ricalcolarli per i token precedenti durante la generazione. Accelera la decodifica autoregressiva perché ogni nuovo token attende al passato memorizzato. La cache cresce con lunghezza, batch, layer e teste, diventando spesso il vincolo principale della memoria.
In English: KV cacheLegge III · Come una rete impara dai datiAccelera la decodifica autoregressiva perché ogni nuovo token attende al passato memorizzato. La cache cresce con lunghezza, batch, layer e teste, diventando spesso il vincolo principale della memoria.
Esempi
- Chat con contesto lungo
- Riutilizzo dei token di prompt
- Batch di richieste generative