Michele LaurelliBlog

Prefix Caching

Prefix Caching: Riutilizzo dei risultati di calcolo per un prefisso identico condiviso tra più richieste. Prompt di sistema e documenti iniziali possono essere elaborati una sola volta. Chiavi, invalidazione e privacy devono impedire riutilizzi tra contesti o tenant non compatibili.

In English: Prefix cachingLegge IV · Loss, gradiente e ottimizzatori

Prompt di sistema e documenti iniziali possono essere elaborati una sola volta. Chiavi, invalidazione e privacy devono impedire riutilizzi tra contesti o tenant non compatibili.

Esempi

  • System prompt condiviso
  • Documento fisso con query diverse
  • Riutilizzo della KV cache