Semantic Caching
Semantic Caching: Cache che recupera risposte o risultati in base alla similarità semantica delle richieste, non solo all’uguaglianza esatta. Embedding e soglie determinano quando due richieste sono equivalenti. Una soglia troppo permissiva può restituire risposte errate, quindi invalidazione e contesto devono entrare nella chiave.
In English: Semantic cachingLegge IV · Loss, gradiente e ottimizzatoriEmbedding e soglie determinano quando due richieste sono equivalenti. Una soglia troppo permissiva può restituire risposte errate, quindi invalidazione e contesto devono entrare nella chiave.
Esempi
- Riformulazioni della stessa domanda
- Cache di risposte RAG
- Riduzione di chiamate ripetute