Speculative Decoding
Speculative Decoding: Decodifica che usa un modello più piccolo per proporre token e uno principale per verificarli in parallelo. Le sequenze accettate mantengono la distribuzione del modello principale quando il metodo è applicato correttamente. Il guadagno dipende dal tasso di accettazione e dal costo del draft.
In English: Speculative decodingLegge IV · Loss, gradiente e ottimizzatoriLe sequenze accettate mantengono la distribuzione del modello principale quando il metodo è applicato correttamente. Il guadagno dipende dal tasso di accettazione e dal costo del draft.
Esempi
- Draft model leggero
- Verifica di più token in un passo
- Riduzione della latenza