Continuous Batching
Continuous Batching: Schedulazione che inserisce e rimuove richieste dal batch durante la generazione invece di attendere il batch completo. Le iterazioni combinano sequenze in fasi diverse e riducono il tempo in cui l’acceleratore resta inattivo. Priorità e limiti di memoria evitano che richieste lunghe penalizzino tutte le altre.
In English: Continuous batchingLegge IV · Loss, gradiente e ottimizzatoriLe iterazioni combinano sequenze in fasi diverse e riducono il tempo in cui l’acceleratore resta inattivo. Priorità e limiti di memoria evitano che richieste lunghe penalizzino tutte le altre.
Esempi
- Server LLM con richieste concorrenti
- Batch dinamico per iterazione
- Ottimizzazione del throughput