Gradient Checkpointing

Gradient Checkpointing: Tecnica che conserva solo alcune attivazioni e ricalcola le altre durante backward per ridurre memoria di training. Scambia calcolo aggiuntivo con occupazione minore. La scelta dei checkpoint determina quanto lavoro forward debba essere ripetuto. La trattazione collega definizione e uso nei sistemi di intelligenza artificiale.