Data Parallelism

Data Parallelism: Strategia distribuita che replica il modello e assegna batch differenti ai dispositivi prima di sincronizzare i gradienti. Aumenta throughput e batch effettivo. Comunicazione, sharding e sincronizzazione diventano determinanti quando il modello o il cluster cresce. La trattazione collega definizione e uso nei sistemi di intelligenza artificiale.