Pipeline Parallelism

Pipeline Parallelism: Distribuzione di gruppi di layer su dispositivi differenti con micro-batch che attraversano la pipeline in sequenza. Riduce memoria per dispositivo ma introduce bolle e scheduling complessi. Il bilanciamento degli stadi influenza utilizzo e throughput. La trattazione collega definizione e uso nei sistemi di intelligenza artificiale.