Tensor Parallelism
Tensor Parallelism: Partizionamento delle operazioni e dei tensori di uno stesso layer fra dispositivi per distribuire memoria e calcolo. Richiede comunicazione frequente dentro ogni layer. È utile per modelli troppo grandi per un acceleratore e si combina con altre strategie.
In English: Tensor parallelismLegge IV · Loss, gradiente e ottimizzatoriRichiede comunicazione frequente dentro ogni layer. È utile per modelli troppo grandi per un acceleratore e si combina con altre strategie.