Groq LPU
Groq LPU: Architettura di Groq ottimizzata per inferenza deterministica e bassa latenza con esecuzione e memoria organizzate diversamente dalle GPU. Token al secondo e latenza vanno confrontati a parità di modello e precisione. Model support e compilazione definiscono i carichi utilizzabili.
In English: Groq LPULegge IV · Loss, gradiente e ottimizzatoriToken al secondo e latenza vanno confrontati a parità di modello e precisione. Model support e compilazione definiscono i carichi utilizzabili.