Strumento gratuito · calcolo nel browser
Calcolatore parametri e memoria di un Transformer
Calcola parametri per componente e memoria di un Transformer, con preset BERT-base e GPT-2 small e stima Adam. Con esempi guidati e configurazioni.
Come funziona il calcolo
Formula in testo semplice
N_{params}=N_{embed}+L\left(4d_{model}^2+2d_{model}d_{ff}\right)+N_{head}+N_{norm}Il numero di parametri di un Transformer si scompone in embedding, attenzione, feed-forward, normalizzazioni e testa d’uscita. Ogni blocco usa proiezioni Q, K, V e output, due layer lineari e i relativi bias. La condivisione fra embedding e testa evita di contare due volte la stessa matrice.
d_model, layer e feed-forward determinano la scala; vocabolario e lunghezza massima incidono su embedding e positional encoding appreso. Le teste cambiano la suddivisione dell’attenzione, non il totale dei pesi delle proiezioni standard. Il tool mostra ogni componente per rendere verificabile il totale.
La memoria dei soli pesi varia con fp32, bf16, int8 e int4. Per Adam in mixed precision viene mostrata una stima di circa 16 byte per parametro escluse attivazioni, gradienti dinamici, KV cache e allocator. I preset riproducono configurazioni pubbliche e aiutano a controllare il risultato prima di inserire un modello personalizzato.