Strumento gratuito · calcolo nel browser
Contatore di token per testi in italiano e inglese
Conta token, caratteri e parole con cl100k_base e o200k_base eseguite localmente, con evidenziazione e confronto linguistico. Con esempi guidati e.
Evidenziazione dei token
Il conteggio è esatto solo per la codifica scelta; altri modelli usano tokenizer diversi. Il testo non viene inviato a nessun server.
Come funziona il calcolo
Formula in testo semplice
R=\frac{N_{token}}{N_{parole}}I tokenizer scompongono il testo in unità numeriche usate dai modelli. Non corrispondono necessariamente a parole: possono essere parti di parola, spazi, punteggiatura o sequenze UTF-8. Il rapporto token per parola aiuta a stimare la lunghezza operativa di un prompt.
cl100k_base e o200k_base producono segmentazioni differenti e il conteggio è esatto soltanto per la codifica selezionata. Altri modelli usano tokenizer diversi, quindi il valore non è universale. La libreria viene caricata soltanto in questa pagina e il testo non lascia il browser.
L’evidenziazione mostra dove finisce ogni token, mentre caratteri, parole e rapporto offrono misure complementari. Un esempio in italiano e inglese permette di osservare come la stessa idea possa richiedere una quantità diversa di token in base a morfologia e segmentazione.