SentencePiece

SentencePiece: Algoritmo e implementazione di tokenizzazione subword che opera direttamente sul testo senza richiedere una segmentazione preliminare in parole. Supporta vocabolari BPE e unigram ed è utile per lingue senza spazi. Le scelte di normalizzazione influenzano la sequenza risultante. La trattazione collega definizione e uso nei sistemi di intelligenza artificiale.