Positional Encoding
/pəˈzɪʃənəl ɪnˈkoʊdɪŋ/
Una tecnica per iniettare informazioni di posizione negli input dei transformer poiché mancano di ordine sequenziale intrinseco.
In English: Positional EncodingI positional encoding aggiungono pattern unici a ogni posizione in una sequenza, permettendo ai transformer di distinguere l'ordine. Metodi comuni usano funzioni seno/coseno o embedding appresi.
Esempi
- Positional encoding sinusoidale nel Transformer originale
- Positional embedding appresi
- Relative position encoding