Positional Encoding
/pəˈzɪʃənəl ɪnˈkoʊdɪŋ/
Positional Encoding: Una tecnica per iniettare informazioni di posizione negli input dei transformer poiché mancano di ordine sequenziale intrinseco. I positional encoding aggiungono pattern unici a ogni posizione in una sequenza, permettendo ai transformer di distinguere l'ordine. Metodi comuni usano funzioni seno/coseno o embedding appresi.
In English: Positional EncodingLegge I · Embedding, feature e spazi vettorialiI positional encoding aggiungono pattern unici a ogni posizione in una sequenza, permettendo ai transformer di distinguere l'ordine. Metodi comuni usano funzioni seno/coseno o embedding appresi.
Esempi
- Positional encoding sinusoidale nel Transformer originale
- Positional embedding appresi
- Relative position encoding