Positional Encoding

/pəˈzɪʃənəl ɪnˈkoʊdɪŋ/

Positional Encoding: Una tecnica per iniettare informazioni di posizione negli input dei transformer poiché mancano di ordine sequenziale intrinseco. I positional encoding aggiungono pattern unici a ogni posizione in una sequenza, permettendo ai transformer di distinguere l'ordine. Metodi comuni usano funzioni seno/coseno o embedding appresi.

In English: Positional EncodingLegge I · Embedding, feature e spazi vettoriali

I positional encoding aggiungono pattern unici a ogni posizione in una sequenza, permettendo ai transformer di distinguere l'ordine. Metodi comuni usano funzioni seno/coseno o embedding appresi.

Esempi

  • Positional encoding sinusoidale nel Transformer originale
  • Positional embedding appresi
  • Relative position encoding