Sliding Window Attention
Sliding Window Attention: Schema in cui ogni token attende soltanto a una finestra locale di posizioni vicine per ridurre costo su sequenze lunghe. Limita il campo diretto ma layer successivi propagano informazione. Combinazioni con token globali mantengono percorsi a lunga distanza.
In English: Sliding window attentionLegge I · Embedding, feature e spazi vettorialiLimita il campo diretto ma layer successivi propagano informazione. Combinazioni con token globali mantengono percorsi a lunga distanza.