Transformer
/trænsˈfɔːrmər/
Un'architettura di rete neurale basata interamente su meccanismi di attention, senza layer ricorrenti o convoluzionali.
In English: TransformerI Transformer hanno rivoluzionato l'NLP processando intere sequenze in parallelo usando self-attention. Componenti chiave includono multi-head attention, positional encoding, e feed-forward networks. GPT e BERT si basano su questa architettura.
Esempi
- GPT (Generative Pre-trained Transformer)
- BERT (Bidirectional Encoder Representations from Transformers)
- T5 (Text-to-Text Transfer Transformer)