Transformer
/trænsˈfɔːrmər/
Transformer: Un'architettura di rete neurale basata interamente su meccanismi di attention, senza layer ricorrenti o convoluzionali. I Transformer hanno rivoluzionato l'NLP processando intere sequenze in parallelo usando self-attention. Componenti chiave includono multi-head attention, positional encoding, e feed-forward networks. GPT e BERT si basano su questa architettura.
In English: TransformerLegge III · Come una rete impara dai datiI Transformer hanno rivoluzionato l'NLP processando intere sequenze in parallelo usando self-attention. Componenti chiave includono multi-head attention, positional encoding, e feed-forward networks. GPT e BERT si basano su questa architettura.
Esempi
- GPT (Generative Pre-trained Transformer)
- BERT (Bidirectional Encoder Representations from Transformers)
- T5 (Text-to-Text Transfer Transformer)
Fonti
Termini collegati
Approfondimento
Talent-Conditioned Transformer: dare una personalità cognitiva all'intelligenza artificiale