AI Multimodale
/ˌmʌltɪˈmoʊdəl/
AI Multimodale: Sistemi AI che possono processare e correlare informazioni da modalità multiple come testo, immagini, audio e video. I modelli multimodali apprendono rappresentazioni congiunte tra modalità. Esempi includono CLIP (visione-linguaggio), Flamingo (visual question answering) e GPT-4V (comprensione visione). Esempi di applicazione: CLIP che matcha immagini a testo, GPT-4V che descrive immagini, Sistemi di image captioning.
In English: Multimodal AILegge III · Come una rete impara dai datiI modelli multimodali apprendono rappresentazioni congiunte tra modalità. Esempi includono CLIP (visione-linguaggio), Flamingo (visual question answering) e GPT-4V (comprensione visione).
Esempi
- CLIP che matcha immagini a testo
- GPT-4V che descrive immagini
- Sistemi di image captioning