Vision-Language Model (VLM)

Vision-Language Model (VLM): Modello che elabora congiuntamente immagini e linguaggio per comprendere o generare contenuti multimodali. Un encoder visivo viene collegato a componenti linguistiche tramite rappresentazioni condivise o adattatori. Le capacità variano tra descrizione, risposta e generazione e richiedono valutazione visiva specifica.

In English: Vision-language model (VLM)Legge III · Come una rete impara dai dati

Un encoder visivo viene collegato a componenti linguistiche tramite rappresentazioni condivise o adattatori. Le capacità variano tra descrizione, risposta e generazione e richiedono valutazione visiva specifica.

Esempi

  • Visual question answering
  • Descrizione di immagini
  • Analisi di documenti scansiti