LoRA (Low-Rank Adaptation)

LoRA (Low-Rank Adaptation): Fine-tuning parameter-efficient aggiungendo matrici trainabili low-rank a pesi congelati. Aggiunge piccole matrici trainabili A e B dove ΔW = BA. Riduce parametri trainabili a 0.1-1% mantenendo performance. Permette fine-tuning basato su adapter efficiente. Esempi di applicazione: Fine-tuning LLM con LoRA, Moduli adapter, Multi-task learning.

In English: LoRA (Low-Rank Adaptation)Legge III · Come una rete impara dai dati

Aggiunge piccole matrici trainabili A e B dove ΔW = BA. Riduce parametri trainabili a 0.1-1% mantenendo performance. Permette fine-tuning basato su adapter efficiente.

Esempi

  • Fine-tuning LLM con LoRA
  • Moduli adapter
  • Multi-task learning

Fonti