Michele LaurelliBlog

LoRA (Low-Rank Adaptation)

Fine-tuning parameter-efficient aggiungendo matrici trainabili low-rank a pesi congelati.

In English: LoRA (Low-Rank Adaptation)

Aggiunge piccole matrici trainabili A e B dove ΔW = BA. Riduce parametri trainabili a 0.1-1% mantenendo performance. Permette fine-tuning basato su adapter efficiente.

Esempi

  • Fine-tuning LLM con LoRA
  • Moduli adapter
  • Multi-task learning