LoRA (Low-Rank Adaptation)
LoRA (Low-Rank Adaptation): Fine-tuning parameter-efficient aggiungendo matrici trainabili low-rank a pesi congelati. Aggiunge piccole matrici trainabili A e B dove ΔW = BA. Riduce parametri trainabili a 0.1-1% mantenendo performance. Permette fine-tuning basato su adapter efficiente. Esempi di applicazione: Fine-tuning LLM con LoRA, Moduli adapter, Multi-task learning.
In English: LoRA (Low-Rank Adaptation)Legge III · Come una rete impara dai datiAggiunge piccole matrici trainabili A e B dove ΔW = BA. Riduce parametri trainabili a 0.1-1% mantenendo performance. Permette fine-tuning basato su adapter efficiente.
Esempi
- Fine-tuning LLM con LoRA
- Moduli adapter
- Multi-task learning