LLM-as-a-Judge
LLM-as-a-Judge: Uso di un modello per valutare risposte di altri modelli secondo una rubrica esplicita. Scala valutazioni qualitative ma introduce preferenze per stile, posizione e risposte lunghe. Calibrazione con giudizi umani e controlli incrociati aiutano a stimare l’affidabilità del giudice.
In English: LLM-as-a-judgeLegge III · Come una rete impara dai datiScala valutazioni qualitative ma introduce preferenze per stile, posizione e risposte lunghe. Calibrazione con giudizi umani e controlli incrociati aiutano a stimare l’affidabilità del giudice.
Esempi
- Rubrica per completezza e fedeltà
- Confronto pairwise
- Valutazione di grounding