BM25
BM25: Funzione di ranking lessicale che valuta i documenti in base a frequenza dei termini, rarità e lunghezza. La saturazione limita il vantaggio di ripetere molte volte lo stesso termine, mentre IDF premia termini rari. I parametri k1 e b regolano rispettivamente frequenza e normalizzazione della lunghezza.
In English: BM25Legge I · Embedding, feature e spazi vettorialiLa saturazione limita il vantaggio di ripetere molte volte lo stesso termine, mentre IDF premia termini rari. I parametri k1 e b regolano rispettivamente frequenza e normalizzazione della lunghezza.
Formula
score(D,Q) = Σᵢ IDF(qᵢ) · [f(qᵢ,D)(k₁+1)] / [f(qᵢ,D)+k₁(1−b+b|D|/avgdl)]
Esempi
- Ricerca full-text
- Baseline per una pipeline RAG
- Ranking con Elasticsearch