Semantic Chunking
Semantic Chunking: Chunking che crea segmenti in base a significato e struttura del contenuto anziché sola lunghezza fissa. Può usare paragrafi, cambi di similarità o unità logiche come clausole e tabelle. Produce segmenti più coerenti ma richiede euristiche e valutazione sul tipo di documento.
In English: Semantic chunkingLegge I · Embedding, feature e spazi vettorialiPuò usare paragrafi, cambi di similarità o unità logiche come clausole e tabelle. Produce segmenti più coerenti ma richiede euristiche e valutazione sul tipo di documento.
Esempi
- Separazione tra argomenti
- Clausole di un contratto
- Tabelle mantenute con la didascalia