Chunking

Chunking: Suddivisione dei documenti in segmenti più piccoli per indicizzazione, recupero e inserimento nel contesto. Dimensione e overlap influenzano contesto preservato e specificità del recupero. Segmenti troppo grandi diluiscono il segnale; troppo piccoli possono perdere definizioni, tabelle o riferimenti. Esempi di applicazione: Segmenti da 500 token, Overlap tra paragrafi, Chunking rispettando i titoli.