RAG, dane i pamięć
Chunking
„Tniesz dokumenty na kawałki – źle pokrojone, RAG dławi się i halucynuje.”
Strategie: fixed-size (np. 512 tokenów + 50 overlap), recursive (po nagłówkach/akapitach), semantic (przez LLM po znaczeniu). Najpopularniejsza: recursive z 256-1024 tokenami i 10-20% overlap.
Po co Ci to: RAG, który nie halucynuje – zaczyna się od dobrego chunkingu.
Mylone z:embeddings
🥚Dobry chunking to dobre krojenie chleba. Zła kromka, zła kanapka.
