Chunking

Wir haben jetzt zwei Wahrheiten kombiniert:

1. Sprachmodelle verstehen Bedeutung.
2. Embedding-Modelle, die diese Bedeutung in Vektoren übersetzen, haben selbst nur ein paar hundert bis ein paar tausend Tokens Kontextfenster.

Daraus folgt: lange Dokumente müssen wir vor dem Embedden zerlegen. Diese Zerlegung heißt Chunking.

Chunks sind Trefferkandidaten

Jeder Chunk wird später zu einem eigenen Vektor und damit zu einem eigenen Treffer-Kandidaten im Retrieval. Wenn du die Chunks zu groß wählst, hast du wenige sehr breite Kandidaten - und das Modell muss sich durch viel Material wühlen, um zur eigentlichen Antwort zu kommen.

Wenn du sie zu klein wählst, fehlt dem einzelnen Chunk der Kontext, in dem die Aussage steht. „1500 kg" alleine sagt dir nichts; „Ein erwachsener Elefantenbulle wiegt etwa 1500 kg" ist eine Antwort.

Chunking ist deshalb die wichtigste Stellschraube, an der gute und schlechte RAG-Systeme sich unterscheiden.

Vier Strategien - von dumm bis schlau

• Fest - alle N Zeichen schneiden. Stupide, aber als Baseline brauchbar.
• Fest mit Overlap - wie oben, aber jeder Chunk teilt M Zeichen mit dem vorigen. So gehen Aussagen, die genau auf einer Schnittkante liegen, nicht verloren.
• Semantisch - an Absatz- oder Satzgrenzen schneiden, dann zu Ziel-Größen kombinieren. Behält natürliche Sinnabschnitte.
• Strukturbewusst (z. B. docling) - versteht Headings, Listen, Tabellen, Code. Chunkt entlang dieser Strukturen, nicht querbeet hindurch. Notwendig, sobald deine Dokumente nicht reine Prosa sind.

Eine Tabelle mit Zahlen, naïv mit „fest" gechunkt, kann mitten durch eine Zeile geschnitten werden. Und genau das ist es, woran man später bei der Auswertung scheitert: die Antwort ist im Korpus, aber sie hat nie als zusammenhängender Chunk existiert.

Lab: Chunking-Werkstatt

In Lab 3 wählst du ein Tier-Profil, ziehst Größen- und Overlap-Slider, und siehst denselben Text in verschiedenen Strategien zerlegt. Die Visualisierung zeigt:

• wie viele Chunks pro Strategie entstehen,
• wie groß sie im Schnitt werden,
• wo sie sich überlappen,
• und wie der originale Text in den einzelnen Chunks aussieht.

Spiel mit den Schiebern. Du wirst spüren, dass es kein „richtiges" Chunking gibt - nur ein passendes für deinen konkreten Korpus.