Kontext injizieren

Die Lehre aus Kapitel 1: alles in den Prompt zu kippen funktioniert nicht. Aber das Modell kann durchaus Fragen beantworten, wenn die richtigen Informationen im Kontext stehen. Das ist die Beobachtung, auf der RAG aufbaut.

Snippets statt Vollkorpus

Statt das gesamte Wissen mitzuliefern, geben wir dem Modell nur die paar Absätze, die für die Frage gebraucht werden. Das hat zwei sofortige Effekte:

• Token-Verbrauch und Latenz fallen drastisch.
• Halluzinationen sinken - das Modell erfindet weniger, wenn die Antwort vor seinen Augen steht.

Der Prompt sieht dann grob so aus:

[Kontext]
<Schnipsel A>
<Schnipsel B>

[Frage]
Wo lebt der Pinguin?

Wenn wir die richtigen Schnipsel finden, ist die Antwort fast banal. Bleibt die Frage: wie finden wir sie?

Erster Versuch: Volltextsuche

Die naheliegende Antwort: Postgres kann Volltext. Wir bauen einen tsvector-Index, schicken die Frage als Query rein, und nehmen die Top-K-Treffer als Kontext.

Das funktioniert für alles, was wörtlich im Korpus steht. Du fragst „Wo lebt der Pinguin?", und der Eintrag mit „Pinguin" und „Antarktis" landet im Treffer.

Was nicht funktioniert: Paraphrasen.

Frag stattdessen: „Welcher Vogel kann nicht fliegen, ist aber ein guter Schwimmer?". Volltextsuche scheitert, weil keines der Schlüsselwörter im Pinguin-Steckbrief wörtlich vorkommt - und die Suche kennt keine Bedeutung.

Lab: BM25 in Aktion

In Lab 1 Naïves RAG, Tab „Volltextsuche", kannst du dieselbe Frage in drei Varianten stellen - wörtlich, paraphrasiert, mit ungewohntem Vokabular. Die Volltextsuche trifft mal, scheitert mal, und du siehst direkt, wo die Wand steht.

Genau diese Wand zwingt uns, das nächste Konzept anzugehen: nicht nach Wörtern, sondern nach Bedeutung zu suchen.