Die Grenze

Ein Sprachmodell ist im Kern eine sehr große Funktion: Du steckst Text rein, es kommt Text raus. Was dazwischen passiert, ist ein gigantisches statistisches Verfahren, das Wort für Wort vorhersagt, wie es weitergeht.

Damit das funktioniert, muss das Modell deinen Text lesen können. Und genau hier fangen die Probleme an, die uns am Ende zu RAG zwingen.

Tokens - die Recheneinheit von Sprachmodellen

Ein Sprachmodell sieht keine Buchstaben oder Wörter, sondern Tokens. Tokens sind kleine Sprachfetzen - manchmal ein ganzes Wort, manchmal eine Silbe, manchmal nur ein einzelnes Zeichen. Der Tokenizer entscheidet, wie zerlegt wird.

Faustregel: Ein Token entspricht im Mittel etwa vier Zeichen englischer oder deutscher Prosa. Längere Wörter und Sonderzeichen verschieben das nach unten.

Tippe in das Feld oben - beobachte, wie sich Token-Zahl und Zeichen-Zahl gemeinsam bewegen, aber nicht im Verhältnis 1:1. Lange Begriffe wie „Donaudampfschifffahrtsgesellschaft" zerfallen in mehrere Tokens, ein Smiley wie 🐘 ebenfalls.

Warum das wichtig ist? Weil der Preis und die Geschwindigkeit eines Modell-Calls fast immer pro Token berechnet werden - und weil das nächste Konzept eine harte Grenze in Tokens definiert.

Das Kontextfenster - die harte Grenze

Jedes Modell hat ein Kontextfenster: die maximale Anzahl Tokens, die es auf einmal verarbeiten kann. Was nicht reinpasst, sieht das Modell nicht.

Klingt nach viel. Ist es auch - bis du es mit einem realen Anwendungsfall vergleichst.

• Eine durchschnittliche A4-Seite Fließtext hat etwa 500 Tokens.
• Ein Roman wie Der Herr der Ringe hat ungefähr 600 000 Tokens.
• Eine mittelgroße Confluence-Wissensdatenbank kommt schnell auf mehrere Millionen Tokens.

Selbst die größten kommerziellen Modelle scheitern an einer mittelgroßen Wissensbasis. Und je größer das Kontextfenster, desto teurer und langsamer wird jeder Call. Mit 1M-Token-Kontext sprechen wir über mehrere Sekunden Latenz und mehrere Cent pro Anfrage - selbst bei kleinen Antworten.

Dazu kommt ein zweiter Effekt: Selbst wenn ein Modell nominell auf eine Million Tokens schaut, nutzt es Informationen aus der Mitte eines sehr langen Kontextes deutlich schlechter als am Anfang oder Ende. Dieser Effekt heißt Lost in the Middle, gemessen wird er typischerweise mit Needle-in-a-Haystack-Benchmarks. Wir tauchen hier nicht tiefer ein - aber merk dir: ein großes Kontextfenster heißt nicht, dass das Modell darin auch gleich gut hinsieht.

Lab: Was passiert, wenn wir alles reinwerfen?

In Lab 1 Naïves RAG zeigen wir, was passiert, wenn man die naive Lösung wählt: einfach alle Dokumente in den Prompt kippen und schauen, wie weit man kommt.

Du kannst dort:

• Tier-Steckbriefe einzeln in den Prompt aufnehmen,
• live sehen, wie die Token-Zahl wächst,
• die Antwortqualität und die Latenz pro Anfrage messen,
• erleben, wann das Modell kippt - entweder mit Fehler, mit halluzinierter Antwort oder einfach mit zu viel Latenz für die Praxis.

Das ist die Schmerzgrenze, von der wir starten. Im nächsten Kapitel sehen wir den ersten cleveren Move: nicht alles mitschicken, sondern nur die richtigen Schnipsel.