Warum der zehnte Turn hundertmal so viel kostet wie der erste

Der erste Aufruf eines Agenten kostet ein paar Cent. Der zehnte kostet ein Vielfaches davon - und niemand hat zwischendurch das Modell gewechselt oder eine längere Frage gestellt. Das überrascht regelmäßig, weil eine Rechnung erwartet wird, die es hier nicht gibt: zehn Schritte, zehnmal der Preis eines Schritts.

Ein Sprachmodell hat kein Gedächtnis

Der Grund steht ganz am Anfang der Bauweise: Die API eines Sprachmodells ist zustandslos. Sie merkt sich zwischen zwei Aufrufen nichts. Was ein Agent als „Gespräch" erlebt, ist eine Liste von Nachrichten, die bei jedem einzelnen Aufruf komplett neu mitgeschickt wird - Systemprompt, alle bisherigen Fragen, alle bisherigen Antworten, alle Werkzeugaufrufe und deren Ergebnisse.

Baustein

Message-History

Nach jeder Antwort legen wir auf - der nächste Anruf beginnt bei null. Kontext entsteht erst, wenn wir das Protokoll des Gesprächs jedes Mal komplett vorlesen.

Der Call aus Bauteil 1 ist zustandslos. Damit ein Gespräch entsteht, führt der Harness ein Protokoll und liest es bei jedem Anruf von vorn vor. Das ist die Message-History - und der Grund, warum „Gedächtnis“ bei LLMs etwas völlig anderes bedeutet, als man denkt.

Jeder LLM-Aufruf ist zustandslos. Damit ein Agent über mehrere Schritte kohärent bleibt, musst du die Message-History mitschicken - und zahlst dafür mit Tokens. Gedächtnis ist deshalb immer ein Abwägen: genug Kontext für Kohärenz, wenig genug für Kosten und Fokus.

→ Zum Baustein

Turn 1 schickt also den Systemprompt und eine Frage. Turn 2 schickt den Systemprompt, die Frage, die Antwort und die nächste Frage. Turn 10 schickt alles, was in neun Runden zusammengekommen ist. Der Eingabeteil der Rechnung wächst mit jedem Schritt - und bezahlt wird pro Token, jedes Mal von vorn.

Die Summe wächst quadratisch, nicht linear

Nimm an, jeder Turn legt ungefähr gleich viel Text nach. Dann kostet

• Turn 1 den Umfang von einem Block,
• Turn 2 den Umfang von zwei Blöcken,
• Turn 10 den Umfang von zehn Blöcken.

Der einzelne zehnte Aufruf ist also nicht hundertmal, sondern etwa zehnmal so teuer wie der erste. Hundertfach wird es, wenn man die Gesamtrechnung eines Laufs betrachtet: 1 + 2 + 3 + … + 10 sind 55 Blöcke statt der erwarteten 10. Bei hundert Schritten sind es 5050 statt 100 - der Faktor gegenüber einer naiven Schätzung liegt dann bei 50. Diese Summe wächst mit dem Quadrat der Schrittzahl. Deshalb fühlt sich ein Agent, der zwanzig Werkzeuge aufruft, nicht doppelt so teuer an wie einer mit zehn, sondern viermal.

Und die Blöcke sind bei Agenten selten gleich groß. Der größte Brocken sind üblicherweise nicht die Antworten des Modells, sondern die Werkzeugergebnisse: eine gelesene Datei, eine Suchtrefferliste, ein API-Antwortkörper. Ein einziges read_file auf eine 800-Zeilen-Datei legt mehr in den Verlauf als zehn Modellantworten - und diese Datei fährt danach in jedem weiteren Aufruf wieder mit.

Was das praktisch heißt

Drei Dinge folgen daraus, und alle drei sind Entwurfsentscheidungen, keine Einstellungen:

Kontext ist Budget, nicht Speicher. Was in den Verlauf wandert, wird nicht einmal bezahlt, sondern für den Rest des Laufs. Deshalb ist es billiger, ein Werkzeug ein knappes Ergebnis liefern zu lassen, als das Modell später mit einer Zusammenfassung aufräumen zu lassen - die Zusammenfassung ersetzt das Original im Verlauf ja erst, nachdem das Original schon einmal drin war.

Der Verlauf muss gepflegt werden. Genau dafür gibt es Techniken wie das Zusammenfassen älterer Abschnitte, das Auslagern langer Ergebnisse an eine Ablage, auf die per Verweis zugegriffen wird, oder schlicht das Abschneiden alter Turns. Ein Agent ohne Verlaufspflege wird nicht irgendwann unbezahlbar, sondern läuft vorher in die Wand des Kontextfensters.

Prompt-Caching ändert den Preis, nicht die Menge. Weil der Anfang der Nachrichtenliste bei jedem Aufruf identisch ist, bieten die meisten Anbieter einen Rabatt auf genau dieses wiederholte Präfix - oft in der Größenordnung von 90 Prozent, solange der Cache warm ist. Das ist viel wert und der Grund, warum man stabile Teile (Systemprompt, Werkzeugbeschreibungen) nach vorn legt und nichts Wechselndes davorschiebt. Aber: Es senkt den Tokenpreis, nicht die Tokenzahl. Das Kontextfenster füllt sich genauso schnell.

Der zweite Preis: Zeit

Es kostet nicht nur Geld. Die Aufmerksamkeitsschicht eines Transformers vergleicht jedes Token mit jedem anderen - der Rechenaufwand pro Aufruf steigt mit der Länge stärker als proportional. Im Betrieb merkt man das an der Zeit bis zum ersten Token: Sie wächst über einen langen Lauf spürbar, obwohl die Antworten gleich kurz bleiben. Ein Agent wird also nicht nur teurer, während er arbeitet, sondern auch langsamer.

Wer das einmal gesehen hat, liest die Rechnung anders. Die Frage ist nicht „wie viele Aufrufe macht mein Agent", sondern „wie groß ist er beim letzten".