Tool-Calling im Betrieb

In Tools & Loop steht, wie ein Werkzeugaufruf zustande kommt: Beschreibungen in den Prompt, Aufruf aus der Antwort lesen, ausführen, Ergebnis zurück in den Verlauf, weiterdrehen. Das ist die Mechanik, und sie ist in einem Nachmittag gebaut.

Diese Seite fängt dort an, wo dieser Nachmittag endet - an dem Tag, an dem der Agent nicht mehr fünf Werkzeuge auf deinem Rechner bedient, sondern vierzig in einem System, das anderen Leuten gehört.

Zwei Zahlen, die nicht zusammenpassen

Modelle werden mit ihrer Trefferquote beim Werkzeugaufruf beworben, und die Zahlen sind beeindruckend. Sie beschreiben einen Aufruf: eine Anfrage, eine Werkzeugliste, ein Aufruf, richtig oder falsch.

Ein Agent macht keinen Aufruf. Er macht zehn oder zwanzig hintereinander, und jeder arbeitet auf dem Ergebnis des vorigen weiter. Die Wahrscheinlichkeiten multiplizieren sich dabei - und das ist keine Metapher, das ist eine Multiplikation:

Rechnung · Kettep^n = 35,85 %

Die Kette durchrechnen

Links die Trefferquote eines einzelnen Werkzeugaufrufs - die Zahl, die in Modellankündigungen steht. Rechts, wie viele Aufrufe der Agent hintereinander macht, jeder auf dem Ergebnis des vorigen. Unten steht das Produkt, nicht der Durchschnitt.

Trefferquote je Schritt95,0 %Schritte in der Kette20 Schritte

Was nach jedem Schritt noch heil ist

Füllhöhe = Restwahrscheinlichkeit

1. 1
2. 2
3. 3
4. 4
5. 5
6. 6
7. 7
8. 8
9. 9
10. 10
11. 11
12. 12
13. 13
14. 14
15. 15
16. 16
17. 17
18. 18
19. 19
20. 20

Ab Schritt 14 ist weniger als die Hälfte der Läufe noch heil.

Auftrag gelungen

35,8 %

95,0 % hoch 20

Schritte für 90 %

2

So kurz müsste die Kette sein, damit dieselbe Schrittgüte auf 90 % käme.

Schrittgüte für 90 %

99,47 %

So gut müsste jeder einzelne Schritt bei 20 Schritten sein.

Kette halbierenFehlerquote halbieren

Befund35,8 % über 20 Schritte: Zwei von drei Aufträgen laufen nicht durch. Ab Schritt 14 ist die Mehrheit der Läufe schon beschädigt, und alles danach arbeitet auf einem falschen Zwischenstand weiter.

Geführt in fünf Schritten

Jeder Schritt stellt die beiden Regler selbst ein - wer lieber selbst schiebt, kann den Befund trotzdem aufdecken.

1. 1Stellen Sie 95 % je Schritt und 20 Schritte ein - der Normalfall eines Agenten. Lesen Sie die große Zahl.
   0,95 · 20 Schritte
   Erkenntnis zeigen
2. 2Heben Sie die Schrittgüte auf 97 %. Das wäre ein großer Sprung: die Fehlerquote je Schritt fällt um 40 %.
   0,97 · 20 Schritte
   Erkenntnis zeigen
3. 3Gehen Sie zurück auf 95 %, aber halbieren Sie die Kette auf 10 Schritte.
   0,95 · 10 Schritte
   Erkenntnis zeigen
4. 4Suchen Sie die Schrittgüte, die bei 20 Schritten für 90 % nötig wäre. Der mittlere Kasten rechnet sie aus.
   0,995 · 20 Schritte
   Erkenntnis zeigen
5. 5Stellen Sie einen einzigen Schritt ein und vergleichen Sie mit dem, was im Benchmark steht.
   0,95 · 1 Schritt
   Erkenntnis zeigen

Was hier üblicherweise falsch verstanden wird

Ein besseres Modell löst das Problem.

→Ein besseres Modell hebt die Basis. Der Exponent bleibt - und er ist der stärkere Hebel. Kürzere Ketten und Zwischenprüfungen bringen bei gleichem Aufwand mehr.

95 % klingen doch gut.

→Über zwanzig Schritte ist das ein Drittel. Betriebstauglichkeit fängt bei 99,5 % je Schritt an, und dahin kommt man nicht mit dem Modell, sondern mit dem Harness drumherum.

Ein Fehler bedeutet Abbruch.

→Nur ein *unbehandelter*. Ein Fehlschlag, aus dem der Agent lernt und den er beim zweiten Versuch vermeidet, hebt die Basis - genau dort greift der Werkzeugkasten aus Teil zwei dieser Seite.

Die Rechnung setzt voraus, dass die Schritte aufeinander aufbauen - was für Agenten der Regelfall ist. Voneinander unabhängige Aufrufe multiplizieren sich nicht, sie summieren sich nur im Aufwand.

Wer die Regler einmal durchgezogen hat, kennt das Ergebnis dieser Seite schon: Der Exponent ist der stärkere Hebel als die Basis. Ein besseres Modell hebt die Trefferquote je Schritt. Eine kürzere Kette, ein Fehlschlag, der abgefangen statt weitergereicht wird, ein Aufruf, der gar nicht erst falsch geraten werden kann - all das wirkt auf den Exponenten, und deshalb wirkt es stärker.

Der Aufruf geht durch sechs Hände

Zwischen „das Modell hat verstanden, was zu tun ist" und „das Zielsystem hat es getan" liegen sechs Übersetzungen. Jede kann für sich brechen, und fünf von ihnen sehen im Fehlerfall genauso aus wie ein Modell, das es nicht kann:

Nur Schicht 1 lässt sich mit einem besseren Modell beheben. An Schicht 4 hilft kein Feintuning, an Schicht 2 keine Prompt-Kunst, an Schicht 6 gar nichts, was mit KI zu tun hat.

Warum man das so spät merkt

Das eigentliche Problem ist nicht, dass Werkzeugaufrufe scheitern. Es ist, dass sie leise scheitern.

• Ein Aufruf, der nicht gelesen wurde, erzeugt keine Ausnahme - er erzeugt eine leere Liste. Der Agent antwortet freundlich und tut nichts.
• Ein Modell ohne Stoppmarke schreibt sich die Werkzeugantwort selbst. Die erfundenen Zahlen sind von echten nicht zu unterscheiden, weil sie im selben Format daherkommen.
• Ein Werkzeug, das viermal denselben Fehler zurückgibt, sieht im Protokoll aus wie vier Versuche und ist in Wahrheit ein einziger, viermal wiederholt.

Alle drei Fälle haben dieselbe Ursache: Der Harness protokolliert, was er verstanden hat, nicht, was das Modell geschrieben hat. Wer die Rohausgabe unverändert mitschreibt - vor jeder Verarbeitung -, beantwortet die Hälfte aller Fragen dieser Seite in zehn Sekunden statt in zwei Tagen. Es ist der billigste Eingriff im ganzen Kapitel und der einzige, der wirklich Voraussetzung für alle anderen ist.

Was unten steht

Sieben Kapitel, in der Reihenfolge, in der man sie braucht: zuerst der Fehlerkatalog als Nachschlagewerk, dann fünf Bauteile gegen das, was darin steht, und am Ende der Spezialist - FunctionGemma, ein 270-Millionen-Parameter-Modell, das genau eine Sache kann und deshalb neben dem großen Modell steht, nicht an seiner Stelle.

Jedes Bauteil kommt mit dem, was es kostet. Es gibt auf dieser Seite keinen Eingriff, der nur Vorteile hat - erzwungene Syntax kostet Denkleistung, Abruf kostet eine Vorstufe, Nachweise kosten Aufwand an jeder Schnittstelle. Die Frage ist nie „gut oder schlecht", sondern „ab wann lohnt es sich".