Harness, Teil 9: Tool-Call-Optimierung

Worum es geht

Zum Abschluss der Serie eine Idee, die über den fertigen Harness hinausweist: Nicht jede Entscheidung braucht das große Modell. Der Griff zum Werkzeug - welches, mit welchen Argumenten - ist oft Routine, und Routine kann ein kleines, auf Function-Calling spezialisiertes Modell übernehmen: schneller, billiger, lokal. Das große Modell bleibt zuständig für das, was es am besten kann - verstehen und antworten. Diese Arbeitsteilung gehört zu den Erweiterungen aus Block II, und sie ist kein Blindflug: Am Ende steht eine Messung, nicht ein Gefühl.

Voraussetzung: ein lokales Ollama, auf dem ein kleines Function-Calling-Modell wie function-gemma läuft - derselbe OpenAI-kompatible Endpoint wie immer, nur eben bei dir zuhause. Kein Ollama? Du baust trotzdem mit: Der Baustein entsteht als abschaltbarer Schalter, gemessen wird dann mit dem Hauptmodell als Router - und der lokale Router bleibt als offener Punkt in deiner Doku vermerkt.

Am Ende dieses Teils läuft: dieselbe Aufgabe zweimal, mit und ohne Router - und die Zahlen dazu stehen nebeneinander in deiner Doku.

So funktioniert der Bau

Wie gehabt: Prompt kopieren, deinem Coding-Agenten geben, Fragen beantworten. Der Prompt liest die harness-doku.html und setzt den kompletten Stand aus Teil 8 voraus.

Funktioniert, wenn

Dieselbe Aufgabe lief zweimal - mit und ohne Router - und deine Doku zeigt die Zahlen nebeneinander: Dauer und Token je Werkzeug-Runde. Mit lokalem function-gemma ist der Unterschied messbar; ohne bleibt der Schalter als sauber eingebauter, dokumentierter offener Punkt. Und damit ist die Serie durch: neun Teile, neun Haken, ein Harness - Terminal, Automatisierung, kontextsparend. Er macht genau das, was du entschieden hast, und keinen Handgriff mehr.