Inferenz-Engines

Eine Modelldatei ist nur ein Sack voller Zahlen. Dass daraus eine API wird, die auf deinen Call antwortet, ist die Arbeit der Inferenz-Engine - des Plattenspielers, der die Platte abspielt.

Basics

Für alle frei: das Konzept, die Analogie, das Warum.

Lade ein Open-Weights-Modell herunter, und du bekommst … eine Datei. Ein paar Gigabyte gelernte Zahlen, die von sich aus gar nichts tun. Zwischen dieser Datei und dem vertrauten „JSON rein, JSON raus" fehlt noch ein Programm: die Inferenz-Engine.

Was die Engine tut

Sie lädt die Gewichte in den Speicher, nimmt deinen Request entgegen - und erzeugt die Antwort Token für Token: Aus dem bisherigen Text berechnet das Modell das wahrscheinlichste nächste Stück, das wird angehängt, und das Ganze beginnt von vorn, bis stop_reason erreicht ist. Deshalb tröpfeln LLM-Antworten wortweise: Es ist eine Schleife.

Damit das schnell bleibt, arbeitet die Engine mit Tricks, von denen zwei immer wieder auftauchen: Der KV-Cache merkt sich Zwischenergebnisse für den bereits gelesenen Text, damit nicht jedes Token alles neu rechnet. Und Batching bedient viele Anfragen gleichzeitig auf einer GPU, statt sie brav nacheinander abzuarbeiten.

Die üblichen Verdächtigen

Ollama - der freundlichste Einstieg: ein Befehl, Modell läuft lokal, API inklusive.
llama.cpp - der Läufer: in C++ geschrieben, läuft auf fast allem, vom Server bis zum MacBook; Herzstück vieler anderer Tools (auch Ollama baut darauf auf).
vLLM - der Serving-Profi: auf Durchsatz gebaut, wenn ein Modell viele Nutzer gleichzeitig bedienen soll.

Und die großen APIs? Auch dort antwortet dir eine Inferenz-Engine - nur eben eine, die dem Anbieter gehört und hinter Load-Balancern in seinem Rechenzentrum läuft. Der Unterschied ist der Betreiber, nicht das Prinzip.

Eine API, viele Engines

Praktischerweise haben sich fast alle Engines auf denselben Dialekt geeinigt: OpenAI-kompatible Endpunkte. Ob Ollama auf localhost, vLLM auf deinem Server oder ein Cloud-Anbieter - der Request sieht (fast) gleich aus:

POST http://localhost:11434/v1/chat/completions

{
  "model": "hermes3",
  "messages": [
    { "role": "user", "content": "Wer bist du?" }
  ]
}

Für deinen Harness heißt das: Engine wechseln = Base-URL wechseln. Mehr nicht.

Merke dir das Bild: Das Modell ist die Platte, die Engine der Plattenspieler. Die Platte enthält die Musik, aber erst der Spieler macht sie hörbar - und derselbe Spieler spielt jede Platte im passenden Format.

Für den Harness sind beide unsichtbar: Er sieht nur eine URL, die auf Calls antwortet. Genau deshalb kannst du heute lokal mit Ollama entwickeln und morgen gegen einen Cloud-Anbieter fahren, ohne eine Zeile am Agenten zu ändern.

Rabbit Hole