Hermes 3 installieren - ein Modell, das Tool-Use kann

Standard-Llama-Modelle können prinzipiell Tool-Use, sind aber nicht spezifisch dafür trainiert. Hermes 3 von NousResearch ist ein Llama-3.1-Fine-Tune, der gezielt auf Function-Calling, JSON-Mode und strukturierte Ausgaben optimiert wurde. Das macht es zur deutlich besseren Wahl, wenn du lokal Agenten bauen willst, die zuverlässig Tools aufrufen.

In diesem Tutorial:

• Hermes 3 über Ollama herunterladen
• Den Unterschied zu Standard-Llama im Tool-Calling-Verhalten sehen
• Eine Tool-Definition im OpenAI-kompatiblen Format ausprobieren

Schritt 1 - Hermes 3 ziehen

NousResearch stellt mehrere Größen bereit. Für den Einstieg passt die 8B-Variante auf jeden halbwegs aktuellen Rechner.

Download-Größe ca. 4,7 GB in der Standard-Quantisierung (q4_K_M). Falls dein RAM knapp ist:

Schritt 2 - Schnelltest im Terminal

Verifiziere, dass das Modell läuft:

Hermes hält sich auffällig diszipliniert an strukturelle Vorgaben - das ist genau die Eigenschaft, die du für Tool-Calling willst.

Schritt 3 - Tool-Definition über die OpenAI-kompatible API

Ollama spricht zusätzlich zu seiner nativen API auch OpenAI-Chat-Completions auf localhost:11434/v1. Damit kannst du jedes OpenAI-SDK direkt verwenden.

Hier ein direkter curl-Test mit Tool-Definition:

In der Antwort siehst du statt eines Textes ein tool_calls-Array - Hermes hat erkannt, dass es das Wetter-Tool braucht, und liefert den Function-Call samt Argumenten:

Schritt 4 - Hermes als Default für den Playground setzen

In deiner .env (oder .env.local):

Wenn du npm run dev startest, redet der Playground jetzt ausschließlich mit deinem lokalen Hermes-Modell. Kein Token-Limit, keine Cloud-Latenz, alles bleibt auf deinem Gerät.

Wann welches Modell?