Hardware

Das ferne Gehirn aus dem LLM-Call steht irgendwo in einem Rechenzentrum - oder, seit Open Weights, auf deinem Schreibtisch. In beiden Fällen läuft es auf sehr konkreter Hardware. Ein Grundverständnis davon lohnt sich, selbst wenn du nie eine eigene GPU kaufst: Es erklärt die Preise, die Grenzen und die Modell-Auswahl.

Warum ausgerechnet GPUs

Ein LLM-Aufruf ist im Kern Millionen Mal dieselbe Rechnung: Zahlenreihen miteinander multiplizieren. Grafikkarten wurden genau dafür gebaut - tausende kleine Rechenwerke, die dieselbe Operation gleichzeitig ausführen. Eine CPU kann das auch, nur eben mit einer Handvoll Kernen statt tausenden: Das Modell antwortet dann in Minuten statt Sekunden.

VRAM ist die harte Grenze

Wichtiger als die Geschwindigkeit der GPU ist ihr Speicher (VRAM) - denn das komplette Modell muss hineinpassen. Die Faustregel: Parameter × Bytes pro Parameter. Ein 7B-Modell in halber Genauigkeit (2 Bytes) braucht rund 14 GB, ein 70B-Modell entsprechend 140 GB - mehr, als in jede einzelne Consumer-GPU passt.

Dazu kommt der Arbeitsspeicher fürs Gespräch selbst: Der KV-Cache wächst mit jedem Token im Kontext. Ein langes Gespräch mit großem Kontextfenster kostet zusätzlich Gigabytes. Wenn dir je ein lokales Modell bei langen Chats „out of memory" gestorben ist - das war er.

Quantisierung: der Kompromiss

Die Rettung für kleine Budgets heißt Quantisierung: Die Gewichte werden gröber gespeichert - 8 statt 16 Bit, oder sogar 4. Das halbiert (oder viertelt) den Speicherbedarf, kostet aber ein wenig Qualität. Die überraschende Praxiserfahrung: Ein großes Modell in 4 Bit schlägt meist ein kleines in voller Genauigkeit. Deshalb sind quantisierte Varianten der Normalfall für lokales Arbeiten, nicht die Ausnahme.

Muss es die eigene GPU sein?

Nein. Der Weg zum laufenden Modell hat viele Stufen: Apple Silicon teilt sich den Speicher zwischen CPU und GPU - ein MacBook mit 32 GB fährt erstaunlich große Modelle. GPUs lassen sich stundenweise mieten, statt sie zu kaufen. Und die API ist am Ende nichts anderes als „jemand anderes betreibt die Hardware" - bezahlt pro Token statt pro Grafikkarte.

Hardware entscheidet nicht, ob dein Agent klug ist - sie entscheidet, welche Modelle überhaupt zur Wahl stehen und was jede Antwort kostet. VRAM ist dabei die Währung: Modellgröße plus Kontext müssen hineinpassen.

Für den Agenten selbst gilt das Muster aus dem ganzen Block: Der Harness merkt von alledem nichts. Ob hinter der URL ein Rechenzentrum oder dein MacBook sitzt, ist eine Frage von Budget und Datenschutz - nicht der Architektur.