Benchmarks

Sobald mehr als ein Modell zur Wahl steht, kommt die Frage: Welches ist besser? Benchmarks versprechen eine Antwort in einer Zahl. Das ist praktisch - und genau da beginnt das Problem.

Was ein Benchmark ist

Ein Benchmark ist eine feste Sammlung von Aufgaben mit bekannten Lösungen. Man lässt das Modell antworten und zählt die Treffer. Ein paar Namen, die dir überall begegnen:

• MMLU - Wissensfragen quer durch Schulfächer und Berufe, Multiple Choice.
• HumanEval - kleine Programmieraufgaben; zählt, ob der erzeugte Code die Tests besteht.
• GPQA - Expertenfragen, an denen auch Menschen mit Studium scheitern.

Das Ergebnis ist ein Prozentwert, und Prozentwerte lassen sich wunderbar in Tabellen sortieren. Deshalb steht in jeder Modell-Ankündigung eine.

Warum Benchmarks lügen

Drei Gründe, den Zahlen zu misstrauen. Erstens Kontamination: Die Testfragen stehen seit Jahren im Internet - also oft auch in den Trainingsdaten. Das Modell hat die Prüfung nicht bestanden, es kannte sie auswendig. Zweitens Benchmarketing: Wer ein Modell veröffentlicht, wählt die Benchmarks, auf denen es glänzt. Drittens - und am wichtigsten: Ein Benchmark misst seine Aufgaben, nicht deine. Ein Modell kann MMLU gewinnen und trotzdem an deinen Support-Mails scheitern.

Arenen: Menschen statt Aufgabenlisten

Einen anderen Weg gehen Vergleichs-Arenen wie die Chatbot Arena: Menschen stellen eine Frage, bekommen zwei anonyme Antworten und wählen die bessere. Daraus entsteht eine Rangliste nach demselben System wie im Schach (Elo). Das ist schwerer zu manipulieren - misst aber, was Menschen gefällt, nicht was stimmt. Höfliche, ausführliche Antworten gewinnen auch dann, wenn sie falsch sind.

Dein eigener Benchmark schlägt jede Rangliste

Die ehrlichste Zahl bekommst du selbst: Sammle zwanzig echte Aufgaben aus deinem Agenten-Alltag - mit der jeweils erwarteten Antwort. Lass jeden Kandidaten antworten, zähl die Treffer. So ein Mini-Eval ist in einem Nachmittag gebaut, läuft bei jedem Modellwechsel neu und beantwortet die einzige Frage, die zählt: Funktioniert mein Agent damit?

Benchmarks sind Landkarten, keine Landschaft: gut, um die Modell-Flut grob zu sortieren und Kandidaten auszuwählen - ungeeignet als letzte Instanz.

Die letzte Instanz ist ein Eval mit deinen eigenen Aufgaben. Das ist kein Hexenwerk, sondern derselbe Loop, den dein Harness ohnehin beherrscht: Aufgabe rein, Antwort prüfen, Treffer zählen. Wer seine zwanzig Testfälle pflegt, kann jede Modell-Schlagzeile gelassen lesen.