Modell-Routing: Einfache Fragen an günstige Modelle senden
Routing ist die kostengünstigste Steuerung in einem LLM-System und wird fast immer als Letztes implementiert, nach achtzehn Monaten, in denen man Premium-Preise für Fragen zahlt, die ein kleineres Modell genauso beantwortet.
Was passiert ist
Ein Team läuft alles auf dem stärksten verfügbaren Modell, weil es zu Beginn die sichere Wahl war und niemand es noch einmal überprüft hat. Achtzehn Monate später ist die Rechnung der größte Posten im Projekt, und eine Analyse zeigt, dass die Mehrheit der Abfragen Lookups, Rewrites und Klassifizierungen sind, die ein um eine Größenordnung kleineres Modell identisch handhabt.
Warum es für Deployment-Teams wichtig ist
Einheitliche Modellauswahl ist eine Steuer auf Vorsicht. Der Kostenunterschied zwischen den Stufen beträgt oft zehn bis dreißig Mal, während der Qualitätsunterschied bei einfachen Aufgaben häufig nicht zu unterscheiden ist. Routing erholt den größten Teil dieser Differenz, ohne die schwierigen Fälle zu berühren, was der Grund ist, warum es jeden anderen Kostenhebel bei der Rendite pro Arbeitsstunde schlägt.
Wie man es aufbaut
Fangen Sie nicht mit einem Router-Modell an — das fügt Latenz und einen Fehlermodus hinzu. Fangen Sie mit Regeln an, weil Sie bereits die Kategorien kennen: kurze faktuelle Lookups, Klassifizierung und Extraktion gehen zum kleinen Modell; alles, was mehrere Schritte erfordert, alles, was eine Synthese über Dokumente erfordert, und alles, wo das kleine Modell ein geringes Vertrauen hat, geht zum großen Modell. Dann messen. Leiten Sie eine Stichprobe des Live-Verkehrs zu beiden Stufen, bewerten Sie beide mit Ihrem Evaluierungssatz und fördern Sie eine Kategorie zum kleinen Modell nur, wenn die Bewertung Bestand hat.
Schutzvorkehrungen
Halten Sie eine Untergrenze: leiten Sie niemals eine Anfrage an das kleine Modell weiter, wenn es zweimal abgelehnt wird. Protokollieren Sie, welche Stufe jede Anfrage bedient hat, damit eine Qualitätsbeschwerde auf eine Routing-Entscheidung zurückgeführt werden kann, anstatt geraten zu werden. Und wiederholen Sie den Vergleich, wenn eines der Modelle upgegradet wird — eine Routing-Tabelle, die gegen die Modelle des letzten Quartals erstellt wurde, ist eine Routing-Tabelle, die Modelle beschreibt, die Sie nicht mehr verwenden.