Routing model: kirim pertanyaan mudah ke model murah
Routing adalah kontrol biaya dengan leverage tertinggi di sistem LLM, dan hampir selalu diimplementasikan paling akhir, setelah delapan belas bulan membayar harga premium untuk pertanyaan yang dijawab identik oleh model lebih kecil.
Apa yang terjadi
Sebuah tim menjalankan semuanya di model terkuat yang tersedia karena itu pilihan aman di awal dan tidak ada yang meninjaunya lagi. Delapan belas bulan kemudian tagihannya jadi pos terbesar di proyek, dan analisis menunjukkan mayoritas kueri adalah lookup, rewrite, dan klasifikasi yang ditangani identik oleh model yang satu orde lebih kecil.
Mengapa ini penting bagi tim deployment
Pemilihan model seragam adalah pajak atas kehati-hatian. Perbedaan biaya antar tier sering sepuluh sampai tiga puluh kali, sementara perbedaan kualitas pada tugas sederhana sering kali tidak bisa dibedakan. Routing memulihkan sebagian besar selisih itu tanpa menyentuh kasus yang sulit, dan karena itulah ia mengalahkan tuas biaya lain dalam imbal hasil per jam kerja.
Cara membangunnya
Jangan mulai dengan model router — itu menambah latensi dan satu mode kegagalan lagi. Mulailah dengan aturan, karena kategorinya sudah Anda tahu: lookup faktual pendek, klasifikasi, dan ekstraksi ke model kecil; apa pun yang multi-langkah, apa pun yang butuh sintesis lintas dokumen, dan apa pun yang confidence model kecil-nya rendah, ke model besar. Lalu ukur. Arahkan sampel traffic live ke dua tier, skor keduanya dengan set evaluasi Anda, dan promosikan sebuah kategori ke model kecil hanya jika skornya bertahan.
Pagar pengaman
Pertahankan lantai: jangan pernah mengarahkan permintaan yang dua kali ditolak model kecil. Catat tier mana yang melayani setiap permintaan, agar komplain kualitas bisa ditelusuri ke keputusan routing, bukan ditebak. Dan ulangi perbandingannya setiap kali salah satu model diperbarui — tabel routing yang dibangun untuk model kuartal lalu mendeskripsikan model yang sudah tidak Anda pakai.