Rute model: mengirim pertanyaan sederhana ke model yang lebih murah
Pengaturan rute adalah kontrol biaya dengan pengaruh tertinggi dalam sistem LLM, dan hampir selalu diimplementasikan paling akhir, setelah delapan belas bulan membayar harga premium untuk pertanyaan yang dijawab identik oleh model yang lebih kecil.
Apa yang Terjadi
Sebuah tim menjalankan semuanya pada model yang tersedia paling kuat karena itu adalah pilihan yang aman di awal dan tidak ada yang meninjau kembali. Delapan belas bulan kemudian, tagihan menjadi item terbesar dalam proyek, dan analisis menunjukkan bahwa sebagian besar kueri adalah pencarian, penulisan ulang, dan klasifikasi yang dapat ditangani oleh model yang satu pesanan besarnya lebih kecil dengan cara yang identik.
Mengapa Hal Ini Penting untuk Tim Penerapan
Pemilihan model seragam adalah pajak atas kehati-hatian. Perbedaan biaya antara tingkatan seringkali sepuluh hingga tiga puluh kali, sedangkan perbedaan kualitas pada tugas sederhana seringkali tidak dapat dibedakan. Pengaturan rute memulihkan sebagian besar penyebaran tersebut tanpa menyentuh kasus yang sulit, itulah mengapa hal ini mengalahkan setiap tuas biaya lainnya pada pengembalian per jam kerja.
Bagaimana Membangunnya
Jangan mulai dengan model router — itu menambahkan latensi dan mode kegagalan. Mulai dengan aturan, karena Anda sudah mengetahui kategori: pencarian fakta singkat, klasifikasi, dan ekstraksi pergi ke model kecil; apa pun yang multi-langkah, apa pun yang memerlukan sintesis di seluruh dokumen, dan apa pun di mana kepercayaan model kecil rendah pergi ke model besar. Kemudian ukur. Rute sampel lalu lintas langsung ke kedua tingkatan, skor keduanya dengan set eval Anda, dan promosikan kategori ke model kecil hanya di mana skor tersebut bertahan.
Penjaga Rel
Pertahankan lantai: jangan pernah mengarahkan permintaan model kecil menolak dua kali. Log tingkatan mana yang melayani setiap permintaan, sehingga keluhan kualitas dapat dilacak ke keputusan pengaturan rute daripada ditebak. Dan jalankan kembali perbandingan setiap kali model ditingkatkan — tabel pengaturan rute yang dibangun melawan model triwulanan lalu adalah tabel pengaturan rute yang menggambarkan model yang tidak lagi Anda gunakan.