Di mana milidetik menghilang: anggaran latensi untuk RAG
Permintaan RAG terasa lambat jauh sebelum benar-benar lambat. Mengetahui stage mana dari lima stage yang bertanggung jawab membuat perbedaan antara perbaikan yang tepat sasaran dan tiga minggu mengganti komponen yang salah.
Apa yang Terjadi
Pengguna melaporkan bahwa asisten tersebut lambat. Tim melakukan profil model, menemukan bahwa generasi adalah bottleneck, dan menghabiskan sprint untuk mengoptimalkannya. Namun, latensi yang dirasakan hampir tidak berubah, karena masalah sebenarnya adalah rantai berurutan: retrieval menunggu query rewriting, reranking menunggu retrieval, dan tidak ada yang tumpang tindih.
Mengapa Hal Ini Penting untuk Tim Pengeployan
Latensi adalah anggaran, dan seperti anggaran lainnya, persyaratan pertama adalah mengetahui di mana anggaran tersebut digunakan. Sebuah permintaan RAG biasanya memiliki lima tahap — pemahaman query, retrieval, reranking, packing, generasi — dan dalam sistem yang sehat, mereka berkisar antara 20 hingga 60 milidetik, 20 hingga 60, 40 hingga 150, tidak signifikan, dan 300 hingga 900 masing-masing. Dua angka yang lebih penting daripada total: waktu ke token pertama, yang sebenarnya dirasakan pengguna, dan p99, yang diingat pengguna.
Apa yang Dapat Dilakukan
Instrumentasi setiap tahap secara terpisah sebelum mengoptimalkan apa pun; sebagian besar tim salah tentang tahap mana yang dominan. Kemudian cari pekerjaan yang dilakukan secara berurutan yang dapat tumpang tindih — query rewriting dan embedding dapat berjalan paralel dengan metadata lookups. Kurangi set kandidat yang dikirim ke reranker sebelum mengoptimalkan reranker itu sendiri. Cache agresif: retrieval dan reranking adalah deterministik untuk versi corpus yang diberikan, dan pertanyaan dukungan berulang jauh lebih sering daripada yang diharapkan tim.
Kemenangan Murah
Streaming. Waktu ke token pertama adalah keputusan produk sebagaimana juga keputusan teknis, dan streaming jawaban parsial pada 400 milidetik terasa jauh lebih cepat daripada jawaban lengkap pada 1.400 milidetik. Ini biasanya merupakan perubahan kinerja yang dirasakan tertinggi yang tersedia dan hanya membutuhkan waktu sehari.