Teknik konteks adalah teknik prompt baru
Selama dua tahun, saran yang diberikan adalah menulis prompt yang lebih baik. Saran itu berhenti memberikan hasil sekitar saat model menjadi cukup baik dalam mengikuti instruksi. Namun, hal yang masih belum bisa dilakukan adalah menginferensikan informasi yan…
Apa yang berubah
Rekayasa prompt dioptimalkan untuk permintaan. Rekayasa konteks mengoptimalkan apa yang ada di ruangan ketika permintaan tiba. Setelah model dapat mengikuti instruksi dengan andal, kegagalan yang tersisa tidak lagi tentang frasa dan mulai tentang ketidakhadiran: file yang relevan tidak dimuat, output alat dipotong, keputusan dari dua puluh putaran yang lalu tidak lagi ada di jendela.
Mengapa hal ini penting untuk tim penerapan
Konteks adalah anggaran dengan batas atas yang keras, dan ini adalah satu-satunya anggaran di tumpukan yang dibelanjakan secara tidak sengaja. Tidak ada yang menulis kode yang bocor token dengan sengaja; mereka menulis kode yang menambahkan satu hasil alat lagi, dan kemudian satu lagi, sampai setengah jendela yang berguna telah diusir. Kegagalan yang dihasilkan adalah jenis terburuk: bukan kesalahan, hanya jawaban yang diam-diam memburuk.
Apa yang harus dilakukan tentang hal ini
Mulailah dengan mengukur. Log token-masuk per permintaan dengan breakdown oleh sumber: prompt sistem, potongan yang diperoleh, output alat, riwayat. Sebagian besar tim menemukan bahwa satu kategori mendominasi dan bahwa mereka salah menebak tentang mana yang paling penting. Kemudian terapkan tiga tuas dalam urutan. Pertama, berhentilah mengirim apa yang tidak diperlukan — sandbox output alat yang verbose dan kembalikan referensi bukan konten. Kedua, kompres apa yang harus dikirim — ringkas putaran lama, hapus duplikat potongan yang tumpang tindih. Ketiga, hanya kemudian pertimbangkan untuk membayar jendela yang lebih panjang, yang merupakan yang paling mahal dan paling tidak efektif dari ketiga tuas.
Bagian yang dilewati tim
Pertahankan memori di luar jendela. Sesi yang mati dengan konteks adalah sesi yang pengguna harus membangun kembali dengan tangan. Tulis state yang tahan lama ke toko yang dapat diquery agen, dan berikan model sebuah penunjuk bukan payload. Ini adalah ide yang sama dengan pagination, dan ini adalah apa yang memisahkan demo dari sesuatu yang rekan akan gunakan dua kali.