Evaluasi agen adalah unit test baru
Setiap tim yang menjalankan agen di produksi akhirnya membangun hal yang sama: serangkaian skenario yang tidak boleh mengalami regressi. Pertanyaan satu-satunya adalah apakah Anda membangunnya sebelum atau setelah insiden yang menghadap pelanggan pertama kali.
Apa yang terjadi
Perilaku agen bersifat non-deterministik, sehingga penyesuaian prompt yang memperbaiki satu kasus secara diam-diam merusak tiga kasus lainnya. Tim tanpa suite evaluasi menemukan hal ini dari tiket dukungan, minggu-minggu kemudian.
Mengapa hal ini penting untuk tim deployment
Sebuah suite evaluasi mengubah rekayasa prompt dari opini menjadi teknik. Dengan 30 hingga 50 skenario representatif yang dinilai pada setiap perubahan, Anda dapat benar-benar mengatakan apakah modifikasi tersebut merupakan perbaikan.
Apa yang harus dilakukan tentang hal ini
Mulai dengan kegagalan yang sudah Anda lihat. Tulis masing-masing sebagai skenario dengan kondisi lulus yang eksplisit, hubungkan ke CI, dan tolak untuk menggabungkan perubahan agen yang menurunkan skor tanpa alasan tertulis.
Yang bisa Anda lakukan sekarang
- Kumpulkan 30-50 skenario nyata, bukan ideal sintetis
- Skor setiap perubahan prompt di CI
- Tangani penurunan skor sebagai build yang gagal