Membangun 50 pertanyaan evaluasi yang memprediksi kualitas produksi
Tim yang melakukan pengukuran cenderung mengukur kasus yang mudah, karena itulah kasus di mana seseorang sudah mengetahui jawabannya. Pertanyaan yang akan menghabiskan biaya Anda adalah pertanyaan yang tidak pernah dipertimbangkan sebelumnya.
Apa yang Terjadi
Sebuah tim membangun sebuah set evaluasi dari lima puluh pertanyaan, mendapatkan skor yang baik, kemudian mengirimkannya, dan kemudian menyaksikan kepuasan pengguna menurun selama dua bulan tanpa satu metrik pun berubah. Set tersebut tidak salah; itu tidak representatif. Ini mengambil sampel pertanyaan yang pembangunnya sudah tahu jawabannya, yang secara konstruksi adalah pertanyaan yang sistem tangani dengan baik.
Mengapa Hal Ini Penting untuk Tim Penerapan
Sebuah set evaluasi adalah sebuah instrumen statistik, dan satu-satunya tugasnya adalah memprediksi perilaku pada lalu lintas yang belum pernah dilihat. Sebuah set yang dibangun dari imajinasi tim akan melebih-lebihkan kualitas pada dimensi yang tim pahami, dan tetap diam tentang dimensi yang tidak mereka pahami: istilah teknis, kueri yang salah, pertanyaan yang melibatkan dua dokumen, dan pertanyaan yang korpus tidak dapat menjawab sama sekali.
Bagaimana Membangunnya
Sumber dari kenyataan di mana pun Anda bisa — tiket dukungan, log pencarian, pertanyaan yang diajukan penjualan. Di mana Anda tidak bisa, dapatkan seseorang yang melakukan pekerjaan sehari-hari untuk menulisnya, bukan orang yang membangun sistem. Kemudian terapkan komposisi. Sekitar empat puluh harus dapat dijawab, ditarik dari berbagai tingkat kesulitan. Lima harus tidak dapat dijawab dari korpus, untuk menguji apakah sistem menolaknya daripada mengarang. Lima harus memiliki dokumen pengalih perhatian yang meyakinkan yang terlihat relevan dan tidak.
Menjaga Kejujuran
Perbarui set setiap tiga bulan dan jangan pernah biarkan model melihatnya selama pengembangan, atau Anda akan menyetelnya. Log sampel kueri langsung setiap minggu dan periksa apakah mereka menyerupai set Anda; ketika mereka berhenti menyerupai itu, set telah kedaluwarsa. Dan perlakukan penurunan lebih dari lima poin pada recall konteks sebagai kegagalan build, karena metrik yang tidak ditegakkan adalah metrik yang akan diabaikan seminggu sebelum deadline.