Sebelum agen menyentuh data produksi: daftar periksa pengaman
Risikonya bukan bahwa model mengatakan sesuatu yang salah. Risikonya adalah agen melakukan sesuatu yang salah — dengan kredensial, di sistem yang tidak memiliki fungsi undo.
Mengapa Agen Merupakan Kategori Risiko yang Berbeda
Sebuah chatbot yang mengalami halusinasi menghasilkan kalimat yang salah. Sebuah agen dengan akses alat menghasilkan efek sampingan: sebuah catatan diperbarui, sebuah email dikirim, sebuah baris dihapus. Permukaan kegagalan tidak lagi berkaitan dengan kualitas teks, melainkan dengan radius ledakan dari tindakan. Itulah mengapa kontrol yang penting di sini lebih mirip dengan keamanan infrastruktur daripada dengan teknik prompt.
Periksa Satu: Apa yang Dapat Dijangkau
Tuliskan setiap alat yang dapat diakses agen dan apa yang dapat dilakukan oleh masing-masing alat untuk keadaan. Sebagian besar tim menemukan pada langkah ini bahwa sebuah helper hanya-baca berbagi kredensial dengan sesuatu yang menulis. Batasi kredensial per alat, bukan per agen, dan prefer token yang kadaluarsa.
Periksa Dua: Apakah Ada Gerbang pada Tindakan yang Tidak Dapat Dibatalkan
Klasifikasikan setiap tindakan sebagai dapat dibatalkan, dapat dibatalkan-dengan-upaya, atau tidak dapat dibatalkan. Apa pun yang berada di bucket ketiga memerlukan langkah konfirmasi manusia yang tidak dapat dibypass oleh instruksi cerdas dalam konten yang dibaca agen. Perhatikan bahwa input yang tidak tepercaya tidak hanya prompt pengguna — juga dokumen, halaman web, dan hasil alat yang dikonsumsi agen.
Periksa Tiga: Apakah Anda Dapat Memutar Ulang Apa yang Terjadi
Anda memerlukan jejak setiap panggilan alat dengan argumen dan hasilnya, yang dipertahankan cukup lama untuk merekonstruksi insiden. Ketika sesuatu salah, pertanyaannya tidak pernah apa yang dikatakan model, melainkan apa yang dilakukan dan dalam urutan apa.
Periksa Empat: Apakah Ada Anggaran
Batasi langkah, token, waktu jam dinding, dan uang per jalur. Loop yang tidak terkendali adalah insiden agen paling umum, dan mereka murah untuk dicegah. Tampilkan batas dalam produk sehingga pengguna melihat batas rather than hang.
Periksa Lima: Apa yang Terjadi pada Keluaran yang Rusak
Definisikan jalur kegagalan sebelum Anda membutuhkannya. Jika agen mengembalikan panggilan alat yang tidak dapat diparse, apakah itu mencoba lagi, meminta pengguna, atau berhenti? Mencoba lagi secara diam-diam selamanya dan memberikan secara diam-diam adalah default yang buruk; pilih salah satu secara sengaja dan log itu.
Periksa Enam: Apakah Satu Orang Dapat Mematikannya
Harus ada satu sakelar yang dapat menghentikan semua aktivitas agen tanpa deploy. Ini terdengar jelas dan sering kali hilang, karena agen cenderung diterapkan sebagai fitur di dalam sistem lain daripada sebagai layanan dengan sakelar mati sendiri.
Yang bisa Anda lakukan sekarang
- Risiko agen adalah radius aksi, bukan kebenaran teks
- Batasi kredensial per alat dan pasang gerbang yang tidak dapat dilewati pada aksi yang tidak dapat dibatalkan
- Simpan jejak panggilan alat dengan argumen dan hasil — insiden dibangun kembali dari aksi, bukan output
- Batasi langkah, token, waktu, dan uang per jalur, dan buat satu sakelar yang menghentikan semuanya