Model Izin: Bagian dari Enterprise RAG yang Tidak Pernah Dianggarkan
Kualitas pengambilan sudah cukup terpecahkan. Izin adalah alasan proyek RAG perusahaan berhenti: bukan karena mereka sulit, tapi karena mereka datang terlambat dan memaksa penulisan ulang.
Apa yang Terjadi
Sistem RAG dibangun di atas penyimpanan dokumen, berfungsi dengan baik, dan akan segera diluncurkan. Seseorang mengajukan pertanyaan yang masuk akal: apakah pengguna di bagian pengadaan dapat melihat dokumen yang dimaksudkan untuk hukum? Tim menambahkan filter setelah pengambilan, mengirimkan, dan proyek tersebut diam-diam dibekukan tiga minggu kemudian ketika audit menemukan bahwa sinyal peringkat bocor bahkan ketika konten tidak ada.
Mengapa Hal Ini Penting untuk Tim Penerapan
Penyaringan setelah pengambilan adalah kesalahan paling umum di RAG perusahaan, dan lebih buruk dari yang terlihat. Menyaring hasil setelah pencarian kembali berarti pencarian itu sendiri berjalan di atas dokumen yang pengguna tidak dapat lihat; peringkat, hitungan, dan perilaku agregat semua mencerminkan korpus yang pengguna tidak memiliki hak akses. Bahkan ketika tidak ada yang ditampilkan, informasi telah berpindah.
Apa yang Harus Dilakukan
Simpan daftar kontrol akses pada setiap potongan dan filter sebelum pengambilan, sehingga dokumen yang pengguna tidak dapat lihat tidak pernah memasuki himpunan kandidat. Simpan ACL di indeks dan perlakukan perubahan izin sebagai penulisan indeks, bukan sebagai pekerjaan batch malam - seorang kontraktor yang aksesnya dicabut pagi ini tidak boleh dapat diakses dari indeks sore ini. Uji coba di CI dengan tiga akun pada tingkat akses yang berbeda yang menyatakan bahwa setiap potongan yang dikutip memenuhi ACL pemanggil.
Bagian Organisasi
Seseorang harus memiliki pemetaan antara model izin sistem sumber dan milik Anda, dan orang itu jarang berada di tim teknik. Identifikasi mereka pada minggu pertama. Pekerjaan teknis adalah satu minggu; pekerjaan organisasi adalah bagian yang memakan waktu seperempat, dan itulah bagian yang diam-diam membunuh proyek yang terlihat selesai secara teknis.