Model izin: bagian RAG enterprise yang tidak ada yang menganggarkan
Kualitas retrieval sudah cukup terpecahkan. Izin adalah alasan proyek RAG enterprise berhenti: bukan karena sulit, melainkan karena datang terlambat dan memaksa penulisan ulang.
Apa yang terjadi
Sebuah sistem RAG dibangun di atas document store, bekerja dengan baik, dan siap diluncurkan. Seseorang bertanya dengan wajar: apakah pengguna di procurement bisa melihat dokumen yang ditujukan untuk legal? Tim menambahkan filter setelah retrieval, merilis, dan tiga minggu kemudian proyeknya diam-diam dibekukan ketika audit menemukan bahwa sinyal peringkat bocor meski kontennya tidak.
Mengapa ini penting bagi tim deployment
Post-filtering adalah kesalahan paling umum di RAG enterprise, dan dampaknya lebih buruk dari kelihatannya. Memfilter hasil setelah pencarian mengembalikan hasil berarti pencariannya sendiri berjalan atas dokumen yang tidak boleh dilihat pengguna; peringkat, jumlah, dan perilaku agregat semuanya mencerminkan korpus yang tidak berhak diakses pengguna. Bahkan ketika tidak ada yang ditampilkan, informasi sudah berpindah.
Apa yang harus dilakukan
Simpan access control list di setiap chunk dan filter sebelum retrieval, sehingga dokumen yang tidak boleh dilihat pengguna tidak pernah masuk ke set kandidat. Simpan ACL di dalam index dan perlakukan perubahan izin sebagai penulisan index, bukan job batch semalam — kontraktor yang aksesnya dicabut pagi ini seharusnya tidak bisa dijawab dari index pada sore hari. Uji di CI dengan tiga akun pada level akses berbeda, dengan menegaskan bahwa setiap chunk yang dikutip memenuhi ACL pemanggil.
Setengah bagian organisasional
Seseorang harus memiliki pemetaan antara model izin sistem sumber dan milik Anda, dan orang itu jarang ada di tim engineering. Identifikasi dia di minggu pertama. Pekerjaan teknisnya seminggu; pekerjaan organisasionalnya yang memakan satu kuartal, dan dialah yang diam-diam membunuh proyek yang secara teknis sudah selesai.