Menulis Paket Keamanan untuk Fitur Kecerdasan Buatan
Tinjauan keamanan tidak gagal karena sistemnya berisiko. Ia gagal karena tidak ada yang bisa menjelaskan risikonya. Lima artefak dapat mengubah tinjauan tiga bulan menjadi dua min…
Catatan Lapangan
Semua catatan
Cara memilih reranker tanpa harness benchmark
Anda tidak memerlukan leaderboard publik untuk memilih reranker. Anda memerlukan kueri dengan pasase yang benar diketahui, cara untuk mengukur posisi, dan disiplin untuk memasukka…
Pengelolaan Versi Prompt Tanpa Platform
Anda tidak memerlukan produk pengelolaan prompt untuk menghindari pengiriman perubahan prompt tanpa pengawasan. Sebuah file, pengidentifikasi versi, dan satu aturan tentang penyun…
Buku petunjuk untuk layanan LLM yang sedang on-call
Pengaturan peringatan klasik untuk keterlambatan dan kesalahan tidak dapat mendeteksi kegagalan yang penting di sini: penurunan kualitas, degradasi penyedia, pertumbuhan konteks d…
Memindahkan Prototipe ke Inferensi Terkelola
Sebuah prototipe yang dibangun melawan API vendor tertentu membawa asumsi yang muncul di platform terkelola. Selesaikan asumsi-asumsi tersebut sebelum permintaan pertama sehingga…
Cara Menjangkau Penemuan AI Selama Tiga Puluh Hari
Fase penemuan yang menghasilkan deck slide adalah pusat biaya. Yang menghasilkan tiga fakta terukur — kenyataan dokumen, kenyataan izin, kenyataan alur kerja — membayar untuk diri…
Cara membangun set evaluasi dari lalu lintas nyata
Sebagian besar set evaluasi ditulis dari dokumentasi dan mengukur dokumentasi. Membangun satu dari log, tiket, dan pengabaian membutuhkan waktu satu minggu dan merupakan tugas den…
Strategi chunking yang dapat dipertahankan saat review
Ukuran chunk biasanya ditetapkan oleh default library dan tidak memiliki dasar pertimbangan. Pilih ukuran chunk dari dokumen itu sendiri, dan Anda harus dapat menjelaskan pilihan…
Cara Melakukan Tinjauan Biaya Sebelum Meningkatkan Inferensi
Sebelum menambah kapasitas atau beralih ke model lain, lakukan tinjauan terhadap permintaan sekali dan hitung biaya setiap tahap. Kebanyakan tinjauan biaya menemukan biaya yang si…
Enam minggu penurunan relevansi diam-diam
Perubahan pengambilan data merusak kualitas jawaban tanpa mengganggu satu pun tes, karena tidak ada yang membandingkan peringkat hari ini dengan peringkat kemarin. Pengguna menyer…
Pilot berhasil dan rollout tidak
Pilot berhasil karena semua pihak yang terlibat menyadari bahwa itu adalah pilot. Sifat-sifat yang membuatnya berhasil — audiens yang toleran, korpus kecil, perbaikan manual di te…
Pemilik data yang tidak ditugaskan
Fitur AI gagal pada batas organisasi antara tim yang membangun sistem dan tim yang memiliki data. Batas itu jarang disebutkan dalam rencana proyek, dan itulah tempat jadwal menjad…
Perangkat on-prem yang kehabisan VRAM pada bulan kedua
Perencanaan kapasitas untuk inferensi self-hosted biasanya menghitung bobot dan melupakan semua hal lain yang harus ada di kartu yang sama. Celah antara kedua angka tersebutlah ya…
Model Biaya GPU yang Tidak Pernah Ditulis Sebelum Membeli Perangkat Keras
Self-hosting mengungguli API dalam hal biaya per token hanya di atas ambang utiliasi yang hampir tidak pernah dicapai. Di bawah ambang tersebut, Anda membayar untuk silikon yang t…
Tuning Halus atau Mengambil: Keputusan tentang Apa yang Berubah, Bukan Preferensi Anda
Pengaturan halus mengkodekan perilaku; pengambilan menyediakan fakta. Bertanya mana yang lebih baik adalah bertanya pertanyaan yang salah — tanyakan seberapa sering pengetahuan da…
Isolasi Multi-Penyewa: Persyaratan yang Datang Setelah Demo
Setiap RAG multi-penyewa akhirnya menemukan hal yang sama: penyaringan hasil setelah pengambilan bukanlah isolasi. Penyaring harus membatasi pencarian, bukan memotong outputnya.
Memilih Toko Vektor: Empat Pertanyaan yang Menentukannya
Tabel benchmark yang dipublikasikan membandingkan recall pada dataset publik, yang tidak sama dengan dataset Anda, filter Anda, atau distribusi kueri Anda. Empat pertanyaan operas…
Sebelum agen menyentuh data produksi: daftar periksa pengaman
Risikonya bukan bahwa model mengatakan sesuatu yang salah. Risikonya adalah agen melakukan sesuatu yang salah — dengan kredensial, di sistem yang tidak memiliki fungsi undo.
Teknik konteks adalah teknik prompt baru
Selama dua tahun, saran yang diberikan adalah menulis prompt yang lebih baik. Saran itu berhenti memberikan hasil sekitar saat model menjadi cukup baik dalam mengikuti instruksi.…
Mengapa Sebagian Besar Pilot RAG Perusahaan Macet di Minggu Ketiga
Demo berhasil berjalan pada sejumlah kecil PDF bersih, ruangan terkesan, dan kemudian set dokumen asli tiba: scan, sel gabungan, kontrak berusia sepuluh tahun dan tiga bahasa. Ini…
Cara menjalankan pilot AI yang bertahan melewati proses pengadaan
Demo berjalan lancar. Pengguna merasa senang. Lalu tim hukum bertanya ke mana data itu pergi, tim keamanan bertanya siapa yang dapat melihat apa, dan tim keuangan bertanya berapa…
Membangun 50 pertanyaan evaluasi yang memprediksi kualitas produksi
Tim yang melakukan pengukuran cenderung mengukur kasus yang mudah, karena itulah kasus di mana seseorang sudah mengetahui jawabannya. Pertanyaan yang akan menghabiskan biaya Anda…
Model Izin: Bagian dari Enterprise RAG yang Tidak Pernah Dianggarkan
Kualitas pengambilan sudah cukup terpecahkan. Izin adalah alasan proyek RAG perusahaan berhenti: bukan karena mereka sulit, tapi karena mereka datang terlambat dan memaksa penulis…
Self-hosting vs. inferensi yang dikelola: di mana kurva biaya sebenarnya berpotongan
"Self-hosting lebih murah" hanya benar di atas utilisasi tertentu. Di bawah itu, Anda membayar untuk GPU yang idle dan perhatian insinyur — dan itu adalah item baris kedua yang ti…
Di mana milidetik menghilang: anggaran latensi untuk RAG
Permintaan RAG terasa lambat jauh sebelum benar-benar lambat. Mengetahui stage mana dari lima stage yang bertanggung jawab membuat perbedaan antara perbaikan yang tepat sasaran da…
Rute model: mengirim pertanyaan sederhana ke model yang lebih murah
Pengaturan rute adalah kontrol biaya dengan pengaruh tertinggi dalam sistem LLM, dan hampir selalu diimplementasikan paling akhir, setelah delapan belas bulan membayar harga premi…
Evaluasi agen adalah unit test baru
Setiap tim yang menjalankan agen di produksi akhirnya membangun hal yang sama: serangkaian skenario yang tidak boleh mengalami regressi. Pertanyaan satu-satunya adalah apakah Anda…
Apa yang sebenarnya dilakukan insinyur yang ditempatkan di garis depan sepanjang hari
Judulnya terdengar seperti penelitian. Pekerjaan ini sebagian besar adalah pengelolaan data, kuesioner keamanan, dan meyakinkan kepala departemen bahwa pilot tidak akan memalukan…
Belum ada konten. Crawl berikutnya akan mengisinya.