Pengelolaan Versi Prompt Tanpa Platform

Masalah dengan mengedit prompt di konsol

Prompt yang dapat diedit di konsol vendor adalah jalur perubahan dengan kecepatan tertinggi di sebagian besar sistem AI dan yang paling sedikit direkam. Perubahan kata-kata disimpan selama insiden, perilaku berubah untuk setiap pengguna seketika, dan tidak ada yang tercermin di repositori kode, riwayat tinjauan, atau catatan rilis. Ketika kualitas menurun sebulan kemudian, penjelasan yang paling mungkin tidak terlihat.

Sebuah platform adalah salah satu solusi. Versi solusi yang sesuai dengan tim kecil adalah sekumpulan konvensi, dan membutuhkan waktu lebih sedikit untuk diadopsi daripada membeli sesuatu.

Empat konvensi yang mencakup esensial

Prompt disimpan di repositori. Satu file per prompt, atau satu direktori dengan satu file per prompt, dalam proses tinjauan yang sama dengan kode. Jika runtime memuat prompt dari layanan, layanan tersebut diisi oleh deployment dari repositori — bukan oleh seseorang yang mengetik ke dalam formulir.

Setiap prompt membawa pengidentifikasi versi. Hash singkat dari konten sudah cukup, dan memiliki sifat yang berguna yaitu tidak mungkin dilupakan untuk diperbarui. Pengidentifikasi dicatat dengan setiap respons, yang membuat regresi dapat dikaitkan dengan prompt daripada pembaruan model, perubahan korpus, atau jalur kode.

Perubahan diterima berdasarkan delta evaluasi. Komit yang mengubah prompt menyatakan item evaluasi mana yang bergerak dan ke arah mana. Ini adalah mekanisme satu-satunya yang mencegah akumulasi perubahan yang masing-masing memperbaiki satu kasus dan merusak yang lain.

Edisi out-of-band diobati sebagai insiden. Jika seseorang mengedit prompt live untuk menghentikan gangguan, perubahan yang sama harus masuk ke repositori sebelum insiden ditutup. Tanpa aturan ini, repositori menyimpang dari produksi dalam satu insiden, dan setiap pengidentifikasi versi berikutnya adalah kebohongan.

Apa yang harus dicatat per respons

• Pengidentifikasi versi prompt, dan versi model yang sebenarnya disajikan daripada yang diminta.
• Parameter yang mempengaruhi output: suhu, batas output, definisi alat apa pun.
• Referensi ke konteks yang diperoleh, sehingga keluhan kualitas dapat direproduksi daripada dibahas.
• Jalur keputusan, jika permintaan diarahkan atau didegradasi — model yang lebih kecil menjawab karena model besar tidak tersedia terlihat identik dalam respons.

Perbandingan yang membenarkan upaya

Ketika kualitas berubah, pertanyaan pertama selalu apakah model, prompt, atau data berubah. Pembaruan model diumumkan, perubahan data biasanya keras. Perubahan prompt adalah yang sunyi, dan dengan pengidentifikasi di log, jawabannya membutuhkan waktu beberapa menit bukan sehari memotong deployment.

Keuntungan kedua datang pada saat tinjauan. Perbedaan prompt dengan delta evaluasi yang terlampir dapat ditinjau; perbedaan prompt saja mengundang argumen tentang kata-kata, yang tidak ada yang menang dan yang menunda perubahan.