Memindahkan Prototipe ke Inferensi Terkelola

Asumsi yang Tidak Berlaku dengan Baik

Sebuah prototipe biasanya merupakan wrapper tipis di sekitar satu penyedia. Itu adalah pilihan yang tepat untuk prototipe dan fondasi yang salah untuk layanan, karena beberapa sifat yang terasa seperti fakta tentang LLMs sebenarnya adalah sifat dari implementasi vendor pertama.

• Tokenisasi. Teks yang sama adalah jumlah token yang berbeda pada tokeniser yang berbeda. Perkiraan biaya, batas konteks, dan logika pemotongan yang menganggap sebaliknya rusak dengan sunyi, menghasilkan pemotongan di tengah passage yang diperoleh.
• Pemanggilan Alat. Bentuk permintaan dan respons untuk alat adalah spesifik vendor, begitu juga dengan seberapa ketat model harus menghasilkan argumen yang valid. Skema yang ditegakkan oleh satu penyedia mungkin bersifat advisorial pada penyedia lain.
• Output Terstruktur. Beberapa platform mendukung skema JSON yang ditegakkan dan beberapa hanya mendorongnya dalam prompt. Kode yang mempars respons tanpa fallback bekerja sampai pertama kali tidak.
• Streaming. Batas chunk, pelaporan penggunaan, dan sinyal penyelesaian berbeda, dan perbedaan tersebut muncul sebagai bug rendering intermittent daripada pengecualian.
• Filtering Keamanan. Input dan output mana yang diblokir, dan apakah blokir tersebut adalah kesalahan atau substitusi, bervariasi. Sebuah prototipe yang tidak pernah melihat penolakan mungkin melihatnya sering di tempat lain.

Dua Perubahan Tingkat Sumber yang Membuat Konfigurasi Migrasi

Letakkan adapter di depan panggilan model. Satu modul yang mengambil bentuk permintaan internal dan mengembalikan bentuk respons internal, dengan satu implementasi per penyedia. Sisa aplikasi kemudian ditulis melawan bentuk Anda, dan menambahkan penyedia adalah implementasi baru daripada edit di empat puluh tempat.

Buat bentuk permintaan eksplisit dan versi. Bidang untuk model, konteks, alat, panjang output maksimum, suhu, dan pengidentifikasi korelasi — dengan terjemahan spesifik penyedia terjadi di dalam adapter. Pengidentifikasi versi pada bentuk berarti perubahan pada itu adalah acara yang dapat ditinjau daripada refactor yang tidak terlihat.

Tentukan Hal-Hal Berikut Sebelum Permintaan Produksi Pertama

• Pengolahan Data. Apakah prompt dan output dipertahankan, berapa lama, dan apakah mereka digunakan untuk meningkatkan model penyedia. Ini adalah pertanyaan kontraktual dengan jawaban tertulis, dan itu termasuk dalam paket keamanan.
• Batasan Tarif dan Kuota. Batasan penyedia di wilayah yang Anda layani, dan perilaku klien Anda ketika mereka terkena. Klien yang mengulangi pada batasan tarif tanpa anggaran mengubah batasan lunak menjadi insiden biaya.
• Fallback. Penyedia mana yang digunakan ketika penyedia primer mengalami degradasi, diputuskan sebelumnya, dengan adapter sudah diimplementasikan. Fallback yang dirancang selama gangguan adalah gangguan kedua.
• Pemutusan Versi Model. Apakah Anda memutus versi model atau mengikuti versi terbaru penyedia, dan siapa yang meninjau perubahan perilaku ketika penyedia memutus versi yang diputus.
• Atribusi Biaya. Tim mana yang membayar, dan bagaimana penggunaan ditandai sehingga jawabannya tidak merupakan rekonstruksi bulanan dari log.

Apa yang Harus Dimigrasikan Pertama

Migrasikan jalur yang paling tidak kritis pertama — alat internal, pekerjaan batch, endpoint lalu lintas rendah — dan gunakan untuk memvalidasi adapter, akuntansi token, dan fallback. Tujuannya adalah untuk menemukan perilaku spesifik vendor pada beban kerja yang kegagalannya murah, sebelum penemuan yang sama dibuat oleh pelanggan.