Model Biaya GPU yang Tidak Pernah Ditulis Sebelum Membeli Perangkat Keras
Self-hosting mengungguli API dalam hal biaya per token hanya di atas ambang utiliasi yang hampir tidak pernah dicapai. Di bawah ambang tersebut, Anda membayar untuk silikon yang tidak terpakai dan perhatian insinyur — dan hanya salah satu dari keduanya yang t…
Perbandingan yang Dilakukan Semua Orang
Di suatu tempat dalam setiap percakapan build-versus-buy, ada sebuah spreadsheet dengan dua angka di dalamnya: harga per-juta-token dari sebuah API, dan biaya sewa GPU per jam dibagi dengan throughput yang diasumsikan. Angka kedua biasanya tiga hingga sepuluh kali lebih kecil daripada yang pertama, dan pertemuan pun berakhir.
Spreadsheet tersebut tidak salah tentang aritmatika. Namun, itu salah tentang penyebutnya. Ini membagi dengan throughput yang dapat dicapai kartu, bukan throughput yang akan dicapai.
Angka yang Sebenarnya Menentukan
Utilisasi. Sebuah A100 atau H100 yang disewakan dan dibayar per jam memiliki biaya yang sama, baik itu melayani satu permintaan atau sepuluh ribu. API mengenakan biaya pada token yang Anda konsumsi secara nyata. Jadi, titik impas tidaklah menjadi pertanyaan tentang harga mentah, melainkan tentang berapa banyak jam per hari kartu Anda benar-benar sibuk.
Ambil bentuk yang konkrit: lalu lintas yang stabil sekitar beberapa juta token per hari, tersebar di seluruh jam kerja. Itu adalah beban kerja yang dapat memenuhi satu kartu selama sekitar seperempat hari dan membiarkannya menganggur sebaliknya. Dihargai per token yang sebenarnya disajikan, jam menganggur adalah biaya overhead murni, dan API memenangkan dengan nyaman. Dorong lalu lintas yang sama ke beban yang berkelanjutan selama dua puluh empat jam dengan batching dan peringkat akan terbalik.
Apa yang Tidak Termasuk dalam Spreadsheet
Dua biaya secara sistematis tidak termasuk. Yang pertama adalah insinyur. Seseorang harus memiliki tanggung jawab atas serving stack, upgrade model, kompatibilitas CUDA dan driver, kebijakan autoscaling, dan on-call. Itu bukanlah item baris yang dapat Anda tagih, tetapi itu adalah sebagian kecil dari seorang insinyur, dan itu tidak mengurangi skala ketika lalu lintas menurun.
Yang kedua adalah anggaran retry dan kegagalan. API yang dikelola menyerap jam-jam buruk mereka sendiri. Kluster Anda menyerap milik Anda, dalam bentuk insiden, dan insiden selama pilot pelanggan memiliki biaya lebih mahal daripada komputasi yang mereka ganggu.
Bagaimana Cara Memutuskan yang Sebenarnya
Ukur sebelum Anda membeli. Jalankan beban kerja pada perangkat yang disewakan selama dua minggu dengan lalu lintas nyata, catat token yang disajikan dan GPU-jam yang dibayar, dan hitung biaya per juta token yang Anda realisasikan. Bandingkan itu dengan harga API untuk tier kualitas yang sama. Hasilnya spesifik untuk bentuk lalu lintas Anda, yang tepatnya mengapa tabel perbandingan generik tidak dapat menjawabnya untuk Anda.
Kemudian putuskan pada faktor non-biaya, yang biasanya merupakan penggerak nyata: residensi data, latensi ke pengguna Anda, kemandirian batas tarif, dan apakah Anda memerlukan model yang tidak disajikan oleh siapa pun.
Yang bisa Anda lakukan sekarang
- Self-hosting hanya menguntungkan dalam hal biaya di atas ambang utiliasi yang harus diukur, bukan diasumsikan
- Dua biaya yang selalu tidak tercantum dalam spreadsheet: fraksi dari seorang insinyur, dan anggaran insiden
- Jalankan beban kerja nyata pada perangkat keras sewaan selama dua minggu sebelum melakukan komitmen apa pun
- Residensi data dan kemandirian batas tarif biasanya menentukan keputusan sebelum biaya