TensorRT-LLM
Beberapa persen terakhir dari throughput GPU, dibayar dengan kompleksitas build dan keterikatan perangkat keras.
Di mana vLLM dan SGLang memberikan default yang kuat dengan cepat, TensorRT-LLM meminta Anda untuk mengompilasi mesin untuk setiap model, setiap konfigurasi GPU, dan setiap presisi — dan memberikan throughput di puncak kemampuan perangkat keras. Pertukaran itu masuk akal ketika Anda melayani satu atau dua model dengan volume sangat tinggi pada perangkat keras yang diketahui. Ini kurang masuk akal selama evaluasi, ketika model dan perangkat keras masih berubah setiap minggu. Harapkan langkah build menjadi bagian dari pipeline penerapan Anda, bukan satu kali.
Cocok untuk: Pelayanan volume tinggi dari set model stabil pada perangkat keras NVIDIA yang tetap
Yang bisa Anda lakukan sekarang
- Perlu build yang kompleks
- Keterikatan dengan perangkat keras
- Dapat meningkatkan throughput GPU
Apa itu
TensorRT-LLM adalah alat yang membantu meningkatkan throughput GPU dengan mengompilasi mesin untuk setiap model, konfigurasi GPU, dan presisi.
Ini memungkinkan pengguna untuk mendapatkan throughput di puncak kemampuan perangkat keras, tetapi memerlukan build yang kompleks dan keterikatan dengan perangkat keras tertentu.
Di mana ia berada dalam tumpukan penerapan
Alat-alat dalam kategori deployment membantu menyelesaikan masalah penerapan model machine learning ke dalam produksi.
Mereka biasanya berada di antara model yang telah dilatih dan sistem yang akan menggunakan model tersebut, dan mengambil alih tugas seperti pengompilan, optimasi, dan penyebaran model.
Dalam konteks ini, TensorRT-LLM dapat membantu meningkatkan kinerja model dengan mengoptimalkan penggunaan sumber daya perangkat keras.
Bagaimana mengevaluasinya
Untuk mengevaluasi TensorRT-LLM, perlu dilakukan pengujian yang teliti untuk memastikan bahwa alat ini dapat memenuhi kebutuhan spesifik pengguna.
- Uji coba dengan data yang beragam untuk memastikan bahwa alat dapat menangani berbagai jenis input.
- Uji coba dengan konfigurasi GPU yang berbeda untuk memastikan bahwa alat dapat berjalan dengan baik pada berbagai perangkat keras.
- Uji coba dengan presisi yang berbeda untuk memastikan bahwa alat dapat memberikan hasil yang akurat.
- Ukur waktu kompilasi dan waktu eksekusi untuk memastikan bahwa alat dapat berjalan dengan cepat.
- Uji coba dengan beban kerja yang berat untuk memastikan bahwa alat dapat menangani volume data yang besar.
- Periksa log dan output untuk memastikan bahwa alat dapat memberikan informasi yang berguna tentang proses eksekusi.
Apa yang perlu diverifikasi sebelum berkomitmen
Sebelum berkomitmen dengan TensorRT-LLM, perlu dilakukan pengecekan yang teliti untuk memastikan bahwa alat ini dapat memenuhi kebutuhan spesifik pengguna.
- Periksa lisensi dan ketentuan penggunaan untuk memastikan bahwa alat dapat digunakan dalam produksi.
- Periksa cara alat menangani data untuk memastikan bahwa data pengguna aman dan terlindungi.
- Periksa biaya operasional untuk memastikan bahwa alat dapat dijalankan dengan biaya yang efektif.
- Periksa perilaku alat dalam menghadapi kegagalan untuk memastikan bahwa alat dapat pulih dengan cepat dari kegagalan.
- Periksa keterikatan dengan perangkat keras tertentu untuk memastikan bahwa alat dapat dijalankan pada berbagai perangkat keras.
- Periksa dokumentasi dan dukungan untuk memastikan bahwa alat dapat digunakan dengan mudah dan efektif.