Text Generation Inference
Tumpukan penyajian berbasis Rust dari HuggingFace dengan paralelisme tensor dan streaming bawaan.
TGI adalah server inferensi yang matang yang menangani sharding di beberapa GPU, batching kontinu, dan streaming token. Ini terintegrasi erat dengan ekosistem HuggingFace, yang penting ketika model pilihan Anda hanya ada sebagai checkpoint HF.
Cocok untuk: Penyajian multi-GPU di dalam ekosistem HuggingFace
Deployment: Bisa self-host
Yang bisa Anda lakukan sekarang
- Periksa kinerja
- Verifikasi integrasi
- Periksa lisensi
Apa itu
Text Generation Inference (TGI) adalah server inferensi yang menangani sharding di beberapa GPU, batching kontinu, dan streaming token.
TGI terintegrasi erat dengan ekosistem HuggingFace, yang penting ketika model pilihan Anda hanya ada sebagai checkpoint HF.
TGI adalah tool yang membantu dalam proses deployment model machine learning.
Di mana ia berada dalam tumpukan deployment
Tool seperti TGI biasanya digunakan dalam proses deployment model machine learning untuk meningkatkan kinerja dan efisiensi.
Mereka biasanya berada di antara model machine learning dan aplikasi yang menggunakan model tersebut.
Tool ini membantu dalam proses inferensi, yaitu proses di mana model machine learning membuat prediksi atau klasifikasi berdasarkan input yang diberikan.
Bagaimana mengevaluasinya
Untuk mengevaluasi TGI, Anda perlu mempertimbangkan beberapa faktor, seperti kinerja, efisiensi, dan kemampuan integrasi dengan ekosistem HuggingFace.
- Measure p95 latency of the retrieval step under 50 concurrent sessions
- Inspect the output of the model untuk memastikan bahwa hasilnya akurat
- Feed data yang beragam untuk memastikan bahwa model dapat menangani berbagai jenis input
- Inject failure pada proses inferensi untuk memastikan bahwa sistem dapat pulih dari kesalahan
- Measure throughput of the system under heavy load
- Verify that the system can handle multiple GPU
Apa yang perlu diverifikasi sebelum Anda berkomitmen
Sebelum Anda berkomitmen menggunakan TGI, Anda perlu memastikan bahwa tool ini memenuhi kebutuhan Anda dan tidak memiliki batasan yang signifikan.
- Periksa lisensi tool untuk memastikan bahwa Anda dapat menggunakan dan mendistribusikan tool tersebut
- Verifikasi bahwa tool dapat menangani data yang sensitif dan memenuhi standar keamanan
- Periksa biaya operasional tool untuk memastikan bahwa biaya tersebut sesuai dengan anggaran Anda
- Uji perilaku tool dalam menghadapi kesalahan atau kegagalan
- Verifikasi bahwa tool tidak memiliki ketergantungan yang signifikan pada komponen lain
- Periksa dokumentasi tool untuk memastikan bahwa tool tersebut mudah digunakan dan dipahami