OpenLLMetry
Jejak LLM sebagai span OpenTelemetry standar — sehingga mereka masuk ke dalam tumpukan observabilitas yang sudah Anda bayar.
Masalah praktis dengan sebagian besar observabilitas LLM adalah bahwa hal itu menciptakan silo observabilitas kedua: jejak hidup dalam alat baru yang tidak diketahui oleh dasbor, peringatan, dan rotasi on-call yang sudah ada. OpenLLMetry menghindari hal itu dengan mengeluarkan span OpenTelemetry biasa dari panggilan LLM dan database vektor, yang dapat dikonsumsi oleh backend OTel mana pun. Jika organisasi Anda sudah menjalankan backend tracing, ini biasanya cara termurah untuk mendapatkan visibilitas LLM tanpa keputusan platform.
Cocok untuk: Organisasi dengan tumpukan OpenTelemetry yang sudah ada yang tidak ingin memiliki silo observabilitas kedua
Yang bisa Anda lakukan sekarang
- Perlu diuji coba
- Perlu diverifikasi
- Perlu dipertimbangkan
Apa itu
OpenLLMetry adalah alat yang mengeluarkan jejak OpenTelemetry biasa dari panggilan LLM dan database vektor, sehingga dapat dikonsumsi oleh backend OTel mana pun.
Ini membantu menghindari penciptaan silo observabilitas kedua, di mana jejak hidup dalam alat baru yang tidak diketahui oleh dasbor, peringatan, dan rotasi on-call yang sudah ada.
Di mana ia berada dalam tumpukan deployment
Alat ini berada dalam kategori llmops, yang berfokus pada observabilitas LLM.
Observabilitas LLM adalah masalah praktis yang perlu diatasi, karena dapat menciptakan silo observabilitas kedua jika tidak diintegrasikan dengan baik.
Alat ini biasanya digunakan bersama dengan backend tracing yang sudah ada, sehingga dapat memberikan visibilitas LLM tanpa keputusan platform.
Bagaimana mengevaluasinya
Untuk mengevaluasi OpenLLMetry, perlu dilakukan pengujian yang teliti untuk memastikan bahwa alat ini dapat berfungsi dengan baik dalam sistem yang sudah ada.
- Uji coba dengan data LLM yang beragam untuk memastikan bahwa alat ini dapat menangani berbagai jenis data.
- Uji coba dengan beban kerja yang berat untuk memastikan bahwa alat ini dapat menangani volume data yang besar.
- Uji coba dengan kesalahan yang disengaja untuk memastikan bahwa alat ini dapat menangani kesalahan dengan baik.
- Uji coba dengan integrasi dengan backend OTel yang berbeda untuk memastikan bahwa alat ini dapat berfungsi dengan baik dengan berbagai backend.
- Uji coba dengan penggunaan sumber daya yang berbeda untuk memastikan bahwa alat ini dapat berfungsi dengan baik dengan berbagai konfigurasi sumber daya.
Apa yang perlu diverifikasi sebelum berkomitmen
Sebelum berkomitmen dengan OpenLLMetry, perlu dilakukan verifikasi yang teliti untuk memastikan bahwa alat ini dapat memenuhi kebutuhan dan persyaratan yang sudah ada.
- Periksa lisensi alat ini untuk memastikan bahwa ia sesuai dengan kebijakan lisensi perusahaan.
- Periksa cara alat ini menangani data untuk memastikan bahwa ia sesuai dengan kebijakan keamanan data perusahaan.
- Periksa biaya operasional alat ini untuk memastikan bahwa ia sesuai dengan anggaran perusahaan.
- Periksa cara alat ini menangani kesalahan untuk memastikan bahwa ia sesuai dengan kebijakan manajemen kesalahan perusahaan.
- Periksa tingkat ketergantungan alat ini pada komponen lain untuk memastikan bahwa ia tidak akan menyebabkan masalah ketergantungan.