Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Continuous batching pada LLM adalah teknik penjadwalan inference yang memungkinkan server memproses beberapa permintaan secara dinamis tanpa harus menunggu seluruh request dalam satu batch selesai. Pendekatan ini menjadi penting ketika perusahaan menjalankan chatbot, AI assistant, atau aplikasi generative AI yang digunakan banyak orang secara bersamaan. Dengan pengelolaan batch yang lebih efisien, GPU server dapat memanfaatkan kapasitas komputasinya untuk melayani lebih banyak pekerjaan sesuai resource yang tersedia.
Pada aplikasi LLM, setiap pengguna dapat mengirim prompt dengan panjang berbeda dan meminta respons dalam jumlah token yang tidak sama. Jika server memproses permintaan secara berurutan atau menggunakan batch yang kurang fleksibel, sebagian kapasitas GPU dapat tidak termanfaatkan secara optimal. Continuous batching membantu mengurangi waktu tunggu tersebut dengan menyesuaikan kelompok request yang diproses pada setiap langkah inference.
Namun, teknik ini tidak otomatis membuat seluruh respons menjadi lebih cepat. Peningkatan throughput tetap dipengaruhi oleh ukuran model, kapasitas VRAM, panjang context, jumlah pengguna, dan konfigurasi inference engine. Karena itu, perusahaan perlu memahami cara kerjanya sebelum menentukan apakah optimasi software sudah cukup atau diperlukan penambahan kapasitas GPU server.
Continuous batching merupakan metode yang memungkinkan inference engine memasukkan permintaan baru dan mengeluarkan permintaan yang telah selesai secara dinamis selama proses generasi berlangsung. Berbeda dengan batch statis, sistem tidak harus menunggu seluruh anggota batch menyelesaikan respons sebelum memproses pekerjaan berikutnya. Pendekatan ini sangat relevan untuk LLM karena setiap respons dapat mempunyai jumlah token yang berbeda.
Sebagai contoh, tiga pengguna mengirim pertanyaan kepada chatbot perusahaan. Pengguna pertama hanya membutuhkan jawaban singkat, sedangkan pengguna kedua dan ketiga meminta penjelasan yang lebih panjang. Dengan continuous batching, request pertama dapat selesai dan resource-nya dilepaskan sementara request lainnya masih berjalan, sehingga pekerjaan baru dapat dijadwalkan ketika kapasitas tersedia.
Teknik ini merupakan bagian dari inference serving, bukan metode untuk melatih model. Tujuannya adalah meningkatkan efisiensi penggunaan resource ketika model yang sudah tersedia digunakan untuk menghasilkan respons. Karena itu, continuous batching lebih berkaitan dengan kapasitas layanan AI produksi daripada proses training atau fine-tuning.
Inference engine menjalankan proses generasi melalui langkah-langkah yang berulang. Pada setiap langkah, scheduler menentukan request yang dapat diproses berdasarkan kapasitas yang tersedia, kemudian model melakukan forward pass dan menghasilkan token. Setelah itu, sistem memeriksa request yang sudah selesai dan memperbarui antrean untuk langkah berikutnya.
Pada vLLM, scheduler mengelola request yang menunggu dan sedang berjalan, sementara KV cache manager mengatur blok memory yang digunakan selama generasi. Request yang selesai dapat melepaskan blok cache agar tersedia untuk pekerjaan lain. Mekanisme tersebut memungkinkan batch berubah secara dinamis tanpa harus menunggu seluruh pengguna menyelesaikan percakapannya.
Penjelasan teknis mengenai proses ini tersedia pada artikel resmi Inside vLLM: Anatomy of a High-Throughput LLM Inference System. Referensi tersebut membahas hubungan antara scheduler, KV cache, dan proses eksekusi model dalam sistem inference ber-throughput tinggi. Artikel ini dapat menjadi rujukan bagi tim IT yang ingin memahami implementasi continuous batching secara lebih mendalam.
Throughput menunjukkan jumlah pekerjaan yang dapat diselesaikan server dalam periode tertentu. Pada LLM, metrik ini sering dinyatakan sebagai jumlah request per detik atau total token yang dihasilkan per detik. Semakin tinggi throughput yang dapat dicapai tanpa melanggar target latency, semakin besar kapasitas layanan yang dapat diberikan oleh infrastruktur yang sama.
Continuous batching membantu meningkatkan throughput dengan mengurangi waktu ketika GPU tidak mempunyai pekerjaan yang dapat dijalankan. Ketika satu request selesai, scheduler dapat memanfaatkan kapasitas yang tersedia untuk request lain tanpa menunggu seluruh batch berakhir. Pendekatan ini juga membantu menangani variasi panjang respons yang umum terjadi pada chatbot dan aplikasi AI interaktif.
Namun, peningkatan throughput tidak selalu berbanding lurus dengan jumlah request yang ditambahkan. Ketika GPU, memory bandwidth, atau KV cache mencapai batas, request tambahan dapat meningkatkan antrean dan memperlambat respons. Karena itu, tujuan optimasi bukan sekadar memasukkan sebanyak mungkin request, melainkan menemukan kapasitas yang memberikan keseimbangan antara throughput dan latency.
KV cache merupakan memory yang digunakan LLM untuk menyimpan informasi attention selama proses generasi token. Setiap request aktif membutuhkan ruang cache sesuai arsitektur model, panjang context, dan jumlah token yang diproses. Ketika jumlah request bersamaan meningkat, kebutuhan memory tersebut juga dapat bertambah.
Continuous batching tidak menghilangkan kebutuhan KV cache, tetapi membantu mengelola pemanfaatannya secara lebih efisien. Inference engine seperti vLLM menggunakan pengelolaan cache berbasis blok agar alokasi memory dapat disesuaikan dengan kebutuhan request. Namun, kapasitas VRAM fisik tetap menjadi batas yang harus diperhatikan ketika perusahaan meningkatkan concurrency.
Sebagai contoh, model yang dapat melayani beberapa pengguna dengan prompt pendek belum tentu mampu menangani jumlah pengguna sama ketika seluruhnya mengirim dokumen panjang. Kebutuhan cache dapat meningkat dan mengurangi jumlah request yang dapat diproses bersamaan. Karena itu, ukuran model, context length, dan kapasitas VRAM perlu dihitung bersama sebelum menentukan konfigurasi batching.
vLLM merupakan salah satu inference engine yang mendukung continuous batching untuk menjalankan LLM secara efisien. Framework ini juga mempunyai fitur pengelolaan KV cache, quantization, serta berbagai optimasi lain yang dapat digunakan sesuai model dan hardware. Namun, manfaat setiap fitur tetap perlu diuji berdasarkan versi software dan karakter workload yang dijalankan.
Pada konfigurasi vLLM, parameter seperti max_num_seqs dan max_num_batched_tokens dapat digunakan untuk mengatur batas penjadwalan sesuai dukungan versi yang digunakan. max_num_seqs membatasi jumlah sequence yang diproses dalam satu iterasi, sedangkan max_num_batched_tokens membatasi jumlah token yang dapat diproses pada iterasi tersebut. Pengaturan yang terlalu besar dapat meningkatkan kebutuhan memory, sementara batas yang terlalu kecil dapat membatasi kapasitas layanan.
Perusahaan yang ingin memahami framework ini lebih lanjut dapat membaca artikel Apa Itu vLLM? Cara Mengoptimalkan Inference LLM di GPU Server. Pembahasan continuous batching kemudian dapat digunakan sebagai pendalaman teknis mengenai cara meningkatkan kapasitas layanan setelah model berhasil dijalankan.
Continuous batching tidak selalu membutuhkan GPU kelas tertinggi, tetapi kapasitas hardware menentukan seberapa banyak pekerjaan yang dapat diproses secara efisien. Model kecil dengan jumlah pengguna terbatas mungkin dapat berjalan pada satu GPU dengan VRAM yang sesuai. Sementara itu, model besar atau aplikasi dengan concurrency tinggi dapat membutuhkan GPU berkapasitas lebih besar maupun beberapa instance inference.
Selain VRAM, kemampuan komputasi dan memory bandwidth juga memengaruhi performa. GPU dengan memory besar dapat menampung model dan cache lebih banyak, tetapi throughput tetap bergantung pada kemampuan perangkat memproses workload. Karena itu, pemilihan GPU perlu mempertimbangkan kapasitas memory dan performa komputasi secara bersamaan.
Sparta Server Indonesia menyediakan pilihan GPU Server Indonesia untuk kebutuhan AI enterprise, termasuk konfigurasi single GPU dan multi-GPU. Pemilihan hardware dapat disesuaikan dengan model, target throughput, jumlah pengguna, serta rencana pengembangan sistem perusahaan.
Sebelum mengubah konfigurasi inference, perusahaan perlu mempunyai hasil benchmark awal sebagai pembanding. Pengujian sebaiknya menggunakan model, precision, panjang prompt, dan pola request yang mendekati kondisi produksi. Dengan demikian, peningkatan performa dapat diukur secara objektif, bukan hanya berdasarkan kesan bahwa chatbot terasa lebih cepat.
Beberapa metrik yang perlu diperhatikan meliputi:
Pengujian perlu dilakukan pada beberapa tingkat beban, misalnya penggunaan ringan, sedang, dan mendekati kapasitas maksimum. Perusahaan juga perlu memperhatikan latency persentil tinggi seperti p95 atau p99 agar pengalaman pengguna tidak hanya dinilai dari rata-rata. Konfigurasi yang menghasilkan throughput tertinggi belum tentu menjadi pilihan terbaik apabila waktu tunggu pengguna meningkat terlalu jauh.
Optimasi continuous batching mulai relevan ketika aplikasi AI digunakan banyak pengguna dan throughput server menjadi salah satu batas operasional. Contohnya adalah chatbot internal, AI assistant untuk beberapa divisi, atau layanan customer service yang menerima permintaan secara bersamaan. Pada kondisi tersebut, pengelolaan request yang lebih efisien dapat membantu meningkatkan kapasitas tanpa harus langsung menambah GPU.
Namun, jika model belum dapat dimuat karena VRAM tidak mencukupi, continuous batching bukan solusi untuk menggantikan kapasitas memory yang dibutuhkan. Perusahaan perlu terlebih dahulu mengevaluasi ukuran model, quantization, atau pilihan GPU yang sesuai. Demikian pula, jika bottleneck berada pada database atau aplikasi backend, optimasi batching saja mungkin tidak memberikan peningkatan yang signifikan.
Untuk kebutuhan perencanaan hardware, perusahaan dapat membaca Server untuk Menjalankan LLM Lokal. Artikel tersebut membahas kebutuhan GPU, RAM, dan storage berdasarkan ukuran model serta jumlah pengguna, sehingga dapat menjadi referensi sebelum menentukan kapasitas inference produksi.
Continuous batching pada LLM membantu inference engine mengelola request secara dinamis agar kapasitas GPU dapat dimanfaatkan lebih efisien. Teknik ini dapat meningkatkan throughput terutama pada aplikasi dengan banyak pengguna dan panjang respons yang bervariasi. Namun, hasilnya tetap dipengaruhi oleh ukuran model, VRAM, kemampuan GPU, serta konfigurasi software.
Perusahaan sebaiknya melakukan benchmark sebelum menentukan jumlah GPU atau mengubah batas batching pada lingkungan produksi. Pengujian perlu membandingkan throughput, latency, concurrency, dan penggunaan memory agar konfigurasi yang dipilih benar-benar sesuai kebutuhan. Dengan pendekatan tersebut, optimasi software dapat dilakukan terlebih dahulu sebelum perusahaan memutuskan melakukan ekspansi hardware.
Sparta Server Indonesia menyediakan solusi Server AI Indonesia untuk kebutuhan inference LLM dan aplikasi AI perusahaan. Melalui Jasa Instalasi Server AI, perusahaan dapat merencanakan konfigurasi hardware, software environment, serta pengujian performa sesuai workload yang akan dijalankan. Pendekatan ini membantu memastikan investasi GPU server didasarkan pada kebutuhan kapasitas dan target layanan yang terukur.
Keduanya berkaitan dengan pengelompokan request secara dinamis, tetapi istilahnya tidak selalu digunakan secara identik. Continuous batching pada LLM umumnya merujuk pada kemampuan memperbarui komposisi batch pada setiap langkah generasi. Dynamic batching pada sistem inference lain dapat mengelompokkan request yang datang dalam jendela waktu tertentu sebelum diproses bersama.
Bisa. Inference engine dapat mengirim token secara bertahap kepada pengguna sambil tetap mengelola beberapa request dalam batch yang dinamis. Namun, kelancaran streaming dipengaruhi oleh konfigurasi engine, jaringan, dan beban server sehingga tetap perlu diuji pada aplikasi yang digunakan.
Secara prinsip, batching merupakan optimasi penjadwalan dan tidak bertujuan mengubah kemampuan model. Namun, hasil generasi dapat mempunyai variasi karena konfigurasi sampling, precision, atau perbedaan numerik pada implementasi tertentu. Karena itu, pengujian kualitas tetap diperlukan ketika perusahaan mengubah inference engine atau konfigurasi deployment.
Bisa pada inference engine dan arsitektur model yang mendukungnya. Namun, model yang memproses gambar, audio, atau video dapat mempunyai kebutuhan memory dan pola komputasi berbeda dari LLM berbasis teks. Perusahaan perlu memeriksa dukungan model serta melakukan benchmark sesuai jenis input yang digunakan.
Berpotensi, apabila optimasi tersebut meningkatkan jumlah pekerjaan yang dapat diselesaikan menggunakan hardware yang sama. Namun, penghematan biaya tidak otomatis terjadi karena konsumsi daya, utilisasi server, lisensi, dan kebutuhan operasional tetap perlu diperhitungkan. Perusahaan sebaiknya membandingkan biaya per request atau per jumlah token pada konfigurasi sebelum dan sesudah optimasi.