Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Apa itu vLLM? vLLM adalah framework open-source yang dirancang untuk menjalankan dan menyediakan layanan inference Large Language Model (LLM) secara efisien. Teknologi ini banyak digunakan ketika perusahaan ingin mengoperasikan chatbot, AI assistant, atau aplikasi generative AI pada GPU server dengan kebutuhan throughput dan jumlah pengguna yang terus meningkat. Melalui pengelolaan memory dan penjadwalan request yang lebih efisien, vLLM dapat membantu memaksimalkan pemanfaatan hardware yang tersedia.
Menjalankan model AI tidak hanya membutuhkan GPU dengan kapasitas VRAM besar. Ketika banyak pengguna mengirim permintaan secara bersamaan, server juga harus mengelola antrean, context, KV cache, dan proses generasi token. Tanpa inference engine yang sesuai, kapasitas GPU yang tersedia belum tentu dapat dimanfaatkan secara optimal.
Artikel ini membahas cara kerja vLLM, fitur yang mendukung optimasi inference, kebutuhan GPU server, serta langkah implementasi yang perlu diperhatikan perusahaan. Pembahasan juga mencakup kapan vLLM layak digunakan dan bagaimana mengukur performanya sebelum diterapkan pada lingkungan produksi.
vLLM merupakan framework untuk LLM inference dan serving, yaitu proses menjalankan model yang sudah tersedia agar dapat menerima permintaan dan menghasilkan respons. Framework ini awalnya dikembangkan di Sky Computing Lab, UC Berkeley, kemudian berkembang menjadi proyek berbasis komunitas dengan kontribusi dari akademisi dan industri. vLLM mendukung berbagai arsitektur model serta menyediakan kemampuan untuk menjalankan layanan inference melalui API.
Fungsi utama vLLM bukan untuk melatih foundation model dari awal, melainkan membantu model yang sudah dipilih berjalan secara efisien. Perusahaan dapat menggunakannya sebagai inference engine di belakang aplikasi chatbot, portal internal, atau sistem AI berbasis dokumen. Dengan demikian, aplikasi tidak perlu berkomunikasi langsung dengan proses model yang dijalankan secara manual.
LLM menghasilkan respons secara bertahap melalui proses generasi token. Ketika satu pengguna mengirim pertanyaan, server perlu memproses input, menyimpan informasi attention, kemudian menghasilkan token sampai respons selesai. Jika banyak permintaan masuk, kebutuhan komputasi dan memory meningkat sehingga server harus mengatur resource secara efisien.
Pada aplikasi produksi, masalah yang sering muncul bukan hanya model tidak dapat dimuat, tetapi juga latency yang meningkat ketika pengguna bertambah. GPU mungkin masih mempunyai kemampuan komputasi, tetapi pengelolaan batch dan memory yang kurang efisien dapat membatasi jumlah request yang dilayani. Inference engine seperti vLLM dirancang untuk membantu mengatasi tantangan tersebut melalui beberapa mekanisme optimasi.
Salah satu teknologi penting dalam vLLM adalah PagedAttention, yang digunakan untuk mengelola memory attention key dan value secara lebih efisien. KV cache menyimpan informasi yang diperlukan selama proses generasi token, sehingga model tidak perlu menghitung ulang seluruh informasi sebelumnya pada setiap langkah. Kebutuhan cache dapat meningkat ketika context semakin panjang atau banyak pengguna dilayani secara bersamaan.
PagedAttention membantu mengurangi pemborosan memory melalui pengelolaan blok yang lebih fleksibel. Dengan penggunaan memory yang lebih efisien, server dapat mempunyai ruang lebih besar untuk menangani request sesuai kapasitas GPU. Namun, teknologi ini tidak menghilangkan batas VRAM fisik, sehingga ukuran model dan kebutuhan context tetap harus diperhitungkan.
Continuous batching memungkinkan inference engine mengelola permintaan yang datang dan selesai pada waktu berbeda secara lebih dinamis. Berbeda dengan pendekatan batch statis yang menunggu sekelompok request selesai, mekanisme ini dapat memasukkan pekerjaan baru ketika kapasitas tersedia. Pendekatan tersebut membantu meningkatkan pemanfaatan GPU pada workload yang mempunyai banyak permintaan dengan panjang respons berbeda.
Manfaatnya dapat terlihat pada chatbot perusahaan yang melayani banyak pengguna secara bersamaan. Namun, peningkatan throughput tidak selalu berarti setiap pengguna memperoleh latency yang lebih rendah karena batching tetap mempunyai trade-off. Perusahaan perlu menguji konfigurasi berdasarkan target response time dan jumlah pengguna aktif yang sebenarnya.
Selain PagedAttention dan continuous batching, vLLM mempunyai berbagai fitur yang dapat membantu menyesuaikan deployment dengan kebutuhan model. Dukungan tersebut mencakup quantization, prefix caching, chunked prefill, serta beberapa metode parallelism untuk inference terdistribusi. Ketersediaan dan hasil optimasi setiap fitur tetap bergantung pada versi framework, arsitektur model, serta hardware yang digunakan.
Quantization dapat membantu mengurangi kebutuhan memory bobot model dengan menggunakan representasi precision yang lebih rendah. Sementara itu, prefix caching dapat bermanfaat ketika beberapa request mempunyai bagian prompt yang sama, misalnya instruksi sistem pada chatbot internal. Perusahaan sebaiknya mengaktifkan fitur berdasarkan hasil pengujian, bukan menganggap seluruh optimasi selalu memberikan peningkatan pada setiap workload.
Kebutuhan GPU untuk vLLM ditentukan oleh model yang digunakan, bukan oleh framework saja. Model 8B yang dijalankan dengan quantization tertentu dapat mempunyai kebutuhan VRAM jauh lebih rendah dibandingkan model 70B pada precision yang lebih tinggi. Selain bobot model, perusahaan perlu menyediakan ruang untuk KV cache, alokasi runtime, serta kebutuhan concurrency.
Sebagai gambaran, model 8B pada FP16 membutuhkan sekitar 16 GB hanya untuk bobotnya. Kapasitas tersebut belum mencakup seluruh kebutuhan inference, sehingga GPU 16 GB belum tentu cukup untuk menjalankannya secara stabil. Untuk model besar, perusahaan dapat mempertimbangkan GPU dengan VRAM lebih tinggi atau konfigurasi multi-GPU yang mendukung pembagian model.
Sparta Server Indonesia menyediakan pilihan GPU Server Indonesia dengan konfigurasi NVIDIA H100, H200, B200, L40S, dan RTX PRO. Pemilihan GPU dapat disesuaikan dengan ukuran model, target throughput, serta kebutuhan pengembangan infrastruktur perusahaan.
CPU tetap diperlukan untuk menjalankan sistem operasi, aplikasi, tokenization, serta proses pendukung inference. RAM digunakan untuk mendukung aplikasi dan proses loading model, sementara NVMe dapat membantu mempercepat pembacaan file model serta penyimpanan data pendukung. Namun, storage yang lebih cepat tidak otomatis meningkatkan token per second ketika bottleneck utama berada pada GPU.
Networking menjadi penting ketika vLLM diakses oleh aplikasi lain atau dijalankan pada beberapa node. Untuk server tunggal, kebutuhan jaringan dapat relatif sederhana, sedangkan distributed inference membutuhkan perhatian lebih terhadap bandwidth dan latency. Konfigurasi seluruh komponen sebaiknya ditentukan berdasarkan arsitektur dan hasil benchmark.
Implementasi vLLM dimulai dari pemilihan model dan pemeriksaan kompatibilitas hardware maupun software. Tim IT perlu menyiapkan sistem operasi, driver GPU, environment Python atau container, serta versi vLLM yang sesuai. Setelah itu, model dapat dijalankan melalui layanan API untuk dihubungkan dengan aplikasi perusahaan.
Sebagai contoh ilustratif, vLLM dapat dijalankan menggunakan perintah berikut setelah instalasi dan dependency disiapkan:
vllm serve Qwen/Qwen2.5-7B-Instruct
Perintah tersebut menjalankan model melalui server inference yang dapat diakses menggunakan API yang kompatibel dengan sejumlah antarmuka OpenAI. Model yang digunakan harus tersedia dan sesuai dengan lisensi serta kemampuan hardware perusahaan. Pada lingkungan produksi, konfigurasi autentikasi, jaringan, dan keamanan perlu disiapkan sebelum endpoint digunakan oleh aplikasi.
Untuk meningkatkan performa, perusahaan perlu mengatur panjang context, jumlah request bersamaan, dan kapasitas memory yang dialokasikan. Parameter seperti max_model_len dan max_num_seqs dapat digunakan untuk membatasi kebutuhan tertentu sesuai dukungan versi vLLM. Quantization atau tensor parallelism juga dapat dipertimbangkan apabila model membutuhkan memory lebih besar daripada kapasitas satu GPU.
Namun, konfigurasi yang meningkatkan throughput belum tentu memberikan latency terbaik. Perusahaan perlu mengukur time to first token, output token per second, throughput agregat, penggunaan VRAM, serta latency pada kondisi beban tinggi. Pengujian sebaiknya menggunakan prompt dan pola penggunaan yang mendekati aplikasi produksi.
vLLM layak dipertimbangkan ketika perusahaan ingin menjalankan LLM lokal sebagai layanan yang diakses banyak pengguna atau aplikasi. Contohnya adalah chatbot internal, AI assistant, coding assistant, dan sistem RAG yang membutuhkan endpoint inference secara konsisten. Framework ini juga dapat menjadi pilihan ketika perusahaan ingin mengoptimalkan penggunaan GPU sebelum menambah kapasitas hardware.
Namun, vLLM tidak selalu diperlukan untuk eksperimen sederhana yang hanya dijalankan sesekali. Framework lain dapat lebih sesuai apabila kebutuhan utama adalah kemudahan penggunaan, kompatibilitas model tertentu, atau deployment pada perangkat dengan resource terbatas. Pemilihan inference engine sebaiknya mengikuti kebutuhan aplikasi, bukan hanya popularitas teknologi.
vLLM dapat membantu perusahaan mengoptimalkan inference LLM melalui pengelolaan memory, batching, dan kemampuan serving yang sesuai untuk kebutuhan produksi. Namun, performa tetap bergantung pada ukuran model, kapasitas GPU, konfigurasi software, serta pola penggunaan yang sebenarnya. Karena itu, pengadaan hardware sebaiknya dilakukan setelah model dan target performa ditentukan.
Sparta Server Indonesia menyediakan solusi Server AI Indonesia untuk kebutuhan AI enterprise, termasuk perencanaan GPU, CPU, RAM, storage, dan networking. Perusahaan juga dapat menggunakan Jasa Instalasi Server AI untuk membantu persiapan environment, konfigurasi, dan pengujian server sesuai workload. Untuk memahami kebutuhan hardware berdasarkan ukuran model, pembaca dapat melanjutkan ke artikel Server untuk Menjalankan LLM Lokal. WhatsApp kami +62 878‑2224‑1000
Bisa. vLLM dapat berfungsi sebagai inference engine yang menerima prompt dari aplikasi RAG, sementara proses retrieval dan vector database dikelola oleh komponen lainnya. Dengan demikian, perusahaan dapat memisahkan layanan model dari pipeline pengolahan dokumen.
Ya, vLLM mendukung berbagai arsitektur model, termasuk sejumlah model Qwen, Gemma, dan keluarga model lainnya. Namun, dukungan harus diperiksa berdasarkan versi vLLM, arsitektur, serta format model yang digunakan. Tidak semua model atau fitur otomatis kompatibel dengan seluruh konfigurasi hardware.
Bisa apabila model, dependency, dan seluruh komponen yang diperlukan sudah tersedia secara lokal. Namun, pengunduhan model dan instalasi awal mungkin membutuhkan koneksi atau mekanisme distribusi offline. Perusahaan juga perlu menyiapkan prosedur pembaruan untuk lingkungan yang tidak terhubung ke internet.
Tidak selalu. Dokumentasi vLLM menjelaskan bahwa autentikasi API key tidak melindungi seluruh endpoint pada server. Karena itu, perusahaan sebaiknya menggunakan reverse proxy, pembatasan jaringan, autentikasi tambahan, dan kontrol akses sesuai kebutuhan keamanan aplikasi.
Bisa, selama model, hardware, dan konfigurasi parallelism yang digunakan mendukungnya. Tensor parallelism dapat membantu membagi model ke beberapa GPU ketika kebutuhan memory atau komputasi melebihi kapasitas satu perangkat. Namun, penambahan GPU tidak otomatis menghasilkan peningkatan performa linear sehingga benchmark tetap diperlukan.