Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Apa itu KV Cache pada LLM? KV Cache atau Key-Value Cache adalah mekanisme penyimpanan sementara yang digunakan Large Language Model untuk menyimpan hasil perhitungan attention dari token yang sudah diproses. Dengan mekanisme ini, model tidak perlu menghitung ulang seluruh informasi sebelumnya setiap kali menghasilkan token baru. KV Cache membantu mempercepat inference, tetapi juga membutuhkan kapasitas VRAM yang dapat meningkat seiring panjang context dan jumlah pengguna aktif.
Ketika perusahaan menjalankan chatbot atau AI assistant pada GPU server, kebutuhan memory tidak hanya berasal dari bobot model. Setiap percakapan aktif dapat membutuhkan ruang tambahan untuk menyimpan KV Cache, terutama jika pengguna mengirim dokumen panjang atau meminta respons dalam jumlah token besar. Karena itu, model yang dapat dimuat pada satu GPU belum tentu mampu melayani banyak pengguna secara bersamaan dengan performa yang sama.
Artikel ini membahas cara kerja KV Cache, faktor yang memengaruhi ukurannya, contoh perhitungan kebutuhan memory, serta strategi optimasi yang dapat diterapkan pada server AI perusahaan. Dengan memahami komponen ini, perusahaan dapat melakukan capacity planning yang lebih akurat sebelum menentukan kapasitas VRAM dan jumlah GPU.
KV Cache merupakan memory sementara yang menyimpan representasi key dan value dari token yang telah diproses oleh lapisan attention pada model Transformer. Representasi tersebut digunakan kembali ketika model menghasilkan token berikutnya, sehingga sebagian perhitungan sebelumnya tidak perlu dilakukan berulang. Mekanisme ini terutama digunakan pada inference model autoregressive, yaitu model yang menghasilkan output secara bertahap berdasarkan token sebelumnya.
Sebagai contoh, ketika chatbot menghasilkan jawaban sepanjang 100 token, model perlu mempertimbangkan informasi dari prompt dan token yang sudah dihasilkan. Tanpa cache, sebagian representasi dari token sebelumnya harus dihitung kembali pada langkah berikutnya. Dengan KV Cache, representasi yang masih relevan dapat digunakan kembali sehingga proses generasi menjadi lebih efisien.
Namun, KV Cache bukan tempat penyimpanan pengetahuan permanen model. Bobot model tetap menyimpan parameter hasil training, sedangkan cache hanya menyimpan informasi sementara yang diperlukan selama proses inference. Perbedaan ini penting karena kebutuhan VRAM untuk bobot dan KV Cache harus dihitung secara terpisah.
Proses inference LLM umumnya terdiri dari tahap prefill dan decode. Pada prefill, model memproses prompt yang diberikan pengguna dan membangun representasi yang diperlukan untuk menghasilkan respons. Setelah itu, tahap decode menghasilkan token berikutnya secara bertahap sambil menggunakan informasi yang telah tersimpan.
Ketika token baru dihasilkan, representasi key dan value yang diperlukan ditambahkan ke cache sesuai arsitektur model. Pada langkah berikutnya, model dapat menggunakan cache tersebut bersama token terbaru untuk menghitung attention. Dengan demikian, proses generasi tidak harus mengulang seluruh perhitungan representasi token sebelumnya dari awal.
Penghematan komputasi tersebut mempunyai konsekuensi berupa penggunaan memory tambahan. Semakin panjang sequence yang dipertahankan, semakin banyak informasi yang perlu disimpan dalam cache. Karena itu, optimasi inference selalu melibatkan keseimbangan antara kecepatan komputasi dan kapasitas memory yang tersedia.
VRAM digunakan untuk menyimpan bobot model, KV Cache, activation tertentu, serta alokasi sementara yang diperlukan selama inference. Bobot model biasanya mempunyai ukuran yang relatif tetap setelah model dimuat, sedangkan KV Cache dapat berubah mengikuti jumlah dan panjang sequence aktif. Inilah sebabnya penggunaan VRAM dapat meningkat meskipun model yang dijalankan tetap sama.
Sebagai contoh, chatbot yang melayani satu pengguna dengan prompt pendek mungkin mempunyai penggunaan memory yang relatif rendah. Ketika pengguna tersebut mengirim dokumen panjang, jumlah token yang perlu dipertahankan dapat meningkat sehingga kebutuhan cache ikut bertambah. Jika beberapa pengguna melakukan hal serupa secara bersamaan, kebutuhan memory agregat dapat menjadi jauh lebih besar.
Kondisi tersebut menjelaskan mengapa kapasitas VRAM tidak boleh ditentukan hanya berdasarkan ukuran file model. GPU yang cukup untuk memuat bobot belum tentu mempunyai ruang memadai untuk context panjang dan concurrency tinggi. Perusahaan perlu menyediakan kapasitas tambahan berdasarkan pola penggunaan yang sebenarnya.
Untuk model Transformer decoder-only dengan full attention dan penyimpanan key-value yang seragam, kebutuhan KV Cache dapat diperkirakan menggunakan jumlah layer, KV heads, dimensi setiap head, panjang sequence, serta precision. Rumus ini memberikan estimasi memory tensor cache, bukan total penggunaan VRAM seluruh aplikasi. Arsitektur seperti sliding-window attention atau konfigurasi cache khusus dapat mempunyai perhitungan yang berbeda.
Rumusnya adalah:
KV Cache = 2 × jumlah layer × jumlah KV heads × head dimension × jumlah token × byte per elemen
Angka dua mewakili penyimpanan key dan value. Jumlah token merupakan total token aktif yang perlu disimpan, termasuk prompt dan token output yang sudah dihasilkan. Untuk beberapa sequence dengan panjang berbeda, kebutuhan dapat dihitung berdasarkan penjumlahan panjang masing-masing sequence, bukan selalu mengalikan jumlah pengguna dengan panjang context maksimum.
Sebagai contoh hipotetis, sebuah model mempunyai 32 layer, 8 KV heads, head dimension 128, dan menggunakan FP16 dengan dua byte per elemen. Berdasarkan konfigurasi tersebut, kebutuhan cache adalah 131.072 byte atau 128 KiB per token. Jika satu sequence mempunyai 8.192 token, kebutuhan teoritis KV Cache-nya sekitar 1 GiB.
| Total Token Aktif | Estimasi KV Cache |
|---|---|
| 4.096 token | 0,5 GiB |
| 8.192 token | 1 GiB |
| 16.384 token | 2 GiB |
| 32.768 token | 4 GiB |
Angka tersebut hanya berlaku untuk contoh arsitektur hipotetis di atas dan belum mencakup overhead allocator, pembulatan blok, maupun memory komponen lainnya. Pada model nyata, jumlah KV heads dan dimensi attention dapat berbeda sehingga hasilnya tidak boleh langsung digunakan sebagai spesifikasi minimum GPU. Perhitungan final perlu menggunakan konfigurasi model yang benar-benar akan dijalankan.
Referensi teknis dari NVIDIA menjelaskan bahwa kebutuhan KV Cache meningkat mengikuti panjang sequence dan jumlah request yang diproses. Dokumentasi tersebut juga membahas bagaimana pengelolaan cache menjadi salah satu faktor penting dalam optimasi inference LLM. Penjelasan lebih lanjut dapat dibaca melalui Mastering LLM Techniques: Inference Optimization.
Context length menentukan banyaknya token yang dapat dipertimbangkan model dalam satu sequence sesuai batas arsitektur dan konfigurasi inference. Semakin panjang context yang digunakan, semakin besar pula kebutuhan cache pada model dengan full attention. Namun, kebutuhan aktual bergantung pada jumlah token yang benar-benar diproses dan strategi alokasi memory yang digunakan inference engine.
Concurrency menunjukkan jumlah request yang sedang diproses secara bersamaan. Jika setiap request membutuhkan cache sendiri, penambahan request dapat meningkatkan kebutuhan memory agregat. Karena itu, jumlah pengguna terdaftar tidak dapat langsung digunakan untuk menentukan kapasitas GPU tanpa mengetahui berapa banyak pengguna yang aktif bersamaan.
Sebagai contoh, perusahaan mempunyai 500 karyawan tetapi hanya 20 orang yang menggunakan chatbot secara bersamaan pada jam sibuk. Perencanaan server perlu memperhitungkan 20 sequence aktif tersebut, panjang prompt, dan jumlah token output yang diperkirakan. Hasilnya kemudian diuji menggunakan workload nyata untuk mengetahui apakah kapasitas VRAM dan throughput sudah memenuhi target.
Grouped-Query Attention atau GQA merupakan pendekatan attention yang memungkinkan beberapa query heads berbagi key-value heads. Dengan jumlah KV heads yang lebih sedikit, kebutuhan penyimpanan cache dapat berkurang dibandingkan arsitektur yang menggunakan jumlah key-value heads lebih banyak dengan konfigurasi lain yang setara. Karena itu, dua model dengan jumlah parameter serupa belum tentu mempunyai kebutuhan KV Cache yang sama.
Sebagai ilustrasi, model dengan 32 query heads dan 8 KV heads mempunyai kebutuhan cache lebih rendah dibandingkan konfigurasi yang menggunakan 32 KV heads, apabila jumlah layer, head dimension, precision, dan panjang sequence sama. Namun, pengurangan tersebut tidak berarti seluruh kebutuhan VRAM model ikut turun dengan rasio yang sama. Bobot model, activation, dan alokasi runtime tetap harus diperhitungkan secara terpisah.
Optimasi KV Cache dapat dilakukan melalui beberapa pendekatan, tergantung model dan inference engine yang digunakan. Perusahaan sebaiknya memulai dari pengukuran memory aktual sebelum mengubah konfigurasi. Tujuannya bukan hanya mengurangi penggunaan VRAM, tetapi juga menjaga kualitas respons dan latency tetap sesuai kebutuhan aplikasi.
Panjang context sebaiknya disesuaikan dengan kebutuhan aplikasi, bukan selalu menggunakan batas maksimum model. Pada chatbot berbasis RAG, jumlah dokumen yang dimasukkan ke prompt dapat diatur agar hanya informasi relevan yang digunakan. Pendekatan ini membantu mengurangi token yang tidak diperlukan sekaligus menjaga kualitas konteks.
Inference engine seperti vLLM menggunakan pengelolaan cache berbasis blok untuk membantu mengurangi pemborosan alokasi memory. Pendekatan ini memungkinkan cache dikelola secara lebih fleksibel ketika request mempunyai panjang berbeda. Namun, PagedAttention tidak menghilangkan kebutuhan memory fisik dan tidak membuat VRAM beberapa GPU otomatis menjadi satu ruang bersama.
Quantization KV Cache dapat mengurangi kebutuhan memory dengan menggunakan representasi precision yang lebih rendah, apabila model dan inference engine mendukungnya. Selain itu, beberapa framework menyediakan mekanisme offloading untuk memindahkan sebagian cache ke RAM sistem. Kedua pendekatan tersebut mempunyai trade-off terhadap latency, bandwidth, dan kompatibilitas sehingga perlu diuji sebelum digunakan pada lingkungan produksi.
Continuous batching memungkinkan inference engine mengatur request secara dinamis ketika beberapa pengguna menghasilkan respons dengan panjang berbeda. Request yang selesai dapat melepaskan resource, sementara request baru dijadwalkan sesuai kapasitas yang tersedia. Pengelolaan KV Cache yang efisien membantu mekanisme tersebut memanfaatkan memory GPU dengan lebih baik.
Namun, peningkatan concurrency tetap dibatasi oleh kapasitas cache dan kemampuan komputasi GPU. Jika terlalu banyak request aktif, server dapat mengalami peningkatan antrean, preemption, atau masalah memory sesuai implementasi inference engine. Karena itu, konfigurasi batching harus diuji bersama panjang context dan kebutuhan VRAM.
Pemilihan GPU perlu mempertimbangkan bobot model, kebutuhan cache per sequence, jumlah pengguna aktif, serta ruang tambahan untuk runtime. Model dengan bobot yang relatif kecil dapat tetap membutuhkan VRAM besar apabila digunakan untuk context panjang dan concurrency tinggi. Sebaliknya, model yang lebih besar dengan penggunaan terbatas mungkin mempunyai pola kebutuhan memory yang berbeda.
Sparta Server Indonesia menyediakan solusi GPU Server Indonesia dengan pilihan konfigurasi GPU, CPU, RAM, storage, dan networking yang dapat disesuaikan dengan workload AI. Perusahaan dapat mempertimbangkan kapasitas VRAM yang sesuai dengan ukuran model dan target layanan, termasuk kebutuhan single GPU maupun multi-GPU.
Untuk memahami kebutuhan hardware secara menyeluruh, pembaca dapat melanjutkan ke artikel Server untuk Menjalankan LLM Lokal. Pembahasan tersebut membantu menghubungkan ukuran model dengan kebutuhan GPU, RAM, dan storage, sehingga perencanaan tidak hanya berfokus pada kapasitas KV Cache.
Jadi, KV Cache pada LLM merupakan mekanisme penting yang membantu mempercepat inference dengan menyimpan representasi key dan value dari token sebelumnya. Namun, penggunaan cache membutuhkan VRAM yang dapat meningkat mengikuti panjang sequence, jumlah request aktif, dan arsitektur model. Karena itu, kapasitas GPU harus dihitung berdasarkan bobot model dan kebutuhan cache secara bersamaan.
Perusahaan sebaiknya melakukan benchmark menggunakan pola penggunaan yang mendekati kondisi produksi sebelum menentukan spesifikasi server. Pengujian perlu mencatat peak VRAM usage, concurrency, latency, dan throughput agar kapasitas yang dipilih sesuai kebutuhan. Untuk perencanaan serta implementasi environment AI, Sparta Server Indonesia menyediakan yang dapat membantu persiapan konfigurasi dan pengujian infrastruktur sesuai workload perusahaan. WhatsApp kami +62 878‑2224‑1000
Tidak. KV Cache menyimpan representasi attention yang digunakan model selama proses inference, sedangkan cache browser atau website menyimpan resource seperti file, halaman, maupun respons tertentu untuk mempercepat akses. Keduanya mempunyai tujuan mengurangi pekerjaan berulang, tetapi jenis data dan mekanisme penggunaannya berbeda.
Secara umum, KV Cache yang berada di VRAM bersifat sementara dan akan hilang ketika proses atau server dihentikan. Namun, beberapa sistem dapat mempunyai mekanisme penyimpanan atau pemulihan cache khusus yang dirancang secara terpisah. Karena itu, perusahaan tidak sebaiknya menganggap KV Cache sebagai tempat penyimpanan permanen histori percakapan.
Bisa pada kondisi tertentu apabila inference engine mendukung prefix caching dan terdapat bagian prompt yang identik. Namun, penggunaan ulang harus mengikuti mekanisme cache serta kebijakan isolasi data yang benar. Perusahaan perlu memastikan informasi sensitif tidak dapat diakses oleh pengguna yang tidak mempunyai izin.
KV Cache terutama digunakan untuk inference autoregressive karena membantu menghindari perhitungan ulang representasi token sebelumnya. Pada training, kebutuhan memory mempunyai karakter berbeda karena melibatkan activation, gradient, dan optimizer state. Karena itu, estimasi KV Cache inference tidak dapat digunakan sebagai pengganti perhitungan kebutuhan VRAM training.
Tidak selalu. Kapasitas cache yang lebih besar memungkinkan lebih banyak token atau sequence aktif ditampung, tetapi tidak otomatis meningkatkan kemampuan komputasi GPU. Jika memory bandwidth, jumlah request, atau proses attention menjadi bottleneck, penambahan kapasitas cache saja belum tentu mempercepat respons.