Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Berapa VRAM yang dibutuhkan untuk menjalankan model AI? Pertanyaan ini menjadi salah satu pertimbangan utama ketika perusahaan ingin membangun AI server, terutama untuk menjalankan Large Language Model (LLM), chatbot internal, computer vision, hingga aplikasi generative AI. Kapasitas VRAM menentukan seberapa besar model dan data yang dapat dimuat pada GPU, sehingga pemilihannya berpengaruh langsung terhadap kemampuan server menjalankan workload AI.
Kebutuhan VRAM setiap model tidak selalu sama. Model 8B, 32B, dan 70B mempunyai kebutuhan memory yang berbeda, sementara faktor seperti precision, quantization, panjang context, dan jumlah pengguna juga dapat meningkatkan penggunaan VRAM. Karena itu, ukuran file model saja belum cukup untuk menentukan apakah sebuah GPU mampu menjalankannya dengan baik.
Dalam artikel ini, kita akan membahas cara menghitung kebutuhan VRAM berdasarkan ukuran model, estimasi untuk model AI 7B hingga 70B, serta perbedaan kebutuhan memory antara inference dan training. Pembahasan juga mencakup faktor yang perlu diperhatikan ketika memilih GPU server agar perusahaan dapat menentukan spesifikasi yang sesuai tanpa membeli hardware secara berlebihan.
VRAM atau Video Random Access Memory merupakan memory yang tersedia pada GPU untuk menyimpan data yang sedang digunakan selama proses komputasi. Dalam aplikasi grafis, VRAM digunakan untuk menyimpan texture, frame buffer, dan berbagai data visual. Sementara dalam artificial intelligence, VRAM mempunyai peran yang lebih luas karena digunakan untuk menyimpan model dan data yang diperlukan selama training maupun inference.
Ketika sebuah Large Language Model dijalankan, sebagian atau seluruh bobot model perlu dimuat ke memory GPU agar proses komputasi dapat dilakukan dengan cepat. Selain bobot tersebut, sistem juga membutuhkan ruang untuk cache, activation, dan alokasi sementara yang digunakan oleh framework. Jika kapasitas VRAM tidak mencukupi, model dapat gagal dimuat atau aplikasi mengalami error kehabisan memory.
Inilah sebabnya GPU dengan kemampuan komputasi tinggi belum tentu menjadi pilihan terbaik apabila kapasitas VRAM-nya terlalu kecil. Untuk workload AI tertentu, GPU dengan VRAM lebih besar dapat memberikan fleksibilitas yang lebih baik meskipun performa komputasinya tidak selalu paling tinggi. Perusahaan perlu mempertimbangkan kapasitas memory dan kecepatan GPU secara bersamaan.
Kebutuhan VRAM dipengaruhi oleh beberapa faktor yang saling berkaitan. Dua model dengan jumlah parameter sama dapat mempunyai kebutuhan memory berbeda apabila menggunakan precision, arsitektur, atau konfigurasi inference yang berbeda. Karena itu, angka kebutuhan VRAM sebaiknya dipahami sebagai hasil dari konfigurasi workload, bukan sekadar ukuran model yang tertulis pada namanya.
Ukuran model biasanya dinyatakan dalam satuan parameter, seperti 7B, 8B, 14B, 32B, atau 70B. Huruf B berarti billion atau miliar parameter, sehingga model 8B mempunyai sekitar delapan miliar parameter. Secara umum, semakin banyak parameter yang harus disimpan, semakin besar pula kebutuhan memory untuk bobot model.
Namun, jumlah parameter tidak selalu menjelaskan seluruh karakter model. Arsitektur dense dan Mixture of Experts, misalnya, dapat mempunyai pola penggunaan parameter dan memory yang berbeda. Oleh karena itu, perusahaan perlu memeriksa dokumentasi model yang benar-benar akan digunakan sebelum menentukan spesifikasi GPU.
Precision menentukan bagaimana nilai parameter model direpresentasikan dalam memory. Format FP32 menggunakan empat byte per parameter, sedangkan FP16 dan BF16 menggunakan dua byte per parameter. Format dengan precision lebih rendah dapat mengurangi kebutuhan penyimpanan bobot, tetapi harus didukung oleh model, hardware, dan software yang digunakan.
Quantization merupakan teknik untuk merepresentasikan bobot menggunakan jumlah bit yang lebih rendah, misalnya 8-bit atau 4-bit. Teknik ini dapat membuat model berukuran besar lebih mudah dijalankan pada GPU dengan kapasitas VRAM terbatas. Namun, hasil quantization tetap perlu diuji karena kualitas output, kompatibilitas, dan performa dapat berbeda tergantung metode yang digunakan.
Pada Large Language Model, kebutuhan VRAM tidak berhenti setelah bobot model berhasil dimuat. Sistem juga membutuhkan KV cache untuk menyimpan informasi yang digunakan selama proses attention ketika model menghasilkan respons. Semakin panjang context dan semakin banyak request yang diproses bersamaan, semakin besar pula kebutuhan cache tersebut.
Sebagai contoh, chatbot yang digunakan satu orang dengan prompt pendek dapat mempunyai kebutuhan memory berbeda dibandingkan chatbot yang melayani banyak karyawan dengan dokumen panjang. Walaupun keduanya menggunakan model 8B yang sama, kapasitas VRAM yang diperlukan untuk menjaga performa produksi dapat berbeda cukup jauh. Karena itu, jumlah pengguna aktif dan target panjang context harus masuk dalam perencanaan server.
Perhitungan paling sederhana dapat dimulai dari ukuran bobot model. Rumus dasarnya adalah jumlah parameter dikalikan jumlah byte yang digunakan untuk menyimpan setiap parameter. Hasil tersebut memberikan estimasi kebutuhan memory bobot, bukan total VRAM yang diperlukan selama model berjalan.
Sebagai contoh, model 8B pada FP16 membutuhkan sekitar 16 miliar byte atau kurang lebih 16 GB untuk bobotnya saja. Jika model yang sama menggunakan format 8-bit, kebutuhan teoritis bobotnya menjadi sekitar 8 GB. Pada 4-bit, kebutuhan teoritisnya sekitar 4 GB, tetapi ukuran aktual dapat lebih besar karena metadata quantization, sebagian parameter yang tidak dikuantisasi, dan overhead lainnya.
Perbedaan antara GB desimal dan GiB biner juga perlu diperhatikan ketika membandingkan hasil perhitungan dengan kapasitas memory yang ditampilkan sistem. Selain itu, framework dapat membutuhkan alokasi tambahan yang tidak terlihat dari ukuran file model. Oleh karena itu, hasil perhitungan bobot sebaiknya digunakan sebagai titik awal sebelum dilakukan pengujian nyata.
Tabel berikut memberikan gambaran awal kebutuhan memory untuk model bahasa dense berdasarkan jumlah parameter. Angka FP16, 8-bit, dan 4-bit merupakan estimasi teoritis bobot, sedangkan kolom terakhir merupakan kisaran perencanaan awal untuk inference 4-bit dengan ruang tambahan. Angka tersebut bukan jaminan bahwa setiap model akan berjalan pada kapasitas yang sama.
| Ukuran Model | Bobot FP16 | Bobot 8-bit | Bobot 4-bit | Kisaran Awal VRAM Inference 4-bit |
|---|---|---|---|---|
| 7B–8B | 14–16 GB | 7–8 GB | 3,5–4 GB | 8–16 GB |
| 13B–14B | 26–28 GB | 13–14 GB | 6,5–7 GB | 16–24 GB |
| 30B–32B | 60–64 GB | 30–32 GB | 15–16 GB | 24–48 GB |
| 70B | 140 GB | 70 GB | 35 GB | 48–80 GB atau lebih |
Kisaran tersebut ditujukan sebagai panduan awal untuk model bahasa yang dijalankan dengan konfigurasi quantization tertentu. Context panjang, batch besar, banyak pengguna, atau implementasi framework yang berbeda dapat membuat kebutuhan VRAM meningkat. Untuk deployment produksi, kapasitas harus ditentukan melalui benchmark terhadap model dan pola penggunaan yang sebenarnya.
Model 7B hingga 8B sering menjadi titik awal untuk eksperimen LLM lokal, chatbot internal, dan aplikasi AI dengan kebutuhan komputasi relatif terbatas. Dengan quantization 4-bit, bobot model dapat berukuran sekitar 4 GB, tetapi kebutuhan aktual tetap harus memperhitungkan cache dan overhead runtime. GPU dengan VRAM 8–16 GB dapat menjadi titik awal untuk pengujian tertentu, sedangkan kapasitas lebih besar memberikan ruang tambahan untuk context dan concurrency.
Model 13B hingga 14B membutuhkan kapasitas memory lebih besar karena jumlah parameternya meningkat. Pada FP16, bobotnya saja dapat membutuhkan sekitar 26–28 GB, sehingga GPU dengan VRAM 24 GB tidak otomatis cukup untuk menjalankannya tanpa optimasi. Dengan quantization 4-bit, kebutuhan bobot dapat turun menjadi sekitar 7 GB, tetapi konfigurasi produksi tetap perlu menyediakan memory tambahan untuk runtime dan penggunaan pengguna.
Model 30B hingga 32B mulai membutuhkan perencanaan GPU yang lebih serius, terutama apabila perusahaan ingin menjalankannya dengan context panjang atau banyak pengguna. Bobot FP16 dapat membutuhkan sekitar 60–64 GB, sedangkan versi 4-bit secara teoritis berada di kisaran 15–16 GB sebelum overhead. GPU 24 GB mungkin dapat digunakan untuk konfigurasi tertentu, tetapi kapasitas 48 GB atau lebih dapat memberikan ruang yang lebih fleksibel untuk kebutuhan inference yang lebih berat.
Model 70B mempunyai kebutuhan memory yang jauh lebih besar dibandingkan model kelas 8B atau 14B. Pada FP16, bobotnya saja membutuhkan sekitar 140 GB, sementara versi 4-bit mempunyai kebutuhan teoritis sekitar 35 GB sebelum overhead. Untuk deployment, perusahaan dapat mempertimbangkan GPU berkapasitas besar atau konfigurasi multi-GPU, dengan kebutuhan aktual yang ditentukan oleh quantization, context, concurrency, dan framework inference.
Pembahasan mengenai pemilihan GPU, RAM, dan storage berdasarkan ukuran model juga tersedia pada artikel Server untuk Menjalankan LLM Lokal. Artikel tersebut dapat menjadi referensi lanjutan bagi perusahaan yang sedang merencanakan infrastruktur LLM secara menyeluruh.
Ukuran file model sering digunakan sebagai acuan awal, tetapi angka tersebut tidak selalu menggambarkan seluruh kebutuhan memory ketika model dijalankan. Framework perlu melakukan alokasi untuk proses komputasi, menyimpan cache, dan mengelola berbagai tensor sementara. Pada beberapa konfigurasi, sebagian parameter juga dapat menggunakan format data yang berbeda dari format utama model.
Karena itu, model dengan file berukuran 10 GB tidak berarti pasti dapat berjalan dengan baik pada GPU 10 GB. Bahkan ketika model berhasil dimuat, penambahan context atau request baru dapat menyebabkan penggunaan memory meningkat hingga melewati kapasitas yang tersedia. Perusahaan sebaiknya menyediakan ruang tambahan dan mengukur peak memory usage, bukan hanya melihat penggunaan VRAM saat model pertama kali dijalankan.
Inference merupakan proses menggunakan model yang sudah dilatih untuk menghasilkan output. Pada tahap ini, kebutuhan memory terutama berkaitan dengan bobot model, cache, activation tertentu, dan alokasi runtime. Karena tidak melakukan pembaruan seluruh parameter, kebutuhan memory inference umumnya lebih rendah dibandingkan full training model yang sama.
Training membutuhkan komponen tambahan seperti gradient dan optimizer state untuk memperbarui parameter model. Pada konfigurasi mixed-precision training dengan Adam tertentu, kebutuhan memory dapat mencapai sekitar 18 byte per parameter sebelum memperhitungkan activation dan alokasi sementara. Artinya, model 8B dapat membutuhkan sekitar 144 GB hanya untuk komponen model dan optimizer dalam konfigurasi tersebut, sehingga kebutuhan totalnya dapat jauh lebih besar.
Dokumentasi resmi Hugging Face mengenai penggunaan memory GPU menjelaskan bahwa training memerlukan ruang untuk bobot, optimizer state, gradient, activation, dan temporary tensor. Kebutuhan activation juga dapat meningkat mengikuti batch size serta panjang sequence, sehingga model yang bobotnya muat belum tentu dapat dilatih pada GPU yang sama. Penjelasan teknis lebih lanjut dapat dilihat pada referensi Hugging Face GPU Memory Usage.
Fine-tuning tidak selalu harus memperbarui seluruh parameter model. Metode seperti LoRA memungkinkan proses penyesuaian dilakukan melalui sejumlah parameter tambahan yang lebih kecil, sehingga kebutuhan memory dapat ditekan dibandingkan full fine-tuning. QLoRA menggunakan pendekatan quantization pada model dasar dan melatih adapter, sehingga model yang lebih besar dapat disesuaikan menggunakan hardware yang lebih terbatas.
Namun, kebutuhan VRAM tetap tidak dapat ditentukan hanya dari ukuran model. Sequence length, batch size, gradient checkpointing, optimizer, dan konfigurasi training masih memengaruhi penggunaan memory. Karena itu, perusahaan yang ingin melakukan fine-tuning sebaiknya menggunakan estimasi terpisah dari kebutuhan inference dan melakukan pengujian berdasarkan metode training yang dipilih.
Dua GPU dengan VRAM masing-masing 24 GB mempunyai total kapasitas fisik 48 GB, tetapi memory tersebut tidak otomatis menjadi satu ruang bersama. Setiap GPU memiliki memory sendiri, sehingga aplikasi harus mendukung pembagian model atau workload agar kapasitas beberapa GPU dapat dimanfaatkan secara efektif. Tanpa dukungan tersebut, model yang membutuhkan lebih dari 24 GB pada satu perangkat tetap dapat mengalami kendala.
Multi-GPU dapat menggunakan pendekatan seperti model parallelism atau tensor parallelism untuk membagi komputasi dan bobot model. Namun, komunikasi antargPU juga memengaruhi performa, sehingga konfigurasi dua GPU tidak selalu setara dengan satu GPU berkapasitas besar. Pemilihan antara single GPU dan multi-GPU perlu mempertimbangkan kapasitas memory, interconnect, framework, serta target throughput.
RAM sistem dan VRAM mempunyai fungsi yang berbeda meskipun keduanya sama-sama digunakan untuk menyimpan data sementara. RAM digunakan oleh CPU, sistem operasi, aplikasi, dan berbagai proses pendukung, sedangkan VRAM berada dekat dengan GPU dan dirancang untuk mendukung akses data berkecepatan tinggi selama komputasi. Karena itu, menambah RAM tidak otomatis membuat kapasitas VRAM GPU bertambah.
Beberapa framework mendukung CPU offloading, yaitu memindahkan sebagian bobot atau proses tertentu ke RAM ketika VRAM tidak mencukupi. Pendekatan ini dapat membantu menjalankan model yang lebih besar, tetapi perpindahan data antara CPU dan GPU biasanya mempunyai bandwidth dan latency yang berbeda dibandingkan akses langsung ke VRAM. Akibatnya, performa inference dapat menurun dan perlu diuji sebelum digunakan untuk aplikasi produksi.
Setelah kebutuhan memory diperkirakan, perusahaan dapat mulai memilih kelas GPU yang sesuai. GPU dengan VRAM 24 GB mungkin cukup untuk beberapa model kecil hingga menengah yang sudah dikuantisasi, sementara workload lebih besar dapat membutuhkan GPU 48 GB, 80 GB, atau kapasitas yang lebih tinggi. Namun, angka tersebut tetap harus disesuaikan dengan model, precision, dan target penggunaan.
Selain VRAM, perhatikan memory bandwidth, kemampuan komputasi, dukungan precision, serta kompatibilitas software. GPU dengan VRAM besar belum tentu memberikan throughput terbaik apabila arsitektur atau kemampuan komputasinya tidak sesuai dengan workload. Sebaliknya, GPU yang sangat cepat tetapi mempunyai VRAM terbatas dapat menjadi hambatan ketika model tidak dapat dimuat.
Sparta Server Indonesia menyediakan pilihan konfigurasi GPU Server Indonesia yang dapat disesuaikan dengan kebutuhan AI, termasuk opsi GPU NVIDIA H100, H200, B200, L40S, dan RTX PRO. Pemilihan GPU dapat dilakukan bersama konfigurasi CPU, RAM, storage, serta networking agar spesifikasi server tidak hanya berfokus pada kapasitas memory.
Sebelum melakukan pengadaan, perusahaan sebaiknya membuat profil workload yang akan dijalankan. Informasi tersebut membantu menentukan apakah kebutuhan utama berada pada kapasitas VRAM, kecepatan komputasi, atau kemampuan melayani banyak pengguna. Dengan demikian, spesifikasi server dapat dirancang berdasarkan penggunaan nyata, bukan sekadar rekomendasi umum.
Beberapa hal yang perlu dicatat dalam proses capacity planning meliputi:
Setelah kebutuhan tersebut diketahui, lakukan proof of concept menggunakan model dan dataset yang mendekati kondisi produksi. Pengujian sebaiknya mencatat penggunaan VRAM saat idle, setelah model dimuat, serta ketika server menerima beban tertinggi yang diperkirakan. Hasilnya dapat digunakan untuk menentukan kapasitas GPU yang lebih realistis sekaligus menyiapkan ruang ekspansi.
VRAM memang penting, tetapi performa AI server tetap bergantung pada keseimbangan seluruh komponen. CPU perlu mampu menangani preprocessing, tokenization, aplikasi, dan komunikasi dengan GPU, sedangkan RAM harus mencukupi kebutuhan sistem serta pipeline data. Storage juga perlu mempunyai kapasitas dan performa yang sesuai untuk menyimpan model, dataset, checkpoint, serta file pendukung lainnya.
Untuk kebutuhan multi-GPU, perhatikan jumlah PCIe lane, dukungan motherboard, kapasitas power supply, dan kemampuan pendinginan chassis. GPU kelas data center dapat mempunyai konsumsi daya dan karakter cooling yang berbeda dari GPU desktop, sehingga tidak semua server dapat langsung digunakan untuk konfigurasi tersebut. Perusahaan perlu memastikan infrastruktur rack, listrik, dan jaringan mendukung hardware yang dipilih.
Perencanaan tersebut dapat menjadi bagian dari layanan Core Server & Infrastruktur Sparta Server Indonesia yang mencakup AI server, storage, networking, dan kebutuhan server enterprise lainnya. Dengan pendekatan yang menyeluruh, perusahaan dapat mengurangi risiko bottleneck serta memastikan infrastruktur tetap dapat dikembangkan ketika kebutuhan AI meningkat.
Menentukan berapa VRAM yang dibutuhkan untuk menjalankan model AI merupakan bagian penting dari perencanaan infrastruktur perusahaan. Ukuran model, precision, quantization, context length, jumlah pengguna, serta metode training atau inference harus dianalisis secara bersamaan. Kapasitas VRAM yang tepat memungkinkan model dijalankan dengan lebih stabil sekaligus memberikan ruang untuk kebutuhan operasional.
Namun, membeli GPU dengan VRAM terbesar tidak selalu menjadi keputusan paling efisien. Perusahaan perlu menyeimbangkan kapasitas memory dengan performa komputasi, CPU, RAM, storage, networking, power, dan cooling. Benchmark menggunakan workload nyata tetap menjadi dasar terbaik sebelum menentukan konfigurasi produksi.
Sparta Server Indonesia menyediakan solusi AI Server dan GPU Server untuk kebutuhan perusahaan, mulai dari konsultasi spesifikasi, pengadaan hardware, hingga instalasi dan konfigurasi infrastruktur. Melalui layanan Jasa Instalasi Server AI, perusahaan dapat merencanakan lingkungan GPU dan software yang disesuaikan dengan model serta kebutuhan operasionalnya. Konsultasikan kebutuhan melalui Sparta Server Indonesia agar investasi server AI dapat dirancang berdasarkan kapasitas yang benar-benar dibutuhkan. WhatsApp kami +62 878‑2224‑1000
Penggunaan VRAM dapat dipantau menggunakan utilitas GPU seperti NVIDIA System Management Interface atau fitur monitoring yang tersedia pada framework AI. Pengujian sebaiknya dilakukan ketika model sudah dimuat dan saat menerima beban yang mendekati penggunaan produksi. Perhatikan juga peak memory usage karena penggunaan memory dapat meningkat sementara ketika proses tertentu berlangsung.
Beberapa framework menggunakan mekanisme caching atau memory allocator untuk mengelola alokasi GPU agar proses berikutnya dapat berjalan lebih efisien. Memory yang masih terlihat terpakai belum tentu seluruhnya sedang digunakan oleh tensor aktif. Namun, jika proses sudah berhenti tetapi penggunaan memory tetap tinggi, administrator perlu memeriksa proses GPU yang masih berjalan dan mekanisme pengelolaan memory framework.
Tidak selalu. Kecepatan token dipengaruhi oleh arsitektur GPU, memory bandwidth, kemampuan komputasi, ukuran model, dan optimasi inference engine. VRAM besar membantu model serta cache dapat dimuat, tetapi throughput tetap harus diuji menggunakan model dan konfigurasi yang sebenarnya.
Tidak selalu. Model Mixture of Experts dapat mempunyai jumlah parameter total yang besar, tetapi hanya sebagian parameter tertentu yang aktif pada setiap token. Meski demikian, kebutuhan memory tetap bergantung pada bagaimana bobot model disimpan dan dikelola oleh framework. Karena itu, jumlah parameter aktif tidak boleh langsung digunakan sebagai pengganti jumlah parameter total dalam menghitung kebutuhan VRAM.
Bisa. Pada lingkungan virtualisasi atau GPU sharing, kapasitas memory yang tersedia untuk setiap virtual machine atau workload dapat dibatasi sesuai konfigurasi dan teknologi yang digunakan. Perusahaan perlu memastikan alokasi VRAM, dukungan driver, serta kebijakan pembagian resource sesuai kebutuhan model agar tidak terjadi persaingan memory antaraplikasi.