Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Quantization model AI adalah teknik mengurangi precision representasi numerik model agar kebutuhan memory dan komputasi tertentu menjadi lebih efisien. Dalam pengoperasian Large Language Model (LLM), teknik ini sering digunakan untuk menjalankan model yang lebih besar pada GPU server dengan kapasitas VRAM terbatas. Format seperti FP16, INT8, dan INT4 menjadi pertimbangan penting karena masing-masing mempunyai kebutuhan memory, karakter performa, dan potensi perubahan kualitas yang berbeda.
Perusahaan yang ingin menjalankan chatbot internal, AI assistant, atau aplikasi generative AI sering menghadapi pilihan antara menggunakan model ber-precision tinggi atau versi yang sudah dikuantisasi. Model 8B pada FP16, misalnya, membutuhkan sekitar 16 GB hanya untuk bobotnya, sedangkan representasi 4-bit secara teoritis dapat menurunkan kebutuhan tersebut menjadi sekitar 4 GB. Namun, penghematan bobot tidak berarti seluruh kebutuhan VRAM turun dengan rasio yang sama.
Quantization merupakan proses merepresentasikan bobot atau activation model menggunakan format numerik dengan precision lebih rendah. Teknik ini dapat mengurangi kebutuhan memory dan, pada hardware serta implementasi tertentu, mempercepat komputasi. Namun, pengurangan precision juga dapat menimbulkan kesalahan pembulatan sehingga kualitas model perlu dievaluasi setelah proses quantization.
Sebagai gambaran, nilai numerik yang sebelumnya disimpan menggunakan format floating-point dapat dipetakan ke sejumlah nilai integer yang lebih terbatas. Proses tersebut menggunakan parameter seperti scale dan, pada metode tertentu, zero-point untuk membantu mempertahankan representasi nilai aslinya. Semakin sedikit bit yang digunakan, semakin besar potensi penghematan memory, tetapi semakin penting pula pemilihan metode quantization yang sesuai.
Dokumentasi resmi Hugging Face menjelaskan bahwa quantization dapat mengurangi kebutuhan memory dan biaya komputasi dengan menggunakan representasi numerik ber-precision lebih rendah. Namun, trade-off antara efisiensi dan kualitas perlu diperhatikan agar penurunan performa model pada tugas yang ditargetkan tetap dapat diterima. Penjelasan teknis lebih lanjut tersedia pada Hugging Face Quantization Concepts.
FP16, INT8, dan INT4 mempunyai karakteristik berbeda dalam cara menyimpan nilai numerik. FP16 menggunakan floating-point 16-bit, sedangkan INT8 dan INT4 menggunakan representasi integer dengan jumlah bit lebih rendah. Perbedaan tersebut memengaruhi ukuran bobot, kebutuhan memory, serta metode komputasi yang dapat digunakan oleh inference engine.
| Format | Bit per Nilai | Kebutuhan Teoritis per Parameter | Karakter Utama |
|---|---|---|---|
| FP16 | 16-bit | 2 byte | Precision floating-point lebih tinggi |
| INT8 | 8-bit | 1 byte | Mengurangi ukuran bobot dengan quantization |
| INT4 | 4-bit | 0,5 byte | Kompresi lebih tinggi dengan kebutuhan optimasi lebih besar |
Tabel tersebut merupakan perbandingan teoritis untuk penyimpanan parameter, bukan ukuran akhir seluruh model. Implementasi quantization dapat menyimpan scale, metadata, atau sebagian layer dalam precision yang lebih tinggi. Karena itu, ukuran file dan penggunaan VRAM aktual dapat berbeda dari hasil perhitungan sederhana.
FP16 atau half precision menggunakan 16-bit untuk merepresentasikan nilai floating-point. Format ini banyak digunakan pada inference dan training karena dapat mengurangi kebutuhan memory dibandingkan FP32 sambil tetap mempertahankan representasi floating-point. Namun, FP16 mempunyai rentang numerik yang berbeda dari FP32 sehingga tidak semua workload dapat menggunakan format tersebut tanpa pertimbangan tambahan.
Untuk model 8B, bobot FP16 membutuhkan sekitar 16 GB secara teoritis. Kapasitas tersebut belum mencakup KV cache, activation tertentu, dan alokasi runtime, sehingga GPU 16 GB belum tentu cukup untuk menjalankan model secara stabil. FP16 sering menjadi baseline yang berguna ketika perusahaan ingin membandingkan kualitas dan performa model sebelum menggunakan quantization yang lebih agresif.
INT8 menggunakan representasi integer 8-bit sehingga kebutuhan teoritis bobot menjadi sekitar setengah dari FP16. Pada model 8B, ukuran bobot dapat turun dari sekitar 16 GB menjadi 8 GB sebelum overhead. Penghematan ini dapat membantu perusahaan menjalankan model pada GPU dengan kapasitas memory lebih terbatas atau menyediakan ruang tambahan untuk cache.
Namun, INT8 bukan sekadar mengubah seluruh nilai model menjadi integer biasa. Metode seperti LLM.int8() dapat mempertahankan sebagian operasi atau nilai tertentu dalam precision lebih tinggi untuk mengurangi dampak quantization. Karena itu, ukuran aktual, kualitas, dan performa bergantung pada metode serta implementasi yang digunakan.
INT4 menggunakan representasi 4-bit sehingga kebutuhan teoritis bobot menjadi sekitar seperempat dari FP16. Model 8B, misalnya, mempunyai kebutuhan bobot sekitar 4 GB sebelum metadata dan overhead lainnya. Pendekatan ini dapat membantu menjalankan model yang sebelumnya tidak muat pada satu GPU dengan kapasitas VRAM terbatas.
Namun, quantization 4-bit biasanya membutuhkan perhatian lebih terhadap kualitas model dan kompatibilitas inference engine. Metode seperti AWQ, GPTQ, atau pendekatan 4-bit lainnya mempunyai karakteristik berbeda dalam menjaga kualitas serta memanfaatkan hardware. INT4 juga tidak otomatis menghasilkan inference lebih cepat karena sebagian implementasi perlu melakukan dequantization atau menggunakan operasi komputasi dalam precision yang lebih tinggi.
Perhitungan awal kebutuhan memory dapat dilakukan dengan mengalikan jumlah parameter dan jumlah byte per parameter. Hasilnya menunjukkan estimasi bobot model, bukan total VRAM yang dibutuhkan selama inference. Perusahaan tetap perlu menyediakan ruang tambahan untuk KV cache, runtime, dan penggunaan pengguna bersamaan.
| Ukuran Model | Bobot FP16 | Bobot INT8 | Bobot INT4 |
|---|---|---|---|
| 8B | ±16 GB | ±8 GB | ±4 GB |
| 14B | ±28 GB | ±14 GB | ±7 GB |
| 32B | ±64 GB | ±32 GB | ±16 GB |
| 70B | ±140 GB | ±70 GB | ±35 GB |
Sebagai contoh, model 32B pada INT4 mempunyai kebutuhan bobot teoritis sekitar 16 GB, tetapi tidak berarti GPU 16 GB pasti mampu menjalankannya. Memory tambahan diperlukan untuk cache dan proses komputasi, sementara beberapa metode quantization mempunyai overhead yang berbeda. Untuk deployment produksi, kapasitas harus ditentukan melalui pengujian model dan inference engine yang sebenarnya.
Pembahasan lebih lengkap mengenai kebutuhan hardware berdasarkan ukuran model tersedia pada artikel Server untuk Menjalankan LLM Lokal. Artikel tersebut dapat menjadi referensi lanjutan untuk menghitung GPU, RAM, storage, dan kebutuhan pengguna sebelum perusahaan melakukan pengadaan server.
Tidak selalu. Quantization dapat mengurangi jumlah data yang perlu dipindahkan dari memory, sehingga berpotensi meningkatkan performa pada workload yang dibatasi oleh memory bandwidth. Namun, kecepatan aktual juga dipengaruhi oleh dukungan hardware, kernel, ukuran batch, dan biaya komputasi tambahan seperti dequantization.
Pada GPU tertentu, operasi FP16 dapat mempunyai optimasi yang sangat baik sehingga versi INT4 tidak selalu memberikan latency lebih rendah. Sebaliknya, model besar yang dibatasi oleh bandwidth memory dapat memperoleh manfaat signifikan dari representasi bobot yang lebih kecil. Karena itu, perbandingan harus menggunakan model, panjang prompt, jumlah token output, dan konfigurasi yang sama.
Metrik yang sebaiknya diuji meliputi time to first token, token per second, throughput agregat, peak VRAM usage, dan latency pada beban tinggi. Perusahaan juga perlu membandingkan kualitas jawaban agar peningkatan performa tidak diperoleh dengan mengorbankan kemampuan model yang penting bagi aplikasi. Hasil benchmark tersebut menjadi dasar yang lebih kuat daripada hanya melihat jumlah bit.
Quantization dapat menyebabkan perubahan output karena nilai numerik model direpresentasikan dengan precision yang lebih rendah. Dampaknya tidak selalu terlihat pada pertanyaan sederhana, tetapi dapat menjadi lebih penting pada tugas yang membutuhkan ketelitian, seperti penalaran bertahap, analisis teknis, atau pemrosesan data terstruktur. Karena itu, perusahaan perlu mengevaluasi model menggunakan dataset dan pertanyaan yang sesuai dengan use case sebenarnya.
Pengujian dapat membandingkan model FP16 dengan versi INT8 dan INT4 menggunakan pertanyaan yang sama. Tim dapat menilai akurasi, konsistensi format, kemampuan mengikuti instruksi, serta kesalahan pada tugas yang mempunyai jawaban terverifikasi. Untuk aplikasi yang berisiko tinggi, hasil model tetap memerlukan validasi dan mekanisme pengawasan yang sesuai.
Dokumentasi NVIDIA TensorRT menjelaskan bahwa quantization dapat memperkenalkan kesalahan pembulatan dan pembatasan rentang nilai yang memengaruhi akurasi. Karena itu, pemilihan precision perlu mempertimbangkan karakter distribusi data dan kebutuhan kualitas model, bukan hanya penghematan memory.
Quantization paling sering dibahas dalam konteks inference, yaitu menjalankan model yang sudah dilatih untuk menghasilkan respons. Namun, teknik ini juga dapat digunakan dalam pendekatan fine-tuning tertentu, seperti QLoRA, yang memanfaatkan model dasar terkuantisasi dan melatih adapter tambahan. Pendekatan tersebut dapat mengurangi kebutuhan memory dibandingkan full fine-tuning pada konfigurasi tertentu.
Meski demikian, menjalankan model INT4 untuk inference tidak sama dengan melakukan full training menggunakan INT4. Training membutuhkan gradient, optimizer state, dan activation yang mempunyai kebutuhan memory tersendiri. Karena itu, perusahaan perlu menghitung kebutuhan training secara terpisah dan tidak menggunakan ukuran bobot INT4 sebagai estimasi total VRAM fine-tuning.
Pemilihan quantization sebaiknya dimulai dari model dan target kualitas yang ingin dicapai. Perusahaan dapat menggunakan FP16 atau precision baseline lain untuk memperoleh hasil pembanding, kemudian menguji INT8 dan INT4 apabila diperlukan penghematan memory. Setelah itu, bandingkan kualitas serta performa pada GPU yang akan digunakan untuk produksi.
Beberapa faktor yang perlu diperhatikan meliputi:
Jika model INT4 sudah memenuhi target kualitas dan performa, perusahaan mungkin dapat menggunakan GPU dengan kapasitas lebih efisien. Namun, jika kualitas menurun atau kernel quantization tidak optimal pada hardware tertentu, INT8 maupun FP16 dapat menjadi pilihan yang lebih sesuai. Keputusan terbaik perlu didasarkan pada hasil pengujian, bukan asumsi bahwa precision paling rendah selalu paling menguntungkan.
Sparta Server Indonesia menyediakan solusi GPU Server Indonesia dengan pilihan konfigurasi GPU, CPU, RAM, storage, dan networking untuk kebutuhan AI perusahaan. Pemilihan hardware dapat disesuaikan dengan ukuran model, metode quantization, serta target inference yang ingin dicapai.
Perusahaan sebaiknya membandingkan beberapa format menggunakan model serta workload yang sama sebelum menentukan konfigurasi produksi. Dengan pengujian kualitas, latency, throughput, dan penggunaan memory, pilihan GPU dapat disesuaikan dengan kebutuhan nyata. Untuk perencanaan dan implementasi, Sparta Server Indonesia menyediakan Jasa Instalasi Server AI yang mencakup persiapan environment, konfigurasi hardware, dan pengujian sesuai kebutuhan proyek. WhatsApp kami +62 878‑2224‑1000
Bobot terkuantisasi dapat didequantize ke format floating-point pada beberapa implementasi, tetapi proses tersebut tidak otomatis mengembalikan seluruh informasi numerik yang hilang. Karena itu, hasilnya tidak selalu identik dengan bobot FP16 asli. Jika perusahaan membutuhkan model baseline, sebaiknya simpan checkpoint sumber sebelum quantization.
Tidak. INT4 menggunakan representasi integer 4-bit, sedangkan FP4 menggunakan format floating-point 4-bit dengan karakter representasi yang berbeda. Keduanya mempunyai metode quantization, dukungan hardware, dan karakter numerik yang tidak selalu sama.
Bisa. Quantization juga digunakan pada model computer vision, speech recognition, dan berbagai arsitektur machine learning lainnya. Namun, metode dan dampaknya terhadap akurasi perlu diuji sesuai jenis model serta hardware yang digunakan.
Tidak. Dukungan precision rendah dan kemampuan akselerasinya berbeda antararsitektur serta generasi GPU. Selain itu, inference engine perlu mempunyai kernel yang sesuai agar manfaat quantization dapat dimanfaatkan secara efektif.
Bisa, karena representasi bobot yang lebih kecil dapat mengurangi ukuran file model. Namun, ukuran akhir tetap dipengaruhi metadata, format penyimpanan, dan komponen lain yang tidak dikuantisasi. Perusahaan juga perlu memperhitungkan beberapa versi model, dataset, serta checkpoint ketika merencanakan kapasitas storage.