Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Ketika mulai membangun sistem artificial intelligence, salah satu pertanyaan yang sering muncul adalah lebih baik menggunakan CPU atau GPU. Keduanya sama-sama melakukan pemrosesan data, tetapi mempunyai cara kerja dan karakteristik yang berbeda.
Dalam konteks CPU vs GPU untuk AI, GPU memang banyak digunakan untuk machine learning, deep learning hingga Large Language Model (LLM). Namun, bukan berarti CPU sudah tidak dibutuhkan. Pada sebuah AI server, keduanya justru bekerja bersama untuk menjalankan proses yang berbeda. GPU unggul ketika harus menjalankan banyak perhitungan secara paralel. CPU lebih fleksibel untuk menangani sistem operasi, aplikasi, preprocessing, database hingga berbagai proses yang berjalan secara berurutan.
Karena itu, menentukan CPU atau GPU untuk AI sebaiknya tidak hanya berdasarkan mana yang lebih cepat. Perusahaan perlu melihat jenis model, proses training atau inference, jumlah pengguna, dataset hingga target performa yang ingin dicapai.
CPU atau Central Processing Unit merupakan prosesor utama yang menangani berbagai instruksi pada komputer maupun server. CPU dirancang untuk fleksibel. Komponen ini dapat menjalankan berbagai jenis pekerjaan, mulai dari sistem operasi, aplikasi, database, virtual machine, web service hingga proses pengolahan data.
Server enterprise biasanya menggunakan processor yang memang dirancang untuk workload berkelanjutan, seperti Intel Xeon atau AMD EPYC. CPU mempunyai jumlah core yang relatif lebih sedikit dibandingkan GPU, tetapi setiap core dirancang untuk menangani instruksi kompleks dengan cepat.
Karakteristik tersebut membuat CPU sangat baik untuk pekerjaan yang membutuhkan:
Dalam AI server, CPU tetap menjadi bagian yang sangat penting meskipun sebagian besar perhitungan model dilakukan menggunakan GPU.
GPU atau Graphics Processing Unit awalnya dikembangkan untuk menangani pemrosesan grafis. Rendering gambar membutuhkan banyak operasi matematika serupa yang dilakukan secara bersamaan. Karakter tersebut membuat arsitektur GPU berbeda dengan CPU.
GPU mempunyai banyak unit pemrosesan yang mampu menjalankan ribuan operasi secara paralel. Kemampuan inilah yang kemudian membuat GPU sangat cocok digunakan untuk machine learning dan deep learning. Model AI banyak menggunakan operasi matematika seperti matrix multiplication. Daripada memproses operasi tersebut satu per satu, GPU dapat membagi pekerjaan menjadi banyak bagian dan mengerjakannya secara paralel.
Menurut penjelasan NVIDIA mengenai perbedaan CPU dan GPU, CPU dirancang untuk pemrosesan serial dengan latency rendah, sedangkan GPU mempunyai arsitektur yang lebih berorientasi pada parallel processing dan throughput tinggi. Karakter inilah yang membuat GPU menjadi salah satu komponen utama dalam berbagai infrastruktur artificial intelligence modern.
Walaupun sama-sama merupakan prosesor, CPU dan GPU mempunyai pendekatan pemrosesan yang berbeda.
| Aspek | CPU | GPU |
|---|---|---|
| Fokus pemrosesan | Fleksibel dan general purpose | Parallel processing |
| Jumlah core | Relatif lebih sedikit | Sangat banyak |
| Karakter workload | Serial dan kompleks | Paralel dan berulang |
| Latency | Rendah | Berorientasi throughput |
| Training AI | Bisa, tetapi terbatas untuk workload besar | Sangat cocok |
| Deep learning | Kurang efisien untuk model besar | Sangat cocok |
| LLM inference | Cocok untuk model kecil atau penggunaan ringan | Lebih ideal untuk kebutuhan performa tinggi |
| Preprocessing data | Sangat baik | Tidak selalu diperlukan |
| Database dan aplikasi | Sangat cocok | Bukan fungsi utama |
| Konsumsi daya | Umumnya lebih rendah per perangkat | Dapat jauh lebih tinggi |
Tabel tersebut bukan berarti satu komponen selalu lebih baik daripada yang lain. CPU dan GPU dibuat untuk jenis pekerjaan yang berbeda. Dalam server AI modern, keduanya biasanya digunakan secara bersamaan.
Alasan utamanya adalah parallel processing. Bayangkan terdapat jutaan operasi matematika yang perlu dihitung. CPU dapat mengerjakannya dengan sangat cepat, tetapi jumlah pekerjaan yang dapat dilakukan secara bersamaan lebih terbatas.
GPU dapat membagi pekerjaan tersebut ke banyak unit pemrosesan. Pendekatan ini cocok dengan cara kerja neural network. Pada proses training, model harus melakukan banyak operasi matematika terhadap sejumlah besar data. Proses tersebut dilakukan berulang kali untuk memperbarui parameter model.
Semakin besar model dan dataset, semakin besar pula kebutuhan komputasinya. Karena itu, menggunakan GPU dapat mempercepat training secara signifikan dibandingkan CPU untuk workload yang memang dapat memanfaatkan akselerasi GPU.
GPU juga banyak digunakan untuk:
Perusahaan dengan workload seperti ini umumnya mulai mempertimbangkan penggunaan AI Server atau GPU Server dibandingkan hanya mengandalkan server CPU konvensional.
Bisa. Tidak semua artificial intelligence membutuhkan GPU. Model machine learning klasik seperti linear regression, decision tree atau beberapa algoritma clustering dapat berjalan dengan baik menggunakan CPU, terutama ketika dataset tidak terlalu besar.
Model deep learning kecil juga dapat dijalankan menggunakan CPU. Bahkan LLM yang sudah dikompresi atau melalui quantization dapat dijalankan menggunakan CPU dan RAM. Namun, pertanyaan berikutnya adalah: apakah performanya memenuhi kebutuhan?
Model yang dapat berjalan belum tentu cukup cepat untuk penggunaan produksi. Sebagai contoh, chatbot internal mungkin masih dapat dijalankan menggunakan CPU untuk satu pengguna. Ketika digunakan puluhan orang secara bersamaan, response time dapat meningkat sehingga pengalaman pengguna menurun.
Untuk memahami bagaimana GPU, RAM dan storage memengaruhi penggunaan model bahasa besar, Anda dapat membaca pembahasan server untuk menjalankan LLM lokal.
Fokus pada GPU terkadang membuat CPU justru diabaikan. Padahal, AI server dengan GPU berperforma tinggi tetap dapat mengalami bottleneck apabila CPU tidak mampu menyiapkan data dengan cukup cepat. CPU dapat menangani sejumlah pekerjaan sebelum data masuk ke GPU.
Misalnya saat melakukan training image recognition. Dataset mungkin harus dibaca dari storage terlebih dahulu. Gambar kemudian didecode, di-resize, dinormalisasi atau diberikan augmentation. Setelah siap, batch data baru dikirim ke GPU.
Jika CPU terlalu lambat, GPU dapat menunggu data. Akibatnya, utilization GPU tidak maksimal meskipun perusahaan sudah menggunakan GPU dengan spesifikasi tinggi. CPU juga menangani:
Itulah sebabnya server AI yang baik membutuhkan konfigurasi yang seimbang.
CPU masih dapat menjadi pilihan yang masuk akal untuk beberapa kondisi.
Model kecil dengan kebutuhan komputasi ringan belum tentu membutuhkan GPU dedicated. Jika aplikasi hanya melakukan prediksi sederhana dalam jumlah kecil, CPU dapat memberikan performa yang memadai.
Tidak semua AI menggunakan neural network besar. Algoritma seperti decision tree, random forest, logistic regression dan berbagai metode machine learning klasik masih banyak digunakan untuk analisis bisnis. Pada jenis workload tertentu, CPU sudah dapat memberikan hasil yang baik.
Saat melakukan proof of concept, tim dapat menggunakan CPU terlebih dahulu untuk memastikan workflow dan fungsi aplikasi berjalan. Setelah kebutuhan performa diketahui, GPU baru ditambahkan jika memang diperlukan.
Jika inference hanya dilakukan beberapa kali dalam sehari dan response time bukan faktor kritis, investasi GPU mungkin belum diperlukan. Namun, kondisi ini tetap perlu diuji menggunakan workload yang benar-benar akan digunakan.
GPU mulai penting ketika jumlah komputasi meningkat atau aplikasi membutuhkan respons lebih cepat.
Training neural network membutuhkan banyak matrix operation yang dapat diparalelkan. Di sinilah GPU mempunyai keunggulan besar.
Large Language Model dapat mempunyai miliaran parameter. Memproses model seperti ini membutuhkan kapasitas memori dan kemampuan komputasi yang tinggi. GPU dengan VRAM besar dapat mempercepat inference sekaligus menangani jumlah request yang lebih tinggi.
Deteksi objek, image classification, facial recognition hingga inspeksi kualitas berbasis kamera biasanya mendapatkan keuntungan besar dari GPU acceleration. Apalagi jika sistem harus menganalisis banyak video stream secara real time.
Image generation, video generation, speech synthesis dan berbagai aplikasi generative AI biasanya menjalankan model deep learning yang cukup berat. GPU menjadi pilihan yang lebih realistis ketika sistem masuk ke tahap produksi.
Training merupakan proses ketika model belajar dari dataset. Pada proses ini, data diproses berkali-kali untuk menghitung error dan memperbarui parameter model. Untuk model sederhana dan dataset kecil, CPU masih dapat digunakan.
Namun, semakin kompleks neural network yang digunakan, semakin besar keuntungan menggunakan GPU. Training yang membutuhkan waktu berhari-hari menggunakan CPU tertentu bisa jauh lebih cepat ketika workload berhasil dioptimalkan untuk GPU.
Untuk training berskala lebih besar, perusahaan bahkan dapat menggunakan beberapa GPU sekaligus. Multi GPU memungkinkan workload dibagi sehingga proses training dapat diselesaikan lebih cepat. Namun, konfigurasi tersebut membutuhkan motherboard, CPU, PCIe lane, power supply, cooling dan networking yang sesuai.
Inference adalah proses ketika model yang sudah dilatih digunakan untuk menghasilkan output. Contohnya adalah ketika pengguna mengirim pertanyaan ke chatbot AI. Model menerima input, melakukan perhitungan, lalu menghasilkan jawaban. Kebutuhan inference sangat bergantung pada model dan traffic.
Untuk aplikasi internal yang hanya memiliki beberapa pengguna, CPU atau satu GPU mungkin sudah cukup. Namun, ketika ratusan request harus diproses secara bersamaan, perusahaan perlu mempertimbangkan throughput.
GPU memungkinkan lebih banyak operasi diproses secara paralel sehingga cocok untuk sistem dengan concurrency tinggi. Karena itu, jangan menentukan hardware hanya berdasarkan ukuran model. Perhatikan juga:
Cara paling mudah memahami kebutuhan hardware adalah melihat workload secara langsung.
Chatbot dengan model kecil dan pengguna terbatas dapat berjalan menggunakan CPU. Jika perusahaan menggunakan LLM yang lebih besar dan membutuhkan respons cepat untuk banyak pengguna, GPU lebih direkomendasikan.
Sistem yang hanya memeriksa beberapa foto mungkin masih dapat menggunakan CPU. Namun, inspeksi real-time dari banyak kamera lebih cocok menggunakan GPU karena gambar harus dianalisis secara terus-menerus.
Model forecasting sederhana dapat berjalan menggunakan CPU. Tidak perlu menambahkan GPU hanya karena sistem tersebut menggunakan AI.
GPU biasanya menjadi pilihan utama karena workload mempunyai banyak operasi paralel. Dengan demikian, pemilihan hardware harus dimulai dari aplikasi, bukan dari asumsi bahwa seluruh AI membutuhkan GPU.
Untuk perusahaan yang sedang membangun lingkungan AI secara lebih serius, perencanaan tersebut dapat menjadi bagian dari infrastruktur server perusahaan secara keseluruhan, bukan hanya keputusan membeli GPU.
Mulailah dari use case. Jangan langsung menentukan merek atau seri hardware sebelum mengetahui aplikasi yang akan dijalankan. Beberapa pertanyaan yang perlu dijawab antara lain:
Setelah itu, baru tentukan CPU, GPU, RAM, storage dan networking. Untuk kebutuhan server multi-GPU, CPU juga harus mempunyai jumlah PCIe lane yang memadai agar setiap GPU dapat memperoleh bandwidth yang dibutuhkan.
Pertimbangkan pula chassis, airflow dan kapasitas power supply. GPU server dapat menghasilkan panas dan konsumsi daya yang jauh lebih tinggi dibandingkan server aplikasi biasa. Kondisi rack dan ruang server juga perlu diperiksa sebelum implementasi.
Jawabannya tergantung workload. CPU lebih tepat untuk aplikasi general purpose, preprocessing, database, sistem operasi, machine learning sederhana dan workload AI yang relatif ringan. GPU lebih tepat untuk workload paralel seperti deep learning, LLM, computer vision dan generative AI.
Namun dalam implementasi AI perusahaan, keduanya umumnya bukan saling menggantikan. CPU menjalankan sistem serta menyiapkan data, sementara GPU mengakselerasi bagian komputasi yang dapat diproses secara paralel. Karena itu, konfigurasi ideal biasanya merupakan kombinasi CPU dan GPU yang seimbang.
Membeli GPU paling tinggi tanpa memperhitungkan CPU, RAM, storage, power dan cooling justru dapat membuat investasi kurang optimal. Sebelum melakukan pengadaan, lakukan proof of concept menggunakan model dan dataset yang benar-benar akan digunakan. Catat penggunaan CPU, GPU, RAM, VRAM, storage throughput, latency dan jumlah pengguna yang dapat dilayani.
Data tersebut dapat menjadi dasar menentukan konfigurasi produksi. Jika perusahaan membutuhkan bantuan dalam menyiapkan hardware hingga environment AI, tersedia juga jasa instalasi server AI untuk membantu proses perencanaan, konfigurasi, pengujian hingga implementasi.
Untuk konsultasi kebutuhan CPU, GPU dan infrastruktur AI sesuai workload perusahaan, hubungi Pusat Server Indonesia. Pemilihan spesifikasi dapat disesuaikan dengan model AI, jumlah pengguna, target performa serta kemungkinan pengembangan kapasitas ke depan.
Bisa. CPU dan GPU tidak harus berasal dari produsen yang sama. Server berbasis AMD EPYC, misalnya, dapat menggunakan GPU NVIDIA selama motherboard, BIOS, PCIe, power supply, chassis, driver dan sistem operasi mendukung konfigurasi tersebut.
Tidak. Scaling multi-GPU tidak selalu linear. Peningkatan performa dipengaruhi oleh kemampuan software membagi workload, komunikasi antargPU, bandwidth PCIe atau interconnect, ukuran model dan bottleneck pada komponen lain.
Integrated GPU dapat digunakan untuk eksperimen atau beberapa model ringan apabila software mendukungnya. Namun, untuk training berat, LLM besar atau workload produksi dengan throughput tinggi, dedicated GPU umumnya lebih sesuai karena mempunyai kemampuan komputasi dan memory bandwidth yang lebih besar.
Tidak semua eksperimen AI membutuhkan ECC, tetapi RAM ECC umum digunakan pada server enterprise karena dapat mendeteksi dan mengoreksi jenis error memori tertentu. Untuk workload produksi yang berjalan terus-menerus, reliabilitas sistem menjadi salah satu faktor yang perlu dipertimbangkan selain performa.
Bisa pada beberapa server, tetapi kompatibilitas harus diperiksa terlebih dahulu. Perhatikan slot PCIe, ukuran fisik GPU, kapasitas power supply, konektor daya, airflow, dukungan BIOS dan batas thermal chassis. Server yang awalnya tidak dirancang untuk GPU berdaya tinggi belum tentu cocok hanya dengan memasang kartu GPU tambahan.