Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Ketika perusahaan mulai membangun sistem artificial intelligence, istilah training dan inference AI akan sering muncul. Keduanya merupakan bagian penting dalam siklus penggunaan model AI, tetapi mempunyai proses dan kebutuhan komputasi yang berbeda.
Training adalah proses ketika model belajar dari data. Pada tahap ini, sistem melakukan perhitungan berulang untuk menemukan pola dan memperbarui parameter model agar hasilnya semakin akurat. Sementara itu, inference terjadi ketika model yang sudah dilatih digunakan untuk memproses data baru dan menghasilkan output. Contohnya ketika chatbot menjawab pertanyaan, sistem computer vision mengenali objek, atau model AI melakukan prediksi berdasarkan data yang diberikan pengguna.
Perbedaan proses tersebut membuat kebutuhan server untuk training dan inference tidak selalu sama. Training biasanya membutuhkan kemampuan komputasi GPU yang tinggi, kapasitas VRAM besar, storage cepat, dan terkadang beberapa GPU sekaligus. Inference lebih banyak mempertimbangkan response time, throughput, jumlah pengguna bersamaan, serta efisiensi penggunaan resource. Memahami training vs inference AI menjadi penting sebelum perusahaan menentukan spesifikasi AI server.
Training AI adalah proses melatih sebuah model menggunakan data agar model dapat mengenali pola dan melakukan tugas tertentu. Misalnya perusahaan ingin membuat model computer vision untuk mendeteksi produk cacat.
Tim AI menyiapkan ribuan atau bahkan jutaan gambar yang berisi produk normal maupun produk yang memiliki cacat. Data tersebut kemudian digunakan untuk melatih neural network. Pada tahap awal, model belum memahami karakteristik gambar tersebut. Model membuat prediksi berdasarkan parameter awal yang dimilikinya. Hasil prediksi kemudian dibandingkan dengan jawaban yang benar.
Jika prediksi salah, algoritma menghitung error lalu memperbarui parameter atau weight model. Proses tersebut dilakukan berulang kali. Semakin banyak data dan semakin kompleks model yang digunakan, semakin besar pula komputasi yang dibutuhkan. Training AI dapat digunakan untuk berbagai kebutuhan seperti:
Namun, perusahaan tidak selalu harus melakukan training model dari awal. Saat ini banyak implementasi AI menggunakan model yang sudah tersedia kemudian melakukan fine-tuning atau langsung menjalankan inference.
Inference AI adalah proses menggunakan model yang sudah dilatih untuk menghasilkan prediksi, klasifikasi, rekomendasi, atau respons berdasarkan data baru. Jika training dapat dianalogikan sebagai proses belajar, inference merupakan proses menggunakan pengetahuan yang sudah diperoleh.
Contoh paling mudah adalah chatbot berbasis AI. Model sudah melalui proses training sebelumnya. Ketika pengguna memasukkan pertanyaan, model tidak dilatih kembali dari awal. Server membaca input pengguna, memprosesnya melalui model, lalu menghasilkan jawaban.
Hal yang sama terjadi pada computer vision. Kamera mengambil gambar baru, model AI memproses gambar tersebut dan memberikan hasil seperti “Produk normal” atau “Terdeteksi cacat.” Menurut NVIDIA dalam penjelasan mengenai AI inference, inference merupakan proses ketika model AI yang telah dilatih menghasilkan output baru melalui prediksi atau klasifikasi terhadap data baru.
Pada tahap produksi, inference biasanya terjadi jauh lebih sering dibandingkan training. Sebuah model mungkin hanya dilatih atau diperbarui beberapa kali, tetapi digunakan untuk inference ribuan hingga jutaan kali.
Training dan inference menggunakan model AI, tetapi mempunyai tujuan berbeda.
| Aspek | Training AI | Inference AI |
|---|---|---|
| Tujuan | Membuat model belajar | Menggunakan model |
| Data | Dataset training | Data baru dari pengguna atau sistem |
| Perubahan weight | Ya | Umumnya tidak |
| Komputasi | Sangat tinggi | Bergantung model dan traffic |
| GPU | Biasanya sangat penting | Tergantung kebutuhan performa |
| VRAM | Umumnya besar | Bergantung ukuran model |
| Prioritas | Kecepatan training | Latency dan throughput |
| Frekuensi | Periodik | Dapat berlangsung terus-menerus |
| Multi-GPU | Umum pada training besar | Digunakan jika model atau traffic membutuhkan |
| Contoh | Melatih object detection | Mendeteksi objek dari kamera |
Perbedaan tersebut penting ketika perusahaan merancang server. Server yang optimal untuk training belum tentu menjadi konfigurasi paling efisien untuk inference.
Training neural network biasanya melibatkan beberapa proses yang dilakukan secara berulang. Pertama, dataset dibaca dari storage. CPU dapat melakukan preprocessing seperti decoding, resizing, tokenization, augmentation, atau normalisasi data. Data kemudian dikirim ke GPU dalam bentuk batch.
Model melakukan forward pass untuk menghasilkan prediksi. Hasil tersebut dibandingkan dengan ground truth atau target yang benar untuk menghitung nilai error atau loss. Setelah itu berlangsung backward propagation.
Pada tahap ini, sistem menghitung bagaimana setiap parameter model memengaruhi error. Weight kemudian diperbarui agar prediksi pada iterasi berikutnya menjadi lebih baik. Proses tersebut dilakukan berulang kali terhadap dataset.
Satu putaran pemrosesan seluruh dataset biasa disebut epoch. Model modern dapat membutuhkan banyak epoch sebelum mencapai performa yang diinginkan. Inilah alasan training membutuhkan komputasi tinggi. GPU harus melakukan operasi matematika dalam jumlah sangat besar secara terus-menerus.
Sebagian besar deep learning modern menggunakan banyak operasi matrix multiplication. GPU dirancang untuk menjalankan operasi paralel seperti ini secara efisien. Semakin kompleks model, semakin banyak parameter yang perlu dihitung.
Selain parameter model, training juga membutuhkan memory untuk menyimpan activation, gradient, optimizer state, serta batch data. Kebutuhan VRAM pada training sering kali lebih besar dibandingkan sekadar menjalankan model untuk inference.
Sebagai contoh, sebuah model mungkin dapat digunakan untuk inference pada satu GPU tertentu setelah dilakukan quantization. Namun GPU yang sama belum tentu mampu melakukan full training model tersebut karena kebutuhan memory selama training jauh lebih besar.
Untuk workload besar, perusahaan dapat menggunakan multi-GPU. Beberapa GPU bekerja bersama membagi model atau dataset agar training dapat diselesaikan lebih cepat. Dalam kondisi tersebut, AI server harus dirancang untuk mendukung komunikasi antar-GPU serta menyediakan bandwidth yang memadai.
Inference relatif lebih sederhana karena model tidak perlu memperbarui weight. Data baru masuk ke sistem. CPU melakukan preprocessing jika diperlukan. Input kemudian dimasukkan ke model. GPU atau CPU menjalankan forward pass menggunakan parameter yang sudah dipelajari. Model menghasilkan output.
Untuk chatbot berbasis LLM, prosesnya dapat dimulai dari tokenization prompt pengguna, pemrosesan input, hingga model menghasilkan token jawaban satu per satu. Dalam aplikasi produksi, proses ini harus berlangsung dengan cepat.
Pengguna tentu tidak ingin menunggu terlalu lama hanya untuk memperoleh respons chatbot atau hasil analisis AI. Karena itu, server inference biasanya lebih banyak dioptimalkan untuk latency dan throughput.
Dua metrik penting dalam inference adalah latency dan throughput. Latency menunjukkan berapa lama waktu yang dibutuhkan sistem untuk memberikan hasil dari satu request. Sedangkan throughput menunjukkan berapa banyak request atau data yang dapat diproses dalam periode tertentu.
Misalnya sebuah chatbot mempunyai response time yang sangat cepat ketika digunakan satu orang. Namun ketika digunakan 100 karyawan bersamaan, server mulai lambat. Berarti sistem memiliki latency yang baik pada beban rendah tetapi kapasitas throughput atau concurrency-nya belum cukup untuk kebutuhan produksi.
Benchmark inference sebaiknya tidak hanya dilakukan dengan satu pengguna. Pengujian perlu mensimulasikan jumlah pengguna yang mendekati kondisi sebenarnya.
Perbedaan keduanya semakin terlihat pada LLM. Training foundation model dari awal membutuhkan infrastruktur komputasi yang sangat besar karena jumlah parameter dan dataset yang digunakan dapat sangat banyak. Tidak semua perusahaan membutuhkan pendekatan tersebut. Untuk kebutuhan internal, perusahaan dapat menggunakan model yang sudah tersedia lalu melakukan fine-tuning atau langsung menjalankan inference.
Misalnya perusahaan ingin membuat chatbot untuk membaca SOP, katalog produk, dokumentasi, atau knowledge base internal. Model dapat dijalankan secara lokal kemudian dikombinasikan dengan sistem RAG. Server lebih banyak digunakan untuk inference setiap kali karyawan mengirim pertanyaan. Dalam kondisi tersebut, ukuran model, quantization, context length, jumlah pengguna serta target kecepatan respons menjadi faktor utama menentukan hardware. Pembahasan terkait kapasitas GPU, RAM, dan storage dapat dilihat lebih lanjut pada Server untuk Menjalankan LLM Lokal.
Tidak selalu. Inference dapat dijalankan menggunakan CPU apabila model relatif kecil dan kebutuhan response time tidak terlalu tinggi. Beberapa model machine learning klasik bahkan dapat berjalan dengan sangat baik menggunakan CPU. Namun, GPU mulai dibutuhkan ketika:
Karena itu, jangan menentukan kebutuhan GPU hanya berdasarkan istilah “AI”. Lihat model dan workload sebenarnya.
Server training biasanya berorientasi pada kemampuan komputasi.
GPU menjadi komponen utama dalam deep learning training. Perhatikan bukan hanya performa GPU, tetapi juga kapasitas VRAM. Training model besar dapat membutuhkan satu atau beberapa GPU dengan VRAM tinggi.
CPU membantu menyiapkan data sebelum dikirim ke GPU. Jika preprocessing cukup berat tetapi CPU terlalu lemah, GPU dapat menunggu data sehingga utilization tidak maksimal.
Dataset dan pipeline training dapat membutuhkan RAM besar. Kapasitas yang kurang dapat memperlambat proses atau membuat sistem bergantung pada storage.
Training sering membaca data dalam jumlah besar secara terus-menerus. NVMe atau storage berperforma tinggi dapat membantu mengurangi bottleneck I/O. Dataset, checkpoint model, log training, container dan hasil eksperimen juga membutuhkan kapasitas penyimpanan yang cukup.
Networking semakin penting pada distributed training. Jika training dilakukan pada beberapa server, data dan hasil komputasi harus berpindah antarnode dengan cepat. Jaringan yang terlalu lambat dapat mengurangi manfaat penambahan GPU.
Server inference mempunyai fokus sedikit berbeda. GPU tetap penting untuk workload tertentu, tetapi sistem harus mempertimbangkan jumlah request yang akan dilayani.
Model harus dapat dimuat ke memory GPU. Jika perusahaan menjalankan beberapa model sekaligus, kebutuhan VRAM ikut bertambah.
Untuk aplikasi interaktif seperti chatbot, pengguna mengharapkan respons yang cepat. Karena itu, benchmark harus mengukur latency nyata.
Berapa banyak orang menggunakan sistem bersamaan? Server untuk 10 pengguna dapat mempunyai kebutuhan berbeda dengan sistem yang digunakan 1.000 pengguna.
Inference sering menjadi bagian langsung dari aplikasi produksi. Jika server berhenti, layanan AI juga dapat berhenti. Monitoring, redundancy dan mekanisme recovery dapat menjadi lebih penting dibandingkan server eksperimen.
Tidak selalu. Pada tahap awal, perusahaan dapat menggunakan satu AI server untuk training kecil sekaligus inference. Pendekatan ini dapat menghemat investasi. Namun ketika penggunaan meningkat, pemisahan workload sering mulai dipertimbangkan.
Training dapat menggunakan GPU secara intensif selama berjam-jam. Jika server yang sama sedang melayani chatbot produksi, aktivitas training dapat mengurangi resource yang tersedia untuk pengguna. Akibatnya response time meningkat.
Dalam lingkungan yang lebih besar, perusahaan dapat mempunyai cluster training khusus serta server inference terpisah. Dengan begitu, eksperimen tim AI tidak mengganggu layanan produksi.
Selain training dan inference, terdapat proses fine-tuning. Fine-tuning berada di antara keduanya. Perusahaan mengambil model yang sudah dilatih sebelumnya kemudian menyesuaikannya menggunakan dataset tertentu. Kebutuhan komputasinya biasanya lebih rendah daripada melatih foundation model dari awal. Teknik seperti LoRA atau parameter-efficient fine-tuning juga dapat mengurangi jumlah parameter yang harus diperbarui. Namun, fine-tuning tetap termasuk proses training karena ada parameter model yang disesuaikan. Setelah proses fine-tuning selesai, model digunakan pada tahap inference.
Perusahaan memiliki dataset gambar produk normal dan cacat. Pada tahap training, model belajar mengenali perbedaannya. Setelah model selesai dilatih, sistem dipasang pada jalur produksi. Setiap gambar baru dari kamera diproses menggunakan inference untuk menentukan apakah produk normal atau cacat.
Model LLM tidak harus dilatih dari nol. Perusahaan dapat menggunakan model yang sudah ada kemudian menghubungkannya ke dokumen internal melalui RAG. Setiap pertanyaan karyawan kemudian diproses sebagai workload inference.
Data historis digunakan untuk melatih model prediksi. Setelah selesai, model menjalankan inference terhadap data terbaru untuk menghasilkan estimasi penjualan berikutnya. Dari contoh tersebut terlihat bahwa training dan inference merupakan dua tahap berbeda tetapi saling terhubung.
Mulailah dengan mengetahui workload yang akan dijalankan.Jangan langsung menentukan GPU hanya berdasarkan rekomendasi spesifikasi generik. Jawab beberapa pertanyaan berikut:
Setelah itu, konfigurasi CPU, GPU, RAM, storage dan networking baru dapat ditentukan. Perusahaan yang sedang merancang infrastruktur lebih luas juga dapat melihat Core Server & Infrastruktur dari PT Pusat Server Indonesia untuk menyesuaikan AI server dengan sistem IT perusahaan.
AI server dengan GPU berperforma tinggi dapat memiliki konsumsi daya dan menghasilkan panas yang besar. Hal ini penting terutama pada server training karena GPU dapat bekerja mendekati utilisasi maksimal selama berjam-jam. Sebelum pemasangan, periksa:
Jangan sampai perusahaan membeli GPU server dengan spesifikasi tinggi tetapi data center tidak mampu menyediakan daya dan pendinginan yang dibutuhkan.
Spesifikasi terbaik adalah spesifikasi yang dibuktikan melalui pengujian workload. Lakukan proof of concept menggunakan model dan dataset yang mendekati kondisi produksi. Untuk training, ukur:
Untuk inference, ukur:
Data tersebut dapat menjadi dasar capacity planning. Dengan begitu, perusahaan dapat menghindari dua kondisi yang sama-sama tidak ideal: membeli server berlebihan atau membeli server yang terlalu kecil.
Training dan inference merupakan dua tahap utama dalam penggunaan artificial intelligence. Training berfokus pada proses membuat model belajar dari data sehingga membutuhkan komputasi tinggi, memory besar, storage cepat dan pada skala tertentu beberapa GPU sekaligus.
Inference berfokus pada penggunaan model yang sudah dilatih. Kebutuhannya lebih banyak dipengaruhi oleh ukuran model, jumlah pengguna, latency, throughput dan availability. Perusahaan tidak sebaiknya membeli AI server hanya berdasarkan ukuran GPU atau jumlah GPU.
Spesifikasi harus ditentukan berdasarkan aktivitas yang akan dilakukan. Server training, inference LLM, computer vision real-time maupun chatbot internal dapat mempunyai kebutuhan yang sangat berbeda. Jika membutuhkan bantuan dari perencanaan hardware sampai setup software environment, perusahaan dapat menggunakan Jasa Instalasi Server AI Sparta Server Indonesia.
Untuk konsultasi konfigurasi CPU, GPU, RAM, storage maupun infrastruktur AI sesuai workload perusahaan, hubungi PT Pusat Server Indonesia agar server dapat dirancang berdasarkan kebutuhan training maupun inference yang sebenarnya.
Tidak selalu. Model dapat tetap digunakan untuk inference tanpa langsung melakukan training ulang setiap ada data baru. Retraining biasanya dilakukan secara berkala ketika terdapat data tambahan yang cukup signifikan, perubahan pola data atau penurunan performa model.
Bisa. Setelah training selesai, model dapat diekspor dan dipindahkan ke server lain selama software, framework dan hardware target kompatibel. Pendekatan ini umum digunakan ketika perusahaan memisahkan environment development, training dan production.
Tidak. Model dapat dilatih menggunakan satu jenis GPU kemudian dijalankan untuk inference pada GPU berbeda selama format model dan software mendukungnya. Server inference dapat menggunakan GPU yang lebih hemat jika performanya masih memenuhi target aplikasi.
Model mungkin gagal dimuat atau sistem harus menggunakan teknik seperti quantization, model parallelism maupun offloading sebagian data ke RAM. Namun, offloading dapat memengaruhi performa sehingga perlu diuji sebelum digunakan pada sistem produksi.
Bisa apabila kapasitas dan workload memungkinkan. Strategi seperti ini dapat meningkatkan pemanfaatan hardware untuk perusahaan yang belum membutuhkan server terpisah. Namun, pastikan training selesai atau resource dibatasi sebelum workload inference produksi meningkat agar layanan pengguna tidak terganggu.