Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
AI server adalah server yang dirancang atau dikonfigurasi untuk menjalankan workload artificial intelligence, baik untuk training, fine-tuning maupun inference. Dibandingkan server biasa, AI server umumnya mempunyai kemampuan komputasi yang jauh lebih tinggi, terutama melalui penggunaan GPU, RAM berkapasitas besar, storage cepat, serta jaringan berkecepatan tinggi.
Kami memahami bagi perusahaan, memilih AI server selain mencari server dengan spesifikasi paling tinggi, infrastrukturnya perlu disesuaikan dengan model AI, jumlah pengguna, ukuran dataset, hingga rencana pengembangan sistem dalam beberapa tahun ke depan. Berikut pembahasan lengkapnya.
AI server merupakan infrastruktur komputasi yang digunakan untuk menjalankan aplikasi dan model artificial intelligence dengan kebutuhan pemrosesan tinggi. Pada server biasa, CPU biasanya menjadi pusat pemrosesan utama. Server seperti ini sangat baik untuk menjalankan database, aplikasi perusahaan, website, virtual machine, file server, ERP, maupun berbagai aplikasi bisnis lainnya.
Workload AI mempunyai karakter yang berbeda. Model machine learning dan deep learning dapat melakukan jutaan hingga miliaran operasi matematika dalam waktu yang sangat singkat. Karena itu, banyak implementasi AI modern menggunakan GPU yang mampu memproses banyak operasi secara paralel.
Inilah alasan mengapa istilah AI server sering berkaitan erat dengan GPU server. Namun, GPU bukan satu-satunya bagian dari AI server. CPU, RAM, storage, networking, power supply hingga cooling tetap memiliki peran penting dalam menentukan performa keseluruhan sistem.
Perusahaan yang sedang membangun infrastruktur server secara lebih luas dapat melihat layanan Core Server & Infrastruktur dari Sparta Enterprise untuk memahami bagaimana AI server dapat menjadi bagian dari infrastruktur IT perusahaan.
Secara fisik, AI server mungkin terlihat tidak jauh berbeda dari rack server enterprise. Perbedaannya baru terasa ketika melihat konfigurasi hardware dan jenis workload yang dijalankan.
Server aplikasi biasa mungkin lebih membutuhkan CPU dengan jumlah core yang cukup, RAM besar, serta storage yang stabil. Sementara itu, AI server dapat membutuhkan satu atau beberapa GPU dengan kapasitas VRAM besar.
Model AI juga mempunyai pola penggunaan resource yang berbeda. Ketika sebuah model sedang melakukan training, GPU dapat bekerja dalam beban tinggi selama berjam-jam bahkan berhari-hari. Storage harus mampu mengirim dataset dengan cepat, sementara CPU menjalankan preprocessing dan mempersiapkan data sebelum diteruskan ke GPU.
Pada tahap inference, tantangannya kembali berubah. Server harus mampu memberikan hasil prediksi atau respons dengan cepat ketika banyak pengguna mengakses sistem secara bersamaan.
Artinya, tidak ada satu konfigurasi AI server yang cocok untuk semua penggunaan. Server untuk chatbot internal perusahaan dapat mempunyai konfigurasi yang berbeda dengan server untuk training computer vision, analisis video CCTV, generative AI, hingga penelitian deep learning.
Perusahaan dapat menggunakan AI server untuk berbagai kebutuhan, tergantung proses bisnis dan teknologi yang ingin dikembangkan. Beberapa fungsi yang paling umum antara lain:
Salah satu kebutuhan yang semakin banyak dipertimbangkan adalah menjalankan LLM secara lokal. Dengan pendekatan tersebut, perusahaan dapat menjalankan model tertentu pada server sendiri tanpa harus mengirim seluruh proses inference ke layanan cloud eksternal.
Untuk kebutuhan seperti ini, kapasitas GPU, VRAM, RAM dan storage perlu disesuaikan dengan ukuran model. Sparta Server Indonesia juga membahasnya lebih detail dalam artikel Server untuk Menjalankan LLM Lokal.
Secara sederhana, AI server menerima data, memprosesnya menggunakan model AI, kemudian menghasilkan output tertentu. Namun, proses yang berlangsung di belakangnya dapat melibatkan beberapa komponen sekaligus.
Sebagai contoh, perusahaan mempunyai chatbot AI yang digunakan untuk mencari informasi dari dokumen internal. Ketika seorang karyawan memasukkan pertanyaan, aplikasi akan menerima permintaan tersebut. Data kemudian diproses dan diteruskan ke model AI yang berjalan pada server.
CPU dapat menangani aplikasi, API, preprocessing dan berbagai proses sistem lainnya. GPU menjalankan sebagian besar komputasi model, sedangkan RAM dan VRAM menyimpan data yang sedang aktif digunakan selama proses inference.
Storage menyimpan model, database, container, dokumen, log dan data perusahaan. Setelah proses komputasi selesai, model menghasilkan respons yang kemudian dikirim kembali ke aplikasi pengguna. Semua proses tersebut dapat berlangsung dalam hitungan detik atau bahkan milidetik, tergantung model, hardware, optimasi software dan jumlah pengguna.
Untuk sistem berskala besar, beberapa server dapat bekerja sebagai cluster. GPU pada beberapa node dapat digunakan bersama untuk menangani training atau inference dengan beban lebih tinggi.
NVIDIA sendiri menjelaskan bahwa infrastruktur AI modern tidak hanya terdiri dari GPU, tetapi merupakan kombinasi compute, networking dan software yang dirancang secara terintegrasi untuk training maupun inference AI. Referensi mengenai pendekatan tersebut dapat dilihat pada NVIDIA AI Infrastructure.
Performa AI server tidak hanya ditentukan oleh satu komponen. Setiap bagian memiliki peran yang saling berkaitan, mulai dari pemrosesan model, penyimpanan data, hingga komunikasi antarperangkat. Karena itu, pemilihan spesifikasi sebaiknya dilakukan secara menyeluruh agar tidak terjadi bottleneck yang justru membatasi performa server. Beberapa komponen utama yang perlu diperhatikan dalam membangun AI server antara lain GPU, CPU, RAM, storage, dan networking.
GPU merupakan salah satu komponen yang paling menentukan kemampuan AI server. Pemilihan GPU perlu memperhatikan performa komputasi, kapasitas VRAM, dukungan software, konsumsi daya, serta kebutuhan model.
Model yang kecil mungkin cukup dijalankan menggunakan satu GPU. Namun, model yang lebih besar dapat membutuhkan GPU dengan VRAM lebih besar atau konfigurasi multi-GPU.
Kesalahan yang cukup sering terjadi adalah memilih GPU hanya berdasarkan angka performa tertinggi. Padahal, untuk AI tertentu, kapasitas VRAM justru dapat menjadi batas utama.
Jika model membutuhkan memori lebih besar daripada VRAM yang tersedia, model mungkin tidak dapat dijalankan dengan konfigurasi yang diinginkan.
Walaupun GPU menjadi pusat perhatian, CPU tetap mempunyai tugas penting. CPU menangani sistem operasi, preprocessing data, proses aplikasi, orchestration, database hingga komunikasi antara storage dan GPU. CPU yang terlalu rendah dibandingkan kemampuan GPU dapat menciptakan bottleneck sehingga GPU tidak memperoleh data dengan cukup cepat.
RAM menjadi tempat penyimpanan sementara untuk dataset, aplikasi dan proses sistem. Kebutuhan RAM dapat berbeda jauh antara server inference sederhana dengan server training data dalam jumlah besar. Untuk implementasi tertentu, RAM juga perlu mempunyai kapasitas lebih besar dibandingkan total VRAM agar proses loading model dan pemrosesan data berjalan lebih fleksibel.
Server AI biasanya menyimpan model berukuran besar, dataset, container image, checkpoint, database hingga hasil training. Karena itu, selain kapasitas, kecepatan storage juga penting. NVMe sering digunakan untuk workload aktif karena memiliki throughput dan latency yang lebih baik dibandingkan storage tradisional. Perusahaan juga perlu memikirkan redundancy dan backup. Model mungkin dapat diunduh ulang, tetapi dataset internal, konfigurasi, hasil fine-tuning dan database perusahaan belum tentu dapat dipulihkan dengan mudah ketika storage mengalami kerusakan.
Networking menjadi semakin penting ketika AI server terdiri dari beberapa GPU atau beberapa node. Transfer dataset dalam jumlah besar membutuhkan bandwidth tinggi. Begitu juga komunikasi antarnode ketika perusahaan menjalankan distributed training atau AI cluster. Infrastruktur jaringan yang lambat dapat membuat server dengan GPU mahal tidak bekerja maksimal.
Sebelum membeli AI server, perusahaan perlu mengetahui terlebih dahulu proses apa yang akan dijalankan. Training adalah proses melatih model menggunakan dataset. Proses ini biasanya membutuhkan kemampuan komputasi besar karena model melakukan banyak perhitungan secara berulang.
Fine-tuning merupakan proses menyesuaikan model yang sudah tersedia dengan dataset atau kebutuhan tertentu. Kebutuhannya umumnya lebih kecil dibandingkan melatih model besar dari awal, tetapi tetap dapat membutuhkan GPU dengan kapasitas memadai.
Sementara itu, inference adalah proses menggunakan model yang sudah tersedia untuk menghasilkan prediksi atau respons. Chatbot perusahaan yang menerima pertanyaan pengguna merupakan salah satu contoh workload inference. Jumlah pengguna juga memengaruhi kebutuhan server. Model yang mampu berjalan dengan baik untuk satu pengguna belum tentu memberikan respons yang sama cepat ketika digunakan 100 pengguna secara bersamaan. Perencanaan AI server perlu mempertimbangkan concurrency, latency dan throughput, bukan hanya apakah model dapat dijalankan atau tidak.
Tidak semua perusahaan yang menggunakan AI harus langsung membeli AI server sendiri. Pada tahap eksperimen, layanan cloud atau workstation dapat menjadi pilihan yang lebih sederhana. Tim dapat melakukan proof of concept terlebih dahulu sebelum melakukan investasi infrastruktur.
AI server mulai lebih relevan ketika penggunaan AI sudah mempunyai workload yang jelas dan terus digunakan. Misalnya perusahaan menjalankan chatbot AI internal setiap hari, memproses video dari banyak kamera, menjalankan inference dengan volume tinggi, melakukan penelitian AI secara rutin, atau mempunyai aturan tertentu mengenai lokasi penyimpanan data.
Kebutuhan AI server juga dapat muncul ketika biaya penggunaan GPU cloud mulai cukup besar karena workload berjalan terus-menerus. Dalam kondisi tersebut, perusahaan dapat melakukan analisis antara biaya on-premise dan cloud berdasarkan periode penggunaan, kapasitas, listrik, cooling, maintenance serta kebutuhan scale.
Salah satu contoh yang relatif mudah ditemui adalah chatbot internal berbasis dokumen perusahaan. Karyawan dapat bertanya mengenai SOP, dokumentasi produk atau informasi internal melalui aplikasi AI. Model dapat digabungkan dengan RAG agar jawaban menggunakan sumber data perusahaan.
Pada industri manufaktur, AI server dapat digunakan untuk computer vision. Kamera pada jalur produksi mengambil gambar produk, kemudian model mendeteksi apakah terdapat cacat atau ketidaksesuaian. Pada sektor retail, AI dapat digunakan untuk forecasting, analisis perilaku pelanggan maupun recommendation system.
Perusahaan dengan kebutuhan keamanan juga dapat menggunakan AI untuk video analytics, deteksi objek atau analisis kamera dalam skala besar. Sementara itu, universitas dan lembaga penelitian dapat memanfaatkan GPU server sebagai infrastruktur komputasi untuk eksperimen machine learning, deep learning maupun pengembangan model.
Kesalahan terbesar dalam memilih AI server adalah menentukan spesifikasi sebelum mengetahui workload. Mulailah dari model atau aplikasi yang ingin digunakan. Identifikasi apakah sistem akan digunakan untuk training, fine-tuning atau inference. Setelah itu, perkirakan ukuran model, dataset, jumlah pengguna, target response time serta proyeksi pertumbuhan. GPU kemudian dapat ditentukan berdasarkan kebutuhan komputasi dan VRAM.
CPU, RAM dan storage mengikuti kebutuhan pipeline secara keseluruhan. Untuk penggunaan multi-GPU, perhatikan juga jumlah PCIe lane, kapasitas power supply, chassis, airflow dan dukungan motherboard terhadap konfigurasi GPU yang digunakan.
AI server dengan beberapa GPU kelas data center dapat menghasilkan panas dan konsumsi listrik yang cukup besar. Karena itu, jangan menganggap bahwa server dapat langsung ditempatkan pada rack lama tanpa mengevaluasi kelistrikan dan cooling.
Keduanya mempunyai kelebihan. Cloud memudahkan perusahaan memulai tanpa investasi hardware besar. Resource juga dapat ditambah atau dikurangi sesuai kebutuhan. Namun, biaya dapat meningkat apabila workload GPU berjalan terus menerus.
AI server on-premise memberikan kontrol lebih besar terhadap hardware dan data. Infrastruktur ini juga dapat lebih mudah diintegrasikan dengan sistem internal yang memang sudah berada di data center perusahaan. Tetapi perusahaan harus menyiapkan rack, power, cooling, networking, monitoring dan maintenance.
Ada juga pendekatan hybrid. Workload tertentu dijalankan pada server lokal, sementara kebutuhan komputasi yang sifatnya sesekali dapat menggunakan cloud. Pilihan terbaik harus dihitung berdasarkan penggunaan nyata, bukan mengikuti tren.
Pengadaan AI server sebaiknya dimulai dengan assessment. Tim perlu mengetahui workload yang akan dijalankan, framework AI, model, ukuran dataset, jumlah pengguna, kebutuhan storage dan kondisi data center yang tersedia.
Periksa juga dukungan software. GPU tertentu membutuhkan driver, CUDA, framework dan versi library yang kompatibel. Hardware dengan spesifikasi tinggi sekalipun dapat menimbulkan masalah apabila software stack tidak direncanakan dengan benar.
Selain itu, pikirkan kebutuhan beberapa tahun ke depan. Server dengan konfigurasi satu GPU mungkin cukup untuk tahap awal, tetapi apakah chassis masih menyediakan ruang ketika perusahaan ingin menambahkan GPU kedua atau ketiga?
Apakah power supply masih mencukupi? Apakah rack dan pendinginan mampu menangani peningkatan heat load? Perencanaan seperti ini membuat investasi lebih efisien dibandingkan mengganti seluruh server ketika kebutuhan AI mulai berkembang. Untuk implementasi hingga konfigurasi software dan environment, perusahaan juga dapat menggunakan Jasa Instalasi Server AI Sparta Server Indonesia.
AI server bukan sekadar server dengan GPU paling mahal. Infrastruktur yang tepat harus menyeimbangkan GPU, CPU, RAM, storage, networking, power dan cooling berdasarkan workload yang benar-benar akan digunakan.
Perusahaan juga perlu mengetahui apakah server ditujukan untuk training, fine-tuning, inference, computer vision, LLM maupun penggunaan lainnya. Pendekatan yang paling aman adalah melakukan proof of concept dan capacity planning sebelum menentukan konfigurasi produksi.
Sparta Server Indonesia menyediakan solusi server dan infrastruktur untuk kebutuhan perusahaan, termasuk AI server, GPU server, storage serta infrastruktur pendukung lainnya. Untuk kebutuhan konsultasi, pengadaan maupun perencanaan AI server perusahaan, Anda dapat menghubungi Sparta Server Indonesia agar konfigurasi hardware dapat disesuaikan dengan workload dan rencana pengembangan AI perusahaan.
Bisa. Resource AI server dapat digunakan oleh beberapa tim atau aplikasi selama kapasitas dan pengelolaannya dirancang dengan benar. Pada lingkungan yang lebih kompleks, perusahaan dapat menggunakan container, orchestration, virtualisasi GPU atau sistem workload management agar resource dapat dibagi dengan lebih terkontrol.
Bisa jika server sejak awal mendukung ekspansi. Hal yang perlu diperiksa antara lain jumlah slot PCIe, PCIe lane, kapasitas chassis, power supply, airflow dan kompatibilitas GPU. Karena itu, rencana ekspansi sebaiknya dipertimbangkan sejak proses pengadaan.
Tidak. AI server dapat dioperasikan sepenuhnya pada jaringan internal apabila model, software dan data yang dibutuhkan sudah tersedia. Koneksi internet biasanya diperlukan ketika mengunduh model, container, update atau dependency tertentu. Untuk lingkungan dengan keamanan tinggi, proses tersebut dapat diatur melalui repository atau mekanisme update internal.
Bisa, tetapi kemampuan menjalankan beberapa model secara bersamaan sangat bergantung pada kapasitas VRAM, RAM dan pola penggunaan masing-masing model. Jika seluruh model membutuhkan resource besar, perusahaan dapat menggunakan pembagian GPU atau menambah GPU dan node server.
Tidak ada angka yang berlaku untuk semua sistem. Server enterprise dapat digunakan selama beberapa tahun, tetapi kebutuhan AI berkembang cukup cepat. Karena itu, umur ekonomis AI server lebih dipengaruhi oleh kemampuan server memenuhi workload baru dibandingkan sekadar usia hardware. Memilih chassis, power supply, networking dan konfigurasi yang masih dapat dikembangkan membantu memperpanjang masa penggunaan infrastruktur.
Crafted by Resolusiweb, a trusted Digital Marketing Agency Professional helping businesses strengthen their digital presence.