Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Infrastruktur AI untuk perusahaan menjadi fondasi penting ketika bisnis mulai menggunakan artificial intelligence untuk kebutuhan yang lebih serius, seperti chatbot internal, analisis data, computer vision, generative AI, hingga pengembangan Large Language Model (LLM). Pada tahap eksperimen, satu workstation atau layanan cloud mungkin sudah cukup untuk menguji sebuah model. Namun, ketika AI mulai digunakan secara rutin oleh banyak pengguna, perusahaan membutuhkan sistem yang mampu memberikan performa, keamanan, dan ketersediaan layanan secara konsisten.
Membangun infrastruktur AI tidak cukup hanya dengan membeli GPU server berperforma tinggi. Model AI juga membutuhkan CPU, RAM, storage, networking, software environment, serta dukungan listrik dan pendinginan yang sesuai. Jika salah satu komponen menjadi bottleneck, investasi GPU yang besar belum tentu menghasilkan performa yang diharapkan.
Karena itu, perusahaan perlu memahami bagaimana seluruh komponen tersebut bekerja sebagai satu kesatuan. Artikel ini membahas arsitektur infrastruktur AI, peran GPU server hingga storage dan networking, serta cara merencanakan kapasitas berdasarkan workload agar investasi hardware lebih efisien dan dapat dikembangkan dalam jangka panjang.
Infrastruktur AI adalah kombinasi hardware, software, jaringan, dan sistem pendukung yang digunakan untuk mengembangkan, menjalankan, serta mengelola workload artificial intelligence. Infrastruktur tersebut dapat berada pada data center perusahaan, fasilitas colocation, cloud, maupun kombinasi beberapa lingkungan. Tujuannya adalah menyediakan resource komputasi dan data yang sesuai agar aplikasi AI dapat berjalan dengan performa serta tingkat keamanan yang dibutuhkan.
Pada implementasi sederhana, seluruh komponen mungkin berada dalam satu server. Namun, pada lingkungan enterprise, perusahaan dapat memisahkan GPU compute, application server, database, storage, dan sistem monitoring ke beberapa perangkat atau node. Pemisahan tersebut dilakukan untuk menyesuaikan kapasitas, mempermudah pengelolaan, serta mengurangi risiko satu workload mengganggu layanan lainnya.
NVIDIA melalui AI Enterprise Software Reference Architecture menjelaskan bahwa infrastruktur AI produksi perlu dirancang melalui kombinasi compute, networking, dan software yang saling terintegrasi. Pendekatan ini mendukung berbagai workload seperti inference, fine-tuning, dan Retrieval-Augmented Generation (RAG), dengan konfigurasi yang dapat disesuaikan berdasarkan kebutuhan implementasi.
GPU memang menjadi salah satu komponen utama untuk menjalankan workload AI yang membutuhkan komputasi paralel. Namun, GPU tidak bekerja sendirian karena data harus dibaca, dipersiapkan, dipindahkan, dan dikelola oleh komponen lain sebelum maupun sesudah proses komputasi. Jika aliran data tersebut tidak berjalan dengan baik, GPU dapat mengalami waktu tunggu meskipun kapasitas komputasinya masih tersedia.
Sebagai contoh, perusahaan menggunakan GPU berperforma tinggi untuk training computer vision. Apabila storage terlalu lambat membaca dataset atau CPU tidak mampu menyelesaikan preprocessing dengan cukup cepat, GPU tidak akan memperoleh data secara konsisten. Akibatnya, waktu training tetap panjang meskipun perusahaan sudah menggunakan GPU dengan spesifikasi tinggi.
Hal yang sama dapat terjadi pada aplikasi LLM berbasis RAG. GPU mungkin mampu menghasilkan token dengan cepat, tetapi pengguna tetap merasakan respons lambat apabila vector database, jaringan, atau aplikasi backend menjadi bottleneck. Karena itu, performa AI perlu diukur secara end-to-end, bukan hanya berdasarkan benchmark GPU.
Secara umum, infrastruktur AI dapat dibagi menjadi beberapa lapisan yang mempunyai fungsi berbeda. Lapisan aplikasi menerima permintaan pengguna, lapisan data menyediakan informasi yang dibutuhkan, sedangkan compute menjalankan model dan proses komputasi. Seluruh lapisan tersebut dihubungkan oleh jaringan serta didukung sistem keamanan, monitoring, dan pengelolaan operasional.
Sebagai contoh, perusahaan ingin membangun AI assistant berbasis dokumen internal. Pengguna mengirim pertanyaan melalui aplikasi, backend melakukan autentikasi, kemudian sistem RAG mencari dokumen yang relevan dari database. Setelah konteks ditemukan, LLM yang berjalan pada GPU server menghasilkan jawaban dan mengirimkannya kembali kepada pengguna.
Arsitektur tersebut dapat berjalan pada satu server untuk tahap awal, tetapi juga dapat dipisahkan menjadi beberapa node ketika kebutuhan meningkat. Application server, vector database, dan GPU inference dapat ditempatkan pada perangkat berbeda agar resource lebih mudah dikelola. Perusahaan perlu menentukan pemisahan tersebut berdasarkan kebutuhan performa, keamanan, dan availability, bukan hanya karena ingin menggunakan arsitektur yang lebih kompleks.
GPU server merupakan komponen yang menyediakan kemampuan akselerasi untuk workload seperti deep learning, LLM, computer vision, dan generative AI. Server ini menggunakan satu atau beberapa GPU yang bekerja bersama CPU, RAM, storage, serta komponen pendukung lainnya. Pemilihan konfigurasi harus disesuaikan dengan jenis model, kebutuhan training atau inference, dan target performa perusahaan.
Untuk training, perusahaan biasanya perlu memperhatikan kemampuan komputasi, kapasitas VRAM, memory bandwidth, serta kemungkinan penggunaan multi-GPU. Sementara pada inference, faktor seperti latency, throughput, jumlah pengguna bersamaan, dan efisiensi penggunaan resource menjadi lebih penting. Satu GPU dengan VRAM memadai dapat cukup untuk model tertentu, sedangkan model besar atau workload berskala tinggi mungkin membutuhkan beberapa GPU.
Sparta Server Indonesia menyediakan solusi GPU Server Indonesia dengan pilihan NVIDIA H100, H200, B200, L40S, dan RTX PRO, serta konfigurasi yang dapat disesuaikan dengan kebutuhan perusahaan. Pilihan platform juga mencakup processor Intel Xeon atau AMD EPYC, RAM enterprise, NVMe, dan dukungan networking berkecepatan tinggi.
CPU mempunyai peran penting dalam menjalankan sistem operasi, aplikasi, preprocessing data, tokenization, database, serta berbagai proses pendukung AI. Pada workload training, CPU dapat menyiapkan batch data sebelum dikirim ke GPU, sedangkan pada aplikasi produksi CPU menangani request, API, dan komunikasi antarkomponen. Karena itu, CPU yang terlalu rendah dapat menyebabkan GPU tidak bekerja maksimal.
RAM digunakan untuk menyimpan data sementara, menjalankan aplikasi, mendukung database, serta membantu proses loading model dan pengolahan dataset. Kebutuhannya bergantung pada ukuran data, jumlah service, serta arsitektur deployment yang digunakan. Server yang hanya menjalankan inference sederhana tentu mempunyai kebutuhan RAM berbeda dengan sistem yang sekaligus menangani RAG, database, dan preprocessing dokumen dalam jumlah besar.
Perusahaan sebaiknya tidak menentukan RAM hanya berdasarkan rasio tertentu terhadap VRAM. Kapasitas yang tepat perlu dihitung dari penggunaan aktual, termasuk kebutuhan peak memory dan kemungkinan pertumbuhan workload. Dengan demikian, CPU dan RAM dapat mendukung kemampuan GPU tanpa menjadi bottleneck.
Storage merupakan bagian penting karena sebagian besar aplikasi AI bergantung pada data. Server perlu menyimpan dataset, file model, checkpoint training, container image, database, log, serta berbagai file pendukung lainnya. Semakin besar skala penggunaan AI, semakin penting pula perencanaan kapasitas, performa, dan perlindungan data.
NVMe sering digunakan untuk workload aktif karena dapat menyediakan throughput tinggi dan latency rendah. Storage cepat dapat membantu proses loading model, pembacaan dataset, serta penyimpanan checkpoint yang dilakukan selama training. Namun, NVMe tidak otomatis meningkatkan performa seluruh aplikasi apabila bottleneck utama berada pada GPU, CPU, atau software.
Untuk kebutuhan penyimpanan terpusat, perusahaan dapat mempertimbangkan Storage Server Enterprise yang dirancang untuk kapasitas besar dan kebutuhan pengelolaan data perusahaan. Storage tersebut dapat menjadi bagian dari arsitektur AI yang menggunakan beberapa server atau membutuhkan akses dataset secara bersama.
Local NVMe merupakan storage yang terpasang langsung pada server dan cocok untuk data aktif yang membutuhkan akses cepat. Pendekatan ini dapat digunakan untuk cache dataset, file sementara, model, maupun checkpoint yang sedang diproses. Namun, data yang hanya berada pada satu server perlu dikelola dengan baik agar tetap tersedia ketika perangkat mengalami gangguan.
Shared storage seperti NAS, SAN, atau distributed storage dapat digunakan ketika beberapa node membutuhkan akses terhadap dataset yang sama. Pendekatan ini membantu perusahaan mengelola data secara terpusat dan mengurangi kebutuhan menyimpan salinan dataset pada setiap server. Meski demikian, performanya tetap bergantung pada storage backend, protokol, serta bandwidth jaringan yang digunakan.
Pada lingkungan AI yang lebih besar, kombinasi local NVMe dan shared storage sering menjadi pilihan yang masuk akal. Dataset utama dapat disimpan secara terpusat, sementara data aktif ditempatkan pada local storage untuk mengurangi akses berulang melalui jaringan. Desain tersebut perlu disesuaikan dengan pola akses data dan hasil benchmark workload.
Networking menghubungkan GPU server, storage, application server, database, serta pengguna yang mengakses sistem AI. Pada lingkungan satu server, kebutuhan jaringan mungkin relatif sederhana karena sebagian besar komunikasi terjadi di dalam perangkat. Namun, ketika infrastruktur berkembang menjadi beberapa node, bandwidth dan latency jaringan dapat menjadi faktor yang sangat menentukan performa.
Pada distributed training, beberapa GPU atau server perlu bertukar data dan hasil komputasi secara intensif. Jika jaringan terlalu lambat, waktu komunikasi dapat mengurangi manfaat penambahan GPU. Sementara itu, aplikasi inference yang menggunakan storage atau database terpisah membutuhkan koneksi yang stabil agar proses pengambilan data tidak menambah latency secara berlebihan.
Perusahaan perlu membedakan kebutuhan jaringan pengguna, storage, management, dan komunikasi antarnode compute. Pada skala tertentu, pemisahan traffic dapat membantu menjaga performa dan mempermudah pengelolaan keamanan. Namun, tidak semua perusahaan membutuhkan arsitektur jaringan yang kompleks sejak tahap awal.
Tidak selalu. Kebutuhan networking harus ditentukan berdasarkan jumlah node, volume data, pola komunikasi, serta target performa yang ingin dicapai. Server inference sederhana yang menjalankan model secara lokal mungkin dapat beroperasi dengan baik menggunakan jaringan yang lebih rendah daripada cluster distributed training.
Sebagai contoh, perusahaan yang mempunyai satu GPU server dan application server terpisah mungkin hanya membutuhkan koneksi 10GbE atau konfigurasi lain yang sesuai dengan traffic aktual. Namun, cluster training yang menggunakan banyak GPU dan shared storage berperforma tinggi dapat membutuhkan bandwidth jauh lebih besar. Karena itu, penggunaan 25GbE, 100GbE, atau lebih tinggi sebaiknya ditentukan melalui perhitungan dan benchmark, bukan dijadikan persyaratan universal.
Sparta Server Indonesia menyediakan solusi Infrastruktur & Networking yang dapat menjadi bagian dari perencanaan jaringan perusahaan. Dengan desain yang sesuai, kebutuhan server AI dapat diintegrasikan dengan storage, jaringan internal, serta sistem IT yang sudah tersedia.
Hardware yang sesuai tetap membutuhkan software environment yang benar agar dapat digunakan secara optimal. Perusahaan perlu menyiapkan sistem operasi, driver GPU, framework AI, container runtime, serta dependency yang kompatibel dengan model dan aplikasi. Kesalahan konfigurasi dapat menyebabkan GPU tidak terdeteksi, library tidak kompatibel, atau performa tidak sesuai harapan.
Pada lingkungan yang digunakan beberapa tim, pengelolaan resource juga menjadi penting. Container dan workload scheduler dapat membantu mengatur aplikasi, membagi resource, serta menjaga agar eksperimen satu tim tidak mengganggu layanan produksi. Namun, teknologi yang digunakan perlu disesuaikan dengan skala dan kemampuan operasional perusahaan.
Perusahaan juga perlu mempunyai prosedur deployment model dan pengelolaan versi software. Model yang sudah diuji sebaiknya tidak langsung diganti pada lingkungan produksi tanpa proses validasi. Dengan pengelolaan yang baik, perubahan model maupun konfigurasi dapat dilakukan secara lebih terkontrol.
Infrastruktur AI perusahaan sering memproses data internal yang mempunyai tingkat sensitivitas berbeda. Karena itu, keamanan perlu dirancang sejak awal melalui autentikasi, otorisasi, segmentasi jaringan, enkripsi, dan pembatasan akses terhadap data maupun model. Menjalankan AI secara on-premise memberikan kontrol lebih besar terhadap lokasi pemrosesan, tetapi tidak otomatis membuat sistem aman tanpa pengelolaan yang benar.
Backup juga perlu mencakup dataset penting, konfigurasi aplikasi, database, model hasil fine-tuning, serta checkpoint yang sulit dibuat ulang. Redundancy storage dapat membantu menjaga ketersediaan ketika terjadi kegagalan perangkat, tetapi bukan pengganti backup. Perusahaan perlu menentukan kebijakan retensi dan pengujian restore agar data dapat dipulihkan ketika terjadi gangguan.
Untuk layanan AI yang sudah menjadi bagian dari operasional bisnis, availability perlu dipertimbangkan berdasarkan dampak gangguan. Chatbot internal untuk eksperimen dapat mempunyai kebutuhan berbeda dengan sistem AI yang mendukung proses produksi atau layanan pelanggan. Karena itu, mekanisme monitoring, recovery, dan kemungkinan penggunaan node cadangan perlu disesuaikan dengan tingkat kepentingan aplikasi.
GPU server dapat mempunyai konsumsi daya dan menghasilkan panas yang jauh lebih tinggi dibandingkan server aplikasi biasa. Terutama pada training, GPU dapat bekerja dalam beban tinggi selama berjam-jam sehingga kebutuhan listrik dan pendinginan harus diperhitungkan dengan benar. Server dengan beberapa GPU kelas data center juga dapat membutuhkan chassis dan airflow khusus.
Sebelum melakukan pengadaan, perusahaan perlu memeriksa kapasitas rack, PDU, UPS, power supply, serta kemampuan sistem cooling. Jangan hanya menghitung konsumsi daya GPU karena CPU, RAM, storage, network card, dan fan juga membutuhkan listrik. Selain itu, margin daya serta konfigurasi redundancy perlu disesuaikan dengan kebutuhan operasional.
Kesiapan data center menjadi semakin penting ketika perusahaan berencana menambah GPU atau node server di masa depan. Infrastruktur listrik dan pendinginan yang tidak mempunyai ruang pengembangan dapat membatasi ekspansi meskipun kapasitas rack masih tersedia. Karena itu, perencanaan hardware sebaiknya dilakukan bersama evaluasi fasilitas yang akan digunakan.
Tidak semua perusahaan perlu langsung membangun cluster besar. Infrastruktur dapat dimulai dari satu server kemudian dikembangkan ketika workload dan jumlah pengguna meningkat. Pendekatan bertahap membantu perusahaan memperoleh data penggunaan sebelum melakukan investasi tambahan.
| Skala | Contoh Arsitektur | Fokus Perencanaan |
|---|---|---|
| Proof of concept | Workstation atau satu GPU server | Validasi model dan kebutuhan resource |
| Produksi awal | GPU server + aplikasi + local NVMe | Stabilitas, latency, dan keamanan |
| Perusahaan menengah | GPU server + application server + storage terpusat | Pemisahan workload dan kapasitas data |
| Enterprise | Multi-GPU/multi-node + shared storage + networking khusus | Skalabilitas, availability, dan pengelolaan resource |
Tabel tersebut merupakan gambaran arsitektur, bukan spesifikasi minimum yang harus digunakan. Perusahaan dengan satu workload besar mungkin membutuhkan GPU lebih tinggi dibandingkan organisasi yang mempunyai beberapa aplikasi ringan. Karena itu, ukuran infrastruktur harus mengikuti karakter penggunaan AI, bukan hanya jumlah karyawan atau besar perusahaan.
Capacity planning sebaiknya dimulai dari use case yang benar-benar akan dijalankan. Perusahaan perlu menentukan model, ukuran dataset, metode training atau inference, jumlah pengguna aktif, serta target performa yang ingin dicapai. Informasi tersebut menjadi dasar untuk menghitung kebutuhan compute, memory, storage, dan networking.
Beberapa data yang perlu disiapkan sebelum menentukan spesifikasi meliputi:
Setelah data tersebut tersedia, lakukan proof of concept menggunakan workload yang mendekati kondisi produksi. Pengujian perlu mengukur GPU utilization, penggunaan VRAM, CPU, RAM, storage throughput, network utilization, serta performa aplikasi secara end-to-end. Hasil benchmark membantu perusahaan menentukan komponen mana yang benar-benar perlu ditingkatkan sebelum melakukan pengadaan lebih besar.
Perusahaan dapat membangun infrastruktur AI menggunakan server sendiri, layanan cloud, atau kombinasi keduanya. Cloud memberikan fleksibilitas untuk eksperimen dan workload yang berubah-ubah, sedangkan on-premise memberikan kontrol lebih besar terhadap hardware dan lokasi pemrosesan data. Namun, pilihan terbaik perlu mempertimbangkan biaya, keamanan, performa, serta kesiapan tim IT.
Pada workload yang berjalan terus-menerus, perusahaan dapat membandingkan biaya cloud dengan Total Cost of Ownership server lokal. Perhitungan tersebut perlu mencakup harga hardware, listrik, cooling, maintenance, networking, serta biaya operasional selama periode penggunaan. Sebaliknya, untuk eksperimen yang hanya membutuhkan GPU dalam waktu singkat, cloud mungkin lebih efisien daripada membeli server khusus.
Pendekatan hybrid dapat digunakan ketika perusahaan mempunyai kebutuhan yang berbeda pada setiap workload. Misalnya, inference terhadap data sensitif dijalankan secara lokal, sementara training tertentu menggunakan cloud sesuai kebijakan perusahaan. Arsitektur tersebut perlu dirancang dengan memperhatikan perpindahan data, keamanan, biaya transfer, dan kompatibilitas software.
Kesalahan yang sering terjadi adalah membeli GPU dengan spesifikasi tertinggi tanpa melakukan analisis workload terlebih dahulu. GPU mahal belum tentu memberikan manfaat maksimal apabila model, dataset, atau jumlah pengguna tidak membutuhkan kemampuan tersebut. Sebaliknya, GPU dengan VRAM terlalu kecil dapat membatasi penggunaan model meskipun kemampuan komputasinya tinggi.
Perusahaan juga sering mengabaikan storage dan networking karena terlalu fokus pada compute. Padahal, dataset yang tidak dapat dibaca dengan cepat atau komunikasi antarnode yang lambat dapat mengurangi performa keseluruhan sistem. Selain itu, kebutuhan backup, monitoring, power, dan cooling perlu direncanakan sejak awal agar infrastruktur siap digunakan secara operasional.
Kesalahan lainnya adalah membangun arsitektur terlalu kompleks sebelum kebutuhan aplikasi terbukti. Tidak semua perusahaan membutuhkan multi-GPU cluster, distributed storage, atau jaringan berkecepatan sangat tinggi pada tahap awal. Pendekatan yang lebih efisien adalah memulai dari kebutuhan nyata, melakukan benchmark, kemudian meningkatkan kapasitas secara bertahap.
Infrastruktur AI untuk perusahaan harus dirancang sebagai satu kesatuan antara GPU server, CPU, RAM, storage, networking, software, serta sistem pendukung data center. Setiap komponen mempunyai peran yang berbeda dan dapat menjadi bottleneck apabila tidak disesuaikan dengan workload. Karena itu, pemilihan hardware sebaiknya dilakukan berdasarkan kebutuhan aplikasi dan hasil pengujian, bukan hanya spesifikasi tertinggi.
Perusahaan dapat memulai dari satu server untuk proof of concept kemudian mengembangkan arsitektur ketika kebutuhan meningkat. Dengan perencanaan yang modular, penambahan GPU, storage, atau node server dapat dilakukan tanpa harus selalu mengganti seluruh infrastruktur. Pendekatan tersebut membantu perusahaan menjaga efisiensi investasi sekaligus menyediakan ruang pertumbuhan AI dalam jangka panjang.
Sparta Server Indonesia menyediakan solusi Core Server & Infrastruktur untuk kebutuhan server enterprise, storage, networking, serta infrastruktur pendukung perusahaan. Untuk kebutuhan AI, perusahaan dapat berkonsultasi mengenai konfigurasi GPU server, kapasitas memory, storage, dan jaringan yang sesuai dengan workload. Selain itu, Jasa Instalasi Server AI dapat membantu proses persiapan, konfigurasi, dan pengujian environment agar infrastruktur siap digunakan secara operasional. WhatsApp kami +62 878‑2224‑1000
Tidak selalu. Pada tahap awal, beberapa workload AI dapat dijalankan pada server yang sama apabila kapasitas resource dan kompatibilitas software mencukupi. Namun, pemisahan mulai perlu dipertimbangkan ketika proses training berisiko mengganggu aplikasi produksi atau ketika kebutuhan keamanan dan availability berbeda.
Bisa. Perusahaan dapat menggunakan container, workload scheduler, atau mekanisme pembagian resource untuk mengatur penggunaan GPU oleh beberapa tim. Namun, alokasi VRAM dan kemampuan komputasi tetap perlu direncanakan agar satu workload tidak menggunakan seluruh resource dan mengganggu pekerjaan lainnya.
Tidak selalu. Server AI dapat ditempatkan pada server room perusahaan atau fasilitas colocation selama kebutuhan listrik, cooling, jaringan, dan keamanan fisiknya terpenuhi. Pilihan lokasi sebaiknya mempertimbangkan kapasitas perangkat, biaya operasional, kebutuhan akses, serta rencana pengembangan infrastruktur.
Perusahaan dapat menggunakan data monitoring dan benchmark untuk mengetahui apakah kapasitas mulai mencapai batas. Indikatornya dapat berupa GPU utilization tinggi secara terus-menerus, VRAM tidak mencukupi, latency meningkat, storage menjadi bottleneck, atau waktu training tidak lagi memenuhi target. Upgrade sebaiknya dilakukan setelah penyebabnya diketahui agar komponen yang ditingkatkan benar-benar sesuai kebutuhan.
Bisa, selama kapasitas dan pengelolaan resource mendukungnya. Satu infrastruktur dapat menjalankan LLM, computer vision, embedding model, maupun aplikasi machine learning lain melalui pembagian GPU atau node yang sesuai. Namun, kebutuhan memory, komputasi, storage, dan jaringan setiap workload harus diperhitungkan agar performa tetap stabil.