Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
NVMe untuk Server AI menjadi salah satu komponen penting ketika perusahaan membangun infrastruktur artificial intelligence untuk training, inference, Large Language Model (LLM), maupun pengolahan dataset berukuran besar. Meskipun GPU sering menjadi pusat perhatian, performa server tidak hanya ditentukan oleh kemampuan komputasi dan kapasitas VRAM. Storage yang terlalu lambat dapat membuat proses loading model, pembacaan dataset, hingga penyimpanan checkpoint membutuhkan waktu lebih lama.
Namun, penggunaan NVMe tidak otomatis membuat seluruh aplikasi AI berjalan lebih cepat. Manfaatnya sangat bergantung pada pola akses data, ukuran dataset, kemampuan CPU, kapasitas RAM, serta apakah GPU benar-benar sedang menunggu data dari storage. Pada workload tertentu, peningkatan kecepatan storage dapat memberikan dampak besar, sementara pada workload lain perbedaannya mungkin tidak terlalu terasa.
Karena itu, perusahaan perlu memahami kapan NVMe menjadi kebutuhan penting dan bagaimana menentukan spesifikasi storage yang sesuai. Artikel ini membahas peran NVMe dalam pipeline AI, perbedaannya dengan SATA SSD, kebutuhan storage untuk training dan inference, serta cara memilih kapasitas dan performa penyimpanan tanpa melakukan investasi berlebihan.
NVMe atau Non-Volatile Memory Express merupakan protokol yang dirancang untuk mengakses media penyimpanan non-volatile, terutama SSD berbasis flash, melalui antarmuka berkecepatan tinggi seperti PCI Express. Dibandingkan protokol penyimpanan yang lebih lama, NVMe dirancang untuk mendukung banyak antrean perintah dan pemrosesan I/O secara paralel. Karakter tersebut membuatnya sesuai untuk server yang menjalankan banyak proses baca tulis secara bersamaan.
Dalam server AI, NVMe digunakan untuk menyimpan dataset, file model, checkpoint training, container image, database, dan berbagai data pendukung lainnya. Storage ini dapat dipasang langsung pada server atau menjadi bagian dari sistem penyimpanan yang lebih besar. Namun, NVMe tetap merupakan storage, bukan pengganti RAM maupun VRAM yang digunakan selama proses komputasi.
Perusahaan yang sedang membangun infrastruktur komputasi AI dapat melihat solusi GPU Server Indonesia dari Sparta Server Indonesia. Halaman tersebut menyediakan pilihan konfigurasi GPU server dengan enterprise SSD, NVMe high-performance storage, serta komponen lain yang dapat disesuaikan dengan kebutuhan workload.
Artificial intelligence bekerja melalui rangkaian proses yang melibatkan banyak komponen. Data dibaca dari storage, dipersiapkan oleh CPU, dipindahkan ke RAM atau VRAM, kemudian diproses oleh GPU. Jika salah satu tahapan tidak mampu mengikuti kecepatan komponen lainnya, performa keseluruhan sistem dapat menurun.
Sebagai contoh, sebuah server menggunakan GPU berperforma tinggi untuk melakukan training computer vision. GPU mampu memproses batch gambar dengan cepat, tetapi pipeline data membutuhkan waktu terlalu lama untuk membaca dan menyiapkan batch berikutnya. Akibatnya, GPU dapat berada dalam kondisi menunggu meskipun kemampuan komputasinya masih tersedia.
Dokumentasi resmi NVIDIA-Certified Storage menjelaskan bahwa performa storage memengaruhi utilisasi GPU dan waktu training, terutama ketika sistem harus menangani throughput tinggi serta I/O paralel. NVIDIA juga menekankan pentingnya kemampuan storage dalam menyimpan checkpoint agar proses training tidak terlalu lama terhenti ketika model disimpan.
NVMe dan SATA SSD sama-sama menggunakan media penyimpanan berbasis flash, tetapi mempunyai antarmuka dan karakter performa yang berbeda. SATA SSD menggunakan protokol serta antarmuka yang lebih lama, sedangkan NVMe dirancang untuk memanfaatkan PCIe dan mendukung antrean I/O yang lebih banyak. Perbedaan tersebut dapat memberikan keuntungan pada workload yang membutuhkan throughput tinggi atau banyak operasi baca tulis bersamaan.
Namun, bukan berarti SATA SSD tidak dapat digunakan untuk AI. Untuk aplikasi kecil, penyimpanan sistem operasi, atau workload yang jarang membaca data dalam jumlah besar, SATA SSD mungkin sudah memberikan performa yang memadai. NVMe menjadi lebih menarik ketika proses training, loading model, atau akses data mulai membutuhkan kemampuan storage yang lebih tinggi.
| Faktor | SATA SSD | NVMe SSD |
|---|---|---|
| Antarmuka umum | SATA | PCIe |
| Protokol | AHCI | NVMe |
| Throughput | Lebih terbatas | Berpotensi lebih tinggi |
| I/O paralel | Lebih terbatas | Mendukung banyak antrean |
| Latency | Relatif lebih tinggi | Berpotensi lebih rendah |
| Penggunaan AI | Workload ringan dan penyimpanan umum | Dataset aktif, checkpoint, model, dan I/O intensif |
| Biaya | Dapat lebih ekonomis | Bergantung kelas dan spesifikasi |
Performa aktual tetap bergantung pada generasi PCIe, controller, jenis NAND, kapasitas, firmware, dan karakter workload. Karena itu, perusahaan tidak sebaiknya memilih storage hanya berdasarkan label NVMe atau SATA. Spesifikasi dan hasil benchmark tetap perlu disesuaikan dengan kebutuhan aplikasi.
Training merupakan salah satu workload yang dapat memperoleh manfaat besar dari storage berperforma tinggi. Pada proses ini, server membaca dataset secara berulang, melakukan preprocessing, mengirim batch ke GPU, dan menyimpan hasil training secara berkala. Jika dataset berukuran besar atau banyak worker melakukan pembacaan bersamaan, kemampuan storage dapat menjadi faktor penting.
Dataset machine learning dapat terdiri dari jutaan gambar, file audio, dokumen, atau data sensor. Selama training, data tersebut perlu dibaca dan dipersiapkan secara terus-menerus agar GPU memperoleh batch berikutnya tepat waktu. NVMe dapat membantu ketika kecepatan pembacaan storage menjadi salah satu hambatan dalam pipeline tersebut.
Namun, peningkatan performa tidak selalu berasal dari storage saja. Jika proses decoding gambar atau augmentation lebih banyak dibatasi oleh CPU, mengganti SSD belum tentu memberikan perubahan signifikan. Karena itu, perusahaan perlu mengukur waktu data loading, penggunaan CPU, dan GPU utilization sebelum menentukan komponen yang perlu ditingkatkan.
Sebelum digunakan model, data sering melalui proses pembersihan, decoding, tokenization, atau transformasi tertentu. Proses tersebut dapat menghasilkan file sementara maupun membutuhkan pembacaan berulang dari storage. NVMe membantu menyediakan akses data yang cepat ketika pipeline melakukan banyak operasi I/O.
Pada dataset dengan jumlah file kecil yang sangat banyak, performa tidak hanya ditentukan oleh throughput sekuensial. Latency, IOPS, filesystem, dan cara data dikemas juga dapat memengaruhi kecepatan pembacaan. Dalam beberapa kasus, menggabungkan file kecil ke format dataset yang lebih efisien dapat memberikan manfaat lebih besar daripada sekadar mengganti SSD.
Checkpoint merupakan hasil penyimpanan kondisi model selama proses training berlangsung. File ini memungkinkan proses dilanjutkan kembali apabila terjadi gangguan atau ketika perusahaan ingin menggunakan hasil training pada tahap berikutnya. Semakin besar model dan optimizer state yang disimpan, semakin besar pula kebutuhan kapasitas serta performa tulis storage.
Pada checkpoint synchronous, proses training dapat berhenti sementara sampai data selesai ditulis. Storage dengan kemampuan tulis yang memadai dapat membantu mengurangi waktu tunggu tersebut. Namun, strategi checkpointing juga perlu disesuaikan dengan ukuran model, frekuensi penyimpanan, dan kebutuhan recovery perusahaan.
Pada inference, peran storage mempunyai karakter yang berbeda dibandingkan training. Ketika model pertama kali dijalankan, file model perlu dibaca dari storage dan dimuat ke RAM atau VRAM sesuai konfigurasi. NVMe dapat membantu mempercepat proses loading tersebut, terutama ketika model berukuran besar atau server sering melakukan restart dan pergantian model.
Setelah model berhasil dimuat, sebagian besar proses komputasi inference biasanya berlangsung menggunakan GPU dan memory yang tersedia. Karena itu, mengganti SATA SSD menjadi NVMe tidak otomatis meningkatkan token per second pada LLM yang seluruh bobot dan cache aktifnya sudah berada di VRAM. Kecepatan inference tetap lebih banyak dipengaruhi oleh GPU, memory bandwidth, ukuran model, context length, dan optimasi software.
Storage kembali menjadi penting ketika aplikasi sering memuat model baru, menggunakan CPU offloading, atau membutuhkan akses data eksternal selama proses inference. Pada sistem yang menjalankan banyak model, waktu loading dan perpindahan model juga dapat memengaruhi pengalaman pengguna. Karena itu, kebutuhan storage harus dilihat berdasarkan arsitektur deployment yang digunakan.
Large Language Model dapat mempunyai ukuran file yang cukup besar, terutama ketika perusahaan menyimpan beberapa versi model dengan precision atau quantization berbeda. Selain model utama, server juga dapat menyimpan tokenizer, embedding model, container image, adapter fine-tuning, serta berbagai file konfigurasi. Seluruh kebutuhan tersebut membuat kapasitas storage menjadi bagian penting dalam perencanaan LLM lokal.
NVMe membantu mempercepat proses loading model dan akses terhadap file yang sering digunakan. Namun, kapasitas VRAM tetap menjadi faktor utama untuk menentukan apakah model dapat dijalankan menggunakan GPU tertentu. Storage yang sangat cepat tidak dapat menggantikan kebutuhan memory GPU apabila model membutuhkan VRAM lebih besar daripada yang tersedia.
Untuk memahami hubungan antara GPU, RAM, VRAM, dan storage, perusahaan dapat membaca artikel Server untuk Menjalankan LLM Lokal. Pembahasan tersebut membantu menentukan konfigurasi infrastruktur berdasarkan ukuran model, jumlah pengguna, dan kebutuhan penggunaan AI secara lokal.
Retrieval-Augmented Generation atau RAG menghubungkan LLM dengan sumber informasi eksternal seperti dokumen perusahaan, knowledge base, dan database internal. Sistem ini biasanya mempunyai beberapa komponen, mulai dari penyimpanan dokumen asli, embedding, vector database, hingga aplikasi yang menjalankan proses retrieval. Karena itu, kebutuhan storage tidak hanya berkaitan dengan ukuran model bahasa yang digunakan.
NVMe dapat membantu ketika vector database membutuhkan akses cepat terhadap index atau data yang tidak seluruhnya berada di RAM. Proses ingestion, pembaruan dokumen, dan pembangunan index juga dapat menghasilkan aktivitas baca tulis yang cukup intensif. Namun, apabila seluruh index aktif sudah berada di memory dan workload lebih banyak dibatasi CPU, peningkatan kecepatan storage mungkin tidak memberikan dampak besar terhadap latency pencarian.
Perusahaan perlu memperhatikan ukuran vector database, jumlah dokumen, frekuensi pembaruan, serta jumlah pengguna yang melakukan pencarian secara bersamaan. Selain storage, kapasitas RAM dan optimasi database juga mempunyai peran penting dalam menjaga performa retrieval. Dengan demikian, server RAG sebaiknya dirancang sebagai satu kesatuan antara compute, memory, storage, dan aplikasi.
Ketika memilih NVMe, perusahaan sering hanya melihat angka kecepatan baca sekuensial yang tercantum pada spesifikasi. Padahal, workload AI mempunyai pola akses data yang berbeda-beda sehingga satu angka tersebut belum tentu menggambarkan performa sebenarnya. Tiga metrik yang perlu dipahami adalah throughput, IOPS, dan latency.
Throughput menunjukkan jumlah data yang dapat dipindahkan dalam periode tertentu, biasanya dinyatakan dalam MB/s atau GB/s. Metrik ini penting ketika server membaca file model besar, memindahkan dataset, atau menyimpan checkpoint berukuran besar. Namun, throughput tinggi tidak selalu berarti storage juga cepat untuk banyak operasi kecil.
IOPS atau Input/Output Operations Per Second menunjukkan jumlah operasi baca tulis yang dapat dilakukan setiap detik. Metrik ini relevan untuk workload dengan banyak akses kecil, seperti metadata, file kecil, atau pola akses database tertentu. Sementara itu, latency menunjukkan waktu yang dibutuhkan untuk menyelesaikan satu operasi I/O, sehingga berpengaruh terhadap respons aplikasi yang sensitif terhadap waktu tunggu.
| Workload AI | Metrik yang Perlu Diprioritaskan |
|---|---|
| Loading model besar | Throughput baca |
| Training dataset besar | Throughput dan I/O paralel |
| Banyak file kecil | IOPS dan latency |
| Penyimpanan checkpoint | Throughput tulis |
| Vector database | Latency, IOPS, dan throughput sesuai pola akses |
| Shared storage multi-node | Throughput agregat dan performa jaringan |
Pemilihan storage sebaiknya mengikuti hasil pengukuran workload nyata. SSD dengan throughput sekuensial sangat tinggi belum tentu menjadi pilihan terbaik untuk database yang lebih sensitif terhadap latency. Karena itu, benchmark perlu menggunakan ukuran blok, jumlah antrean, serta pola baca tulis yang mendekati penggunaan produksi.
Kebutuhan kapasitas NVMe tidak dapat ditentukan hanya berdasarkan ukuran model AI. Perusahaan juga perlu menghitung dataset, checkpoint, container, file sementara, log, dan ruang pertumbuhan. Jika server digunakan oleh beberapa tim, kapasitas yang dibutuhkan dapat meningkat lebih cepat karena setiap tim mungkin menyimpan beberapa versi model dan hasil eksperimen.
Sebagai gambaran awal, server untuk eksperimen satu atau dua model kecil dapat dimulai dari kapasitas sekitar 1 TB. Untuk chatbot internal dengan beberapa model, dokumen RAG, dan kebutuhan aplikasi pendukung, kapasitas 2 TB dapat menjadi titik awal yang lebih fleksibel. Sementara itu, workload training dengan dataset besar atau banyak checkpoint dapat membutuhkan 4 TB, beberapa drive NVMe, atau sistem storage terpisah.
Angka tersebut bukan standar yang berlaku untuk seluruh perusahaan. Dataset video, misalnya, dapat membutuhkan kapasitas jauh lebih besar dibandingkan dataset teks, sementara proses fine-tuning dapat menghasilkan banyak checkpoint yang harus disimpan. Karena itu, capacity planning sebaiknya menghitung kebutuhan aktual serta menyediakan ruang untuk ekspansi.
Local NVMe merupakan storage yang terpasang langsung pada server dan dapat memberikan akses berlatensi rendah tanpa harus melewati jaringan storage eksternal. Pendekatan ini cocok untuk dataset aktif, cache model, file sementara, atau workload yang dijalankan pada satu node. Namun, kapasitas dan aksesnya terbatas pada server tersebut kecuali perusahaan membangun mekanisme berbagi data tambahan.
Shared storage seperti NAS, SAN, atau distributed storage dapat menjadi pilihan ketika beberapa server AI membutuhkan akses ke dataset yang sama. Pendekatan ini memudahkan pengelolaan data terpusat dan dapat membantu mengurangi duplikasi dataset di setiap node. Namun, performanya bergantung pada storage backend, protokol, jaringan, serta jumlah pengguna yang mengakses data secara bersamaan.
Pada lingkungan multi-GPU atau multi-node, perusahaan dapat menggunakan kombinasi keduanya. Dataset utama disimpan pada shared storage, sementara data aktif atau cache tertentu ditempatkan pada local NVMe untuk mengurangi akses berulang melalui jaringan. Desain tersebut perlu disesuaikan dengan karakter workload dan kemampuan infrastruktur yang tersedia.
SSD NVMe mempunyai kelas penggunaan yang berbeda, mulai dari consumer hingga enterprise. Untuk server AI yang beroperasi dalam waktu lama, perusahaan perlu mempertimbangkan endurance, performa tulis berkelanjutan, fitur perlindungan data, serta dukungan perangkat. Kecepatan puncak yang tinggi belum tentu mencerminkan performa ketika drive digunakan secara intensif dalam jangka panjang.
Beberapa spesifikasi yang perlu diperhatikan meliputi kapasitas, jenis NAND, endurance atau DWPD, power-loss protection, serta kemampuan mempertahankan performa saat beban tinggi. Fitur-fitur tersebut menjadi relevan terutama untuk storage yang menyimpan checkpoint, database, atau data perusahaan yang sulit dipulihkan. Pemilihan drive sebaiknya disesuaikan dengan tingkat kepentingan data dan karakter operasional server.
Perusahaan juga perlu memperhatikan kompatibilitas form factor dan antarmuka dengan chassis server. Tidak semua server mendukung jumlah drive NVMe yang sama, dan konfigurasi tertentu dapat membutuhkan backplane atau koneksi PCIe yang sesuai. Karena itu, pemilihan storage sebaiknya dilakukan bersama perencanaan platform server secara keseluruhan.
Kecepatan storage tidak boleh menjadi satu-satunya pertimbangan dalam membangun server AI. Dataset internal, hasil fine-tuning, konfigurasi model, dan vector database dapat mempunyai nilai yang jauh lebih besar daripada biaya perangkat penyimpanannya. Karena itu, perusahaan perlu menyiapkan strategi perlindungan data sejak awal implementasi.
RAID atau mekanisme redundancy tertentu dapat membantu menjaga ketersediaan layanan ketika terjadi kegagalan drive, tetapi RAID bukan pengganti backup. Backup tetap diperlukan untuk melindungi data dari penghapusan tidak sengaja, kerusakan aplikasi, ransomware, maupun kesalahan konfigurasi. Perusahaan juga perlu menentukan kebijakan retensi checkpoint agar kapasitas storage tidak habis oleh file yang sudah tidak diperlukan.
Untuk kebutuhan penyimpanan terpusat dan pengelolaan data perusahaan, Sparta Server Indonesia menyediakan solusi Storage Server Enterprise. Infrastruktur storage dapat dirancang sesuai kebutuhan kapasitas, performa, keamanan, dan pengembangan sistem perusahaan.
Sebelum melakukan upgrade NVMe, perusahaan sebaiknya mengukur performa server saat workload berjalan. Perhatikan apakah GPU sering berada dalam kondisi idle karena menunggu batch data, apakah proses loading model terlalu lama, atau apakah penyimpanan checkpoint menyebabkan training berhenti cukup lama. Gejala tersebut dapat menjadi indikasi bahwa storage perlu dianalisis lebih lanjut.
Pengujian dapat dilakukan dengan membandingkan waktu data loading, throughput storage, latency I/O, CPU utilization, serta GPU utilization. Jika GPU tetap bekerja penuh dan proses komputasi menjadi batas utama, mengganti storage mungkin tidak memberikan peningkatan yang signifikan. Sebaliknya, jika pipeline terus menunggu data, optimasi storage atau format dataset dapat memberikan manfaat yang lebih nyata.
Benchmark juga perlu dilakukan pada kondisi yang mendekati produksi. Pengujian satu file besar belum tentu mewakili workload yang terdiri dari jutaan file kecil atau akses bersamaan dari beberapa node. Karena itu, perusahaan perlu menguji pola I/O yang benar-benar digunakan oleh aplikasi AI.
NVMe untuk Server AI mempunyai peran penting dalam mendukung akses dataset, loading model, penyimpanan checkpoint, dan berbagai proses data lainnya. Namun, kecepatan storage tidak selalu menjadi faktor yang paling menentukan performa AI. Manfaatnya bergantung pada apakah workload benar-benar membutuhkan throughput tinggi, IOPS besar, atau latency rendah.
Perusahaan sebaiknya menentukan kebutuhan storage berdasarkan jenis AI yang dijalankan, ukuran dataset, jumlah model, pola akses data, serta rencana pertumbuhan sistem. GPU, CPU, RAM, storage, dan networking perlu dirancang secara seimbang agar tidak terjadi bottleneck pada salah satu komponen. Pendekatan tersebut membantu perusahaan memperoleh performa yang sesuai tanpa membeli perangkat dengan spesifikasi berlebihan.
Sparta Server Indonesia menyediakan solusi GPU Server, AI Server, dan infrastruktur storage enterprise untuk kebutuhan perusahaan. Melalui layanan Core Server & Infrastruktur, perusahaan dapat merencanakan konfigurasi server, storage, dan networking yang sesuai dengan workload AI. Untuk kebutuhan implementasi, Jasa Instalasi Server AI juga dapat membantu proses persiapan, konfigurasi, dan pengujian lingkungan server agar infrastruktur siap digunakan secara operasional. WhatsApp kami +62 878‑2224‑1000
Tidak selalu. PCIe 5.0 dapat menyediakan bandwidth lebih tinggi pada perangkat yang mendukungnya, tetapi manfaat aktual bergantung pada workload dan kemampuan komponen lainnya. Jika aplikasi tidak mencapai batas throughput PCIe 4.0, peningkatan ke PCIe 5.0 mungkin tidak memberikan perbedaan yang signifikan.
RAID 0 dapat meningkatkan throughput pada pola I/O tertentu, tetapi hasilnya bergantung pada controller, software RAID, dan karakter workload. Konfigurasi ini juga meningkatkan risiko kehilangan seluruh data apabila salah satu drive mengalami kegagalan. Karena itu, RAID 0 lebih cocok dipertimbangkan untuk data sementara yang dapat dibuat ulang, bukan sebagai satu-satunya tempat menyimpan dataset atau checkpoint penting.
Bisa untuk eksperimen atau workload tertentu, tetapi perusahaan perlu memperhatikan endurance, performa tulis berkelanjutan, dan fitur perlindungan data. SSD enterprise biasanya lebih sesuai untuk workload produksi yang membutuhkan reliabilitas tinggi dan operasi intensif. Pemilihan tetap harus didasarkan pada kebutuhan, bukan hanya kategori perangkat.
Bisa. Pada beberapa SSD, ruang kosong yang terlalu sedikit dapat memengaruhi kemampuan controller dalam mengelola data dan mempertahankan performa tulis. Karena itu, perusahaan sebaiknya menyediakan ruang kosong yang memadai dan memantau kapasitas storage agar proses training maupun penyimpanan checkpoint tidak terganggu.
Bisa, tergantung arsitektur dan dukungan sistem storage yang digunakan. NVMe dapat dimanfaatkan sebagai cache atau tier berperforma tinggi untuk data yang sering diakses, sementara data utama tetap disimpan pada storage terpusat. Namun, efektivitasnya bergantung pada pola akses, mekanisme caching, dan konsistensi data sehingga perlu diuji sebelum diterapkan pada lingkungan produksi.