Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Ketika perusahaan mulai mengadopsi artificial intelligence, salah satu keputusan penting yang perlu dibuat adalah menentukan di mana workload AI akan dijalankan. Apakah menggunakan server AI on-premise yang ditempatkan di lingkungan perusahaan sendiri atau menyewa resource GPU dari layanan cloud?
Keduanya sama-sama dapat digunakan untuk menjalankan machine learning, deep learning, Large Language Model (LLM), computer vision, hingga berbagai aplikasi generative AI. Namun, karakter biaya, kontrol data, skalabilitas, hingga pengelolaannya cukup berbeda.
Cloud memungkinkan perusahaan memulai eksperimen AI dengan cepat tanpa harus membeli hardware terlebih dahulu. Resource GPU dapat digunakan sesuai kebutuhan dan ditambah ketika workload meningkat. Sebaliknya, server AI on-premise memberikan kontrol lebih besar terhadap hardware, data, jaringan, dan konfigurasi sistem. Pendekatan ini dapat menarik bagi perusahaan yang menjalankan AI secara rutin, memiliki data internal sensitif, atau ingin membangun infrastruktur AI untuk jangka panjang.
Lalu, server AI on-premise vs cloud, mana yang sebenarnya lebih cocok untuk perusahaan? Jawabannya tidak selalu salah satu. Pilihan terbaik bergantung pada workload, karakter data, frekuensi penggunaan, anggaran hingga kesiapan tim IT.
Server AI on-premise adalah server yang dimiliki atau dikendalikan perusahaan dan ditempatkan pada data center, server room, colocation, atau lingkungan infrastruktur yang ditentukan perusahaan.
Hardware dapat berupa satu server dengan satu GPU, multi-GPU server hingga cluster yang terdiri dari beberapa node. Perusahaan menentukan sendiri spesifikasinya, mulai dari:
Pendekatan ini memberikan kontrol yang lebih luas karena perusahaan tidak hanya mengelola aplikasi, tetapi juga memiliki kendali terhadap infrastruktur fisiknya.
Server AI on-premise biasanya digunakan untuk workload yang relatif stabil dan terus-menerus, terutama ketika perusahaan mempunyai kebutuhan khusus mengenai data, performa atau integrasi dengan sistem internal.
Sebagai contoh, perusahaan dapat menggunakan server lokal untuk menjalankan chatbot internal, sistem RAG berbasis dokumen perusahaan, computer vision di area produksi atau inference LLM yang digunakan oleh banyak karyawan setiap hari.
Untuk melihat kebutuhan server enterprise secara lebih luas, perusahaan dapat mempelajari Core Server & Infrastruktur yang mencakup AI Server, GPU Server, storage hingga infrastruktur pendukung lainnya.
Cloud AI menggunakan resource komputasi yang tersedia melalui penyedia cloud. Perusahaan tidak perlu membeli GPU server secara fisik. Infrastruktur disediakan oleh cloud provider dan resource dapat dibuat ketika dibutuhkan. Model penggunaan seperti ini cocok untuk perusahaan yang ingin melakukan eksperimen AI dengan cepat.
Tim dapat memilih instance dengan GPU tertentu, menjalankan training selama beberapa jam atau beberapa hari, menyimpan hasil model, kemudian menghentikan resource ketika tidak digunakan. Salah satu keunggulan utama cloud adalah fleksibilitas. Jika eksperimen awal hanya membutuhkan satu GPU tetapi kemudian workload membutuhkan beberapa GPU, perusahaan dapat menambah resource tanpa harus menunggu pengadaan hardware baru.
AWS menjelaskan bahwa model Infrastructure as a Service memungkinkan perusahaan memperoleh resource komputasi sesuai kebutuhan dengan model penggunaan yang fleksibel dan penyedia cloud menangani infrastruktur fisiknya. Namun, fleksibilitas tersebut tetap perlu disertai pengelolaan biaya dan data yang baik, terutama ketika workload AI mulai berjalan terus-menerus.
Secara sederhana, perbedaan keduanya dapat dilihat dari siapa yang menyediakan dan mengelola infrastrukturnya.
| Aspek | AI On-Premise | AI Cloud |
|---|---|---|
| Kepemilikan hardware | Perusahaan | Cloud provider |
| Investasi awal | Relatif besar | Relatif kecil |
| Model biaya | CapEx + operasional | Pay-as-you-use |
| Skalabilitas | Membutuhkan penambahan hardware | Dapat dilakukan lebih cepat |
| Kontrol hardware | Sangat tinggi | Terbatas pada pilihan provider |
| Lokasi data | Dapat sepenuhnya lokal | Bergantung arsitektur cloud |
| Maintenance hardware | Perusahaan | Provider |
| Implementasi awal | Membutuhkan persiapan | Relatif cepat |
| Customisasi | Sangat fleksibel | Bergantung layanan yang tersedia |
| Cocok untuk | Workload stabil dan berkelanjutan | Eksperimen dan workload fluktuatif |
Tabel tersebut hanya memberikan gambaran umum. Dalam implementasi nyata, keputusan tidak sebaiknya dibuat berdasarkan satu faktor saja. Perusahaan perlu menghitung bagaimana sistem akan digunakan selama beberapa tahun.
Server AI on-premise mempunyai sejumlah keunggulan yang membuatnya tetap relevan meskipun layanan cloud semakin mudah digunakan.
Salah satu alasan perusahaan mempertimbangkan AI on-premise adalah kontrol data. Data dapat diproses di lingkungan perusahaan tanpa harus selalu dikirim ke layanan AI eksternal. Hal ini penting ketika AI digunakan untuk memproses:
Namun, perlu dicatat bahwa on-premise tidak otomatis membuat data aman. Perusahaan tetap membutuhkan segmentasi jaringan, access control, monitoring, patch management, backup, enkripsi dan kebijakan keamanan yang tepat.
Hardware on-premise dapat didedikasikan untuk workload tertentu. Jika perusahaan mempunyai empat GPU pada satu server, resource tersebut dapat dialokasikan secara khusus untuk kebutuhan internal tanpa berbagi kapasitas dengan workload lain di luar sistem perusahaan. Tim IT juga mempunyai fleksibilitas dalam mengatur driver, CUDA, framework, container hingga konfigurasi storage.
Beberapa workload AI menghasilkan atau memproses data berukuran besar. Contohnya video analytics. Jika puluhan atau ratusan kamera menghasilkan data terus-menerus, mengirim seluruh data ke cloud dapat membutuhkan bandwidth yang besar. Dengan server lokal, video dapat diproses dekat dengan sumber data dan hanya hasil analisis yang diteruskan ke sistem lain.
Jika GPU digunakan hampir setiap hari dengan tingkat utilization tinggi, perusahaan dapat membandingkan total biaya cloud dengan investasi server sendiri. Pada kondisi tertentu, memiliki hardware dapat memberikan struktur biaya yang lebih mudah diprediksi dalam jangka panjang. Namun, perhitungannya tidak boleh hanya membandingkan harga server dengan biaya cloud. Masukkan juga biaya:
Dengan begitu, perusahaan memperoleh perbandingan Total Cost of Ownership atau TCO yang lebih realistis.
Kontrol yang besar berarti tanggung jawab yang lebih besar pula.
GPU kelas data center dapat mempunyai harga yang cukup tinggi. Selain GPU, perusahaan harus membeli chassis, processor, RAM, NVMe, networking dan komponen pendukung. Apabila server membutuhkan beberapa GPU berdaya tinggi, infrastruktur listrik dan pendinginan juga perlu dievaluasi.
Ketika kapasitas server sudah penuh, perusahaan tidak dapat menambah resource hanya dengan beberapa klik. Perlu ada proses capacity planning, pengadaan, pengiriman, pemasangan hingga konfigurasi perangkat. Karena itu, server sebaiknya dirancang dengan ruang ekspansi sejak awal.
Hardware perlu dimonitor. Disk dapat mengalami masalah, fan dapat rusak, suhu dapat meningkat dan komponen lain dapat membutuhkan penggantian. Tim IT perlu memiliki prosedur monitoring dan maintenance yang jelas agar server AI dapat digunakan dengan stabil.
Cloud mempunyai karakteristik yang berbeda dan sangat menarik ketika perusahaan masih berada pada tahap eksplorasi.
Perusahaan tidak perlu menunggu proses pembelian hardware. Resource komputasi dapat dipersiapkan sesuai layanan yang tersedia dari cloud provider. Hal ini sangat membantu untuk proof of concept. Tim dapat menguji apakah sebuah model memberikan hasil bisnis yang sesuai sebelum perusahaan mengeluarkan investasi lebih besar.
Kebutuhan AI tidak selalu stabil. Contohnya tim hanya melakukan training model dua kali setiap bulan. Dalam kondisi seperti ini, membeli beberapa GPU yang menganggur pada sebagian besar waktu belum tentu efisien. Cloud memungkinkan perusahaan menggunakan resource hanya saat diperlukan.
Tim AI dapat mencoba beberapa kelas GPU tanpa harus memiliki seluruh hardware tersebut. Hal ini membantu ketika perusahaan belum mengetahui konfigurasi produksi yang ideal. Setelah benchmark selesai, data penggunaan dapat menjadi dasar untuk menentukan apakah sistem tetap berada di cloud atau dipindahkan ke server lokal.
Kerusakan perangkat, pergantian hardware, data center dan infrastruktur fisik menjadi tanggung jawab provider sesuai model layanan yang digunakan. Tim internal dapat lebih fokus pada aplikasi, model dan data.
Cloud tetap mempunyai beberapa hal yang perlu diperhitungkan.
Model pay-as-you-use sangat menarik untuk penggunaan singkat. Namun, workload GPU yang berjalan 24 jam setiap hari dapat menghasilkan biaya yang cukup besar. Perusahaan juga perlu memperhatikan biaya lain seperti storage, snapshot, networking dan transfer data. Cost monitoring penting sejak awal implementasi.
Menjalankan AI di cloud tidak berarti keamanan menjadi tanggung jawab provider sepenuhnya. Perusahaan tetap bertanggung jawab terhadap konfigurasi akses, kredensial, data, aplikasi dan berbagai komponen lainnya sesuai model shared responsibility dari layanan yang digunakan.
Aplikasi yang membutuhkan akses ke cloud bergantung pada kualitas konektivitas. Untuk beberapa sistem real-time, latency dan kestabilan jaringan perlu masuk dalam perhitungan.
Privasi sering menjadi alasan utama memilih on-premise. Namun, masalah ini sebenarnya lebih kompleks daripada sekadar lokasi server. Perusahaan perlu melihat bagaimana data berpindah, siapa yang dapat mengaksesnya, bagaimana backup dilakukan, di mana log disimpan, bagaimana kredensial dikelola serta layanan apa saja yang terhubung dengan aplikasi AI.
On-premise memberikan kontrol lebih besar terhadap lokasi data, tetapi perusahaan sendiri harus memastikan keamanannya. Cloud menawarkan berbagai mekanisme keamanan, tetapi perusahaan tetap harus mengonfigurasi lingkungan dengan benar. Keputusan sebaiknya mengacu pada kebijakan data perusahaan, regulasi yang berlaku serta hasil assessment keamanan.
Large Language Model menjadi salah satu use case yang menarik untuk dibandingkan. Pada tahap eksperimen, perusahaan mungkin menggunakan cloud untuk mencoba berbagai model. Tim dapat membandingkan kualitas model, kebutuhan VRAM, latency dan biaya tanpa harus langsung melakukan pengadaan GPU.
Setelah model dipilih dan workload mulai stabil, menjalankan LLM lokal dapat menjadi opsi. Misalnya chatbot internal digunakan ratusan karyawan setiap hari dan mengakses knowledge base perusahaan. Server lokal memungkinkan model serta data perusahaan berada dalam lingkungan yang dikendalikan sendiri.
Namun, kapasitas hardware harus dihitung dengan benar. Model 8B memiliki kebutuhan yang berbeda dengan 32B atau 70B. Quantization, context length, concurrency dan target token per second juga memengaruhi kebutuhan VRAM. Pembahasan mengenai hal tersebut dapat dilihat lebih lanjut pada artikel Server untuk Menjalankan LLM Lokal.
Untuk eksperimen singkat, cloud sering lebih masuk akal karena perusahaan tidak membutuhkan investasi hardware. Misalnya tim membutuhkan GPU selama dua minggu untuk menguji model. Membeli server khusus untuk eksperimen tersebut mungkin tidak ekonomis. Sebaliknya, jika server digunakan untuk inference 24 jam sehari selama beberapa tahun, perusahaan perlu menghitung apakah investasi on-premise memberikan TCO yang lebih menarik. Gunakan perhitungan sederhana:
Biaya On-Premise
Harga server + listrik + cooling + data center + maintenance + networking + operasional selama periode penggunaan.
Bandingkan dengan:
Biaya Cloud
Compute GPU + CPU + RAM + storage + networking + data transfer + backup + layanan tambahan selama periode yang sama.
Jangan hanya membandingkan harga GPU per jam dengan harga server. Gunakan pola workload yang sebenarnya.
Server AI on-premise lebih layak dipertimbangkan ketika:
Pendekatan ini juga cocok ketika perusahaan ingin menjadikan AI sebagai bagian dari infrastruktur IT jangka panjang.
Cloud lebih menarik ketika:
Cloud memberikan ruang lebih luas bagi tim untuk mencoba sebelum mengambil keputusan investasi.
Perusahaan tidak harus memilih sepenuhnya on-premise atau sepenuhnya cloud. Arsitektur hybrid dapat menggabungkan keduanya. Sebagai contoh, perusahaan menggunakan server AI lokal untuk menjalankan inference terhadap data internal.
Ketika tim membutuhkan training besar selama beberapa hari, resource cloud digunakan sementara. Setelah proses training selesai, model kembali dijalankan pada server lokal. Contoh lain adalah perusahaan menjalankan database dan RAG secara lokal, sementara workload tertentu yang tidak melibatkan data sensitif diproses melalui cloud.
Pendekatan hybrid dapat memberikan keseimbangan antara kontrol dan fleksibilitas. Namun, arsitekturnya perlu dirancang dengan baik, terutama pada bagian jaringan, autentikasi, sinkronisasi data, deployment model dan monitoring.
Salah satu kesalahan yang sering terjadi adalah menentukan server produksi berdasarkan asumsi. Sebelum membeli hardware atau membuat komitmen cloud jangka panjang, jalankan proof of concept. Gunakan model yang benar-benar akan dipakai. Gunakan dataset yang karakteristiknya mendekati data produksi. Lalu ukur:
Hasil benchmark tersebut jauh lebih berguna dibandingkan menentukan server berdasarkan rekomendasi spesifikasi generik.
Jika perusahaan akhirnya memilih on-premise, jangan hanya menghitung GPU. Server AI dapat membutuhkan konsumsi daya dan menghasilkan panas yang cukup tinggi. Periksa apakah rack, UPS, PDU dan sistem cooling mampu menangani konfigurasi server.
Networking juga menjadi penting terutama ketika perusahaan menggunakan multi-node atau storage terpisah. Software stack juga perlu diperhatikan. Versi operating system, GPU driver, CUDA, framework AI, container runtime dan library harus kompatibel satu sama lain.
Perusahaan yang membutuhkan dukungan dari tahap persiapan hingga konfigurasi dapat mempertimbangkan Jasa Instalasi Server AI dari PT Pusat Server Indonesia untuk membantu assessment kebutuhan, instalasi hardware, setup environment dan pengujian sistem.
Tidak ada pilihan yang selalu lebih baik. Cloud unggul dalam kecepatan implementasi dan fleksibilitas, terutama untuk eksperimen, workload yang berubah-ubah atau kebutuhan GPU dalam waktu singkat.
Server AI on-premise unggul dalam kontrol dan kemampuan customisasi, serta dapat menarik untuk workload yang stabil dan terus digunakan dalam jangka panjang. Sementara itu, hybrid dapat digunakan ketika perusahaan membutuhkan kelebihan keduanya.
Keputusan terbaik sebaiknya dibuat berdasarkan data. Hitung workload, kebutuhan GPU, jumlah pengguna, volume data, latency, keamanan, pertumbuhan sistem serta Total Cost of Ownership. Dengan begitu, perusahaan tidak membeli hardware berlebihan tetapi juga tidak terjebak biaya cloud yang terus meningkat karena workload sebenarnya sudah stabil.
Untuk konsultasi pengadaan dan perencanaan server AI sesuai kebutuhan perusahaan, Anda dapat menghubungi Sparta Enterprise atau PT Pusat Server Indonesia untuk menentukan konfigurasi GPU, CPU, RAM, storage dan infrastruktur pendukung berdasarkan workload yang akan dijalankan.
Tergantung model, lisensi dan teknologi yang digunakan. Model open-weight yang dapat diunduh umumnya lebih mudah dipindahkan ke server lokal. Namun, model yang hanya tersedia melalui API layanan tertentu tidak selalu dapat dipindahkan karena perusahaan tidak memperoleh file modelnya.
Tidak selalu. Server dapat ditempatkan pada server room perusahaan atau fasilitas colocation selama kebutuhan power, cooling, jaringan dan keamanan fisiknya memenuhi spesifikasi perangkat. Istilah on-premise dalam praktik juga sering digunakan untuk membedakan infrastruktur yang dikendalikan perusahaan dengan public cloud.
Tidak selalu untuk proses inference. Model dapat berjalan sepenuhnya dalam jaringan lokal jika seluruh dependency sudah tersedia. Namun, koneksi internet dapat tetap dibutuhkan untuk update software, download model, sinkronisasi tertentu atau integrasi dengan layanan eksternal.
Bisa. Kantor cabang dapat mengakses server AI terpusat melalui WAN, VPN atau arsitektur jaringan perusahaan lainnya. Namun, bandwidth, latency, keamanan koneksi dan jumlah pengguna perlu dihitung agar performa tetap sesuai target.
Bisa, dan pendekatan ini cukup masuk akal untuk beberapa proyek. Cloud dapat digunakan saat proof of concept untuk menemukan model dan konfigurasi yang sesuai. Setelah workload stabil dan kebutuhan resource dapat diprediksi, perusahaan dapat mengevaluasi migrasi sebagian atau seluruh workload ke server lokal berdasarkan pertimbangan performa, data dan biaya.
Presented by Resolusiweb, a professional Digital Agency focused on helping brands grow online.