Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Membangun infrastruktur Generative AI on-premise menjadi pilihan bagi perusahaan yang ingin menjalankan chatbot, AI assistant, analisis dokumen, hingga model generatif menggunakan lingkungan komputasi yang dikendalikan sendiri. Pendekatan ini memungkinkan perusahaan menentukan lokasi pemrosesan data, memilih model yang digunakan, serta mengintegrasikan AI dengan sistem internal tanpa harus selalu bergantung pada layanan AI publik. Namun, implementasinya membutuhkan perencanaan yang lebih luas daripada sekadar membeli GPU server.
Generative AI mempunyai karakter workload yang berbeda dari aplikasi bisnis konvensional. Model bahasa besar membutuhkan kapasitas VRAM dan kemampuan komputasi tinggi, sementara aplikasi berbasis dokumen juga memerlukan database, storage, serta pipeline pengolahan data yang sesuai. Ketika sistem mulai digunakan banyak karyawan, kebutuhan latency, throughput, keamanan, dan availability ikut menjadi bagian penting dari desain infrastruktur.
Perusahaan sebaiknya memulai dari use case dan kebutuhan operasional sebelum menentukan hardware. Artikel ini membahas tahapan membangun Generative AI on-premise, mulai dari pemilihan model, perencanaan GPU server, pengelolaan data, deployment software, hingga pengujian dan pengembangan kapasitas.
Generative AI on-premise adalah penerapan model artificial intelligence generatif pada infrastruktur yang berada dalam lingkungan yang dikendalikan perusahaan. Infrastruktur tersebut dapat ditempatkan di server room, data center internal, maupun fasilitas colocation dengan pengelolaan yang sesuai kebutuhan organisasi. Model AI dijalankan melalui server lokal sehingga proses inference tidak harus dikirim ke layanan AI publik.
Pendekatan ini dapat digunakan untuk menghasilkan teks, kode, gambar, audio, maupun konten lain sesuai jenis model yang dipilih. Namun, kebutuhan infrastruktur setiap aplikasi berbeda karena model bahasa, image generation, dan video generation mempunyai karakter komputasi serta memory yang tidak sama. Karena itu, perusahaan tidak sebaiknya menganggap seluruh Generative AI dapat dijalankan menggunakan satu konfigurasi GPU yang identik.
On-premise juga tidak berarti perusahaan harus melatih foundation model dari awal. Banyak implementasi menggunakan model yang sudah tersedia, kemudian menjalankan inference, menghubungkannya dengan RAG, atau melakukan fine-tuning jika diperlukan. Pendekatan tersebut umumnya lebih realistis untuk perusahaan yang ingin membangun aplikasi AI berdasarkan kebutuhan bisnis tertentu.
Salah satu alasan utama adalah kebutuhan kontrol terhadap data dan infrastruktur. Perusahaan dapat menentukan bagaimana dokumen diproses, siapa yang mempunyai akses, serta layanan eksternal apa saja yang boleh terhubung dengan sistem AI. Hal ini relevan ketika aplikasi digunakan untuk mengolah dokumen internal, source code, informasi pelanggan, atau data operasional yang mempunyai kebijakan keamanan tertentu.
Selain itu, on-premise dapat memberikan fleksibilitas dalam memilih model dan mengatur software environment. Tim IT dapat menentukan versi model, inference engine, konfigurasi GPU, serta integrasi dengan aplikasi perusahaan sesuai kebutuhan. Namun, kontrol yang lebih besar juga berarti perusahaan bertanggung jawab terhadap maintenance, keamanan, monitoring, dan pengembangan infrastrukturnya.
Dari sisi biaya, server lokal dapat menarik untuk workload yang stabil dan digunakan secara terus-menerus. Meski demikian, keputusan tidak boleh hanya membandingkan harga server dengan tarif GPU cloud per jam. Perusahaan perlu menghitung total biaya kepemilikan, termasuk listrik, cooling, storage, networking, lisensi, dukungan teknis, dan operasional selama periode penggunaan.
Langkah pertama dalam membangun infrastruktur Generative AI on-premise adalah menentukan aplikasi yang benar-benar ingin digunakan. Perusahaan sebaiknya tidak langsung memilih model terbesar atau membeli beberapa GPU sebelum mengetahui masalah bisnis yang akan diselesaikan. Use case yang jelas membantu menentukan kebutuhan data, performa, keamanan, serta kapasitas hardware.
Sebagai contoh, perusahaan dapat memulai dari AI assistant yang membantu karyawan mencari informasi SOP dan dokumentasi produk. Use case lainnya adalah chatbot customer service, asisten penulisan dokumen, atau AI coding assistant untuk tim pengembangan software. Setiap aplikasi mempunyai kebutuhan berbeda dari sisi jumlah pengguna, panjang input, kualitas respons, dan integrasi dengan sistem internal.
Pada tahap ini, tentukan pula indikator keberhasilan yang dapat diukur. Misalnya, waktu pencarian informasi berkurang, respons chatbot memenuhi target latency, atau sistem mampu melayani sejumlah pengguna aktif secara bersamaan. Dengan indikator tersebut, perusahaan dapat mengevaluasi apakah investasi AI benar-benar memberikan manfaat sebelum memperluas implementasi.
Pemilihan model merupakan salah satu keputusan yang paling memengaruhi kebutuhan server. Model dengan jumlah parameter lebih besar biasanya membutuhkan kapasitas memory dan komputasi lebih tinggi, tetapi tidak selalu memberikan hasil terbaik untuk seluruh use case. Karena itu, perusahaan perlu membandingkan kualitas, kebutuhan hardware, lisensi, dan kompatibilitas software sebelum menentukan model produksi.
Untuk aplikasi berbasis teks, perusahaan dapat mengevaluasi model open-weight yang sesuai dengan kebutuhan bahasa, instruksi, dan domain penggunaan. Model yang lebih kecil dapat menjadi pilihan efisien apabila kualitas jawabannya sudah memenuhi target. Sementara itu, model yang lebih besar dapat dipertimbangkan ketika kebutuhan penalaran, pemahaman konteks, atau kualitas output memang memerlukan kemampuan tambahan.
Lisensi model juga perlu diperiksa sejak awal. Tidak semua model yang dapat diunduh bebas digunakan untuk seluruh kebutuhan komersial, dan beberapa mempunyai ketentuan distribusi atau penggunaan tertentu. Perusahaan perlu memastikan model, library, dan komponen software yang digunakan sesuai dengan kebijakan legal serta operasional organisasi.
Tidak semua kebutuhan Generative AI harus diselesaikan dengan fine-tuning. Jika perusahaan ingin AI menjawab pertanyaan berdasarkan dokumen internal yang sering berubah, RAG biasanya menjadi pendekatan yang layak dipertimbangkan. Sistem mengambil informasi relevan dari sumber data perusahaan, kemudian memberikannya sebagai konteks kepada model sebelum menghasilkan jawaban.
Fine-tuning mempunyai tujuan berbeda karena digunakan untuk menyesuaikan perilaku, format respons, atau kemampuan tertentu melalui proses pembelajaran tambahan. Metode seperti LoRA dan QLoRA dapat membantu mengurangi kebutuhan resource dibandingkan full fine-tuning pada konfigurasi tertentu. Namun, proses tersebut tetap membutuhkan GPU, dataset yang sesuai, serta evaluasi untuk memastikan hasil penyesuaian memberikan manfaat.
Dalam beberapa implementasi, RAG dan fine-tuning dapat digunakan bersama. Model dapat disesuaikan untuk mengikuti format atau instruksi tertentu, sementara RAG menyediakan informasi terbaru dari dokumen perusahaan. Pemilihan pendekatan sebaiknya dilakukan setelah menguji model dasar agar perusahaan tidak melakukan training yang sebenarnya belum diperlukan.
Setelah model dan metode implementasi ditentukan, perusahaan dapat mulai menghitung kebutuhan GPU server. Faktor yang perlu diperhatikan meliputi ukuran model, precision, quantization, panjang context, jumlah pengguna aktif, serta target latency dan throughput. Kebutuhan training atau fine-tuning juga harus dihitung secara terpisah dari inference karena penggunaan memory dan komputasinya berbeda.
GPU menjadi komponen utama ketika perusahaan menjalankan model generatif yang membutuhkan akselerasi komputasi tinggi. Kapasitas VRAM menentukan apakah bobot model, cache, dan alokasi sementara dapat dimuat pada perangkat, sedangkan kemampuan komputasi serta memory bandwidth memengaruhi performa. Karena itu, GPU dengan VRAM terbesar belum tentu selalu menjadi pilihan paling efisien untuk seluruh workload.
Sebagai gambaran, model 8B pada FP16 membutuhkan sekitar 16 GB hanya untuk bobotnya, belum termasuk kebutuhan runtime dan KV cache. Quantization dapat mengurangi kebutuhan memory, tetapi kapasitas aktual tetap dipengaruhi oleh context, concurrency, dan inference engine. Untuk model yang lebih besar, perusahaan dapat mempertimbangkan GPU dengan VRAM tinggi atau konfigurasi multi-GPU apabila software mendukung pembagian model.
Sparta Server Indonesia menyediakan pilihan GPU Server Indonesia untuk kebutuhan AI enterprise, termasuk opsi NVIDIA H100, H200, B200, L40S, dan RTX PRO. Konfigurasi dapat disesuaikan dengan kebutuhan model, kapasitas memory, serta rencana pengembangan perusahaan.
CPU tetap diperlukan untuk menjalankan sistem operasi, aplikasi, tokenization, preprocessing, database, dan berbagai proses pendukung lainnya. Pada sistem RAG, CPU juga dapat menangani ingestion dokumen serta sebagian pekerjaan retrieval sesuai arsitektur yang digunakan. Jika kemampuan CPU tidak mencukupi, GPU dapat mengalami waktu tunggu meskipun resource komputasinya masih tersedia.
RAM digunakan untuk mendukung aplikasi, cache, database, dan proses loading model. Kebutuhannya dapat meningkat apabila perusahaan menjalankan beberapa service sekaligus atau menggunakan vector database dengan index berukuran besar. Karena itu, kapasitas RAM sebaiknya ditentukan berdasarkan keseluruhan arsitektur, bukan hanya mengikuti rasio tertentu terhadap VRAM.
Storage digunakan untuk menyimpan model, dataset, container, checkpoint, database, serta hasil pemrosesan. NVMe dapat membantu mempercepat loading model, pembacaan dataset, dan penyimpanan checkpoint, tetapi tidak otomatis meningkatkan token per second apabila bottleneck utama berada pada GPU. Untuk kebutuhan data yang lebih besar, perusahaan dapat menggunakan kombinasi local NVMe dan shared storage sesuai pola akses.
Networking menjadi penting ketika application server, GPU compute, dan storage berada pada node berbeda. Pada lingkungan multi-GPU atau distributed training, komunikasi antarnode juga dapat memengaruhi performa secara signifikan. Namun, kebutuhan 25GbE, 100GbE, atau lebih tinggi harus ditentukan berdasarkan arsitektur dan hasil benchmark, bukan dijadikan persyaratan universal.
Spesifikasi server tidak dapat ditentukan hanya berdasarkan jumlah karyawan atau ukuran perusahaan. Model, precision, jumlah pengguna aktif, serta target performa dapat membuat kebutuhan dua organisasi dengan skala serupa menjadi sangat berbeda. Karena itu, tabel berikut merupakan kisaran awal untuk diskusi capacity planning, bukan spesifikasi minimum yang menjamin performa tertentu.
| Skala Implementasi | GPU | CPU | RAM | Storage |
|---|---|---|---|---|
| Proof of concept | 1 GPU dengan VRAM sesuai model | 8–16 core sebagai titik awal | 32–64 GB | NVMe 1 TB |
| Aplikasi internal kecil | 1 GPU kelas 16–24 GB untuk model kecil terkuantisasi yang sesuai | 8–16 core | 64–128 GB | NVMe 1–2 TB |
| Produksi perusahaan menengah | GPU VRAM besar atau beberapa GPU sesuai benchmark | 16–32 core | 128–256 GB | NVMe 2–4 TB dan storage data sesuai kebutuhan |
| Enterprise multi-workload | Multi-GPU atau beberapa node sesuai model dan traffic | Platform server multi-core | Sesuai jumlah service dan dataset | Storage enterprise serta networking sesuai kapasitas |
Kisaran tersebut perlu disesuaikan dengan kebutuhan aktual. Server yang hanya menjalankan inference model kecil dapat membutuhkan resource lebih rendah dibandingkan sistem yang sekaligus menangani RAG, fine-tuning, dan beberapa aplikasi generatif. Sebaliknya, model besar dengan context panjang dapat membutuhkan GPU berkapasitas tinggi meskipun jumlah penggunanya relatif sedikit.
Pembahasan lebih detail mengenai kebutuhan hardware berdasarkan ukuran model tersedia pada artikel Server untuk Menjalankan LLM Lokal. Artikel tersebut dapat digunakan sebagai referensi lanjutan sebelum perusahaan menentukan konfigurasi GPU, RAM, dan storage untuk lingkungan produksi.
Hardware yang sudah dipasang tetap membutuhkan software environment yang kompatibel agar model dapat dijalankan dengan baik. Perusahaan perlu menyiapkan sistem operasi, driver GPU, CUDA atau stack akselerasi yang sesuai, framework AI, container runtime, serta inference engine yang mendukung model pilihan. Versi komponen tersebut perlu diuji bersama agar tidak terjadi masalah kompatibilitas atau penurunan performa.
Untuk aplikasi LLM, inference engine dapat menyediakan fitur seperti batching, pengelolaan KV cache, dan kemampuan menjalankan model pada beberapa GPU sesuai dukungannya. Pemilihan engine perlu mempertimbangkan model, format quantization, target throughput, serta kemudahan integrasi dengan aplikasi perusahaan. Tidak semua fitur tersedia pada seluruh model dan hardware, sehingga pengujian tetap diperlukan sebelum deployment produksi.
NVIDIA melalui AI Enterprise Software Reference Architecture menjelaskan pendekatan infrastruktur produksi yang mengintegrasikan compute, networking, dan software untuk workload inference, fine-tuning, serta RAG. Referensi tersebut dapat menjadi acuan teknis dalam merancang lingkungan AI yang modular dan dapat dikembangkan.
Generative AI perusahaan biasanya membutuhkan akses terhadap sumber data yang sudah tersedia, seperti dokumen, database, ERP, CRM, atau knowledge base. Karena itu, perusahaan perlu menentukan bagaimana data diambil, dibersihkan, diperbarui, dan diberikan kepada model. Pada sistem RAG, proses ini dapat mencakup document extraction, chunking, embedding, indexing, serta retrieval.
Kualitas data mempunyai pengaruh besar terhadap kualitas jawaban. Dokumen yang tidak terstruktur, informasi yang sudah tidak berlaku, atau metadata yang tidak lengkap dapat menyebabkan sistem mengambil konteks yang kurang relevan. Karena itu, pengelolaan data perlu menjadi bagian dari proyek AI, bukan hanya pekerjaan tambahan setelah server selesai dipasang.
Integrasi aplikasi juga harus mempunyai batas akses yang jelas. Jika AI terhubung dengan ERP atau CRM, model tidak sebaiknya diberikan akses langsung tanpa autentikasi, otorisasi, dan validasi tindakan. Backend perlu memastikan setiap permintaan hanya dapat mengakses data atau fungsi yang memang diizinkan bagi pengguna tersebut.
Menjalankan Generative AI secara on-premise memberikan kontrol lebih besar terhadap lokasi pemrosesan data, tetapi tidak otomatis membuat sistem aman. Perusahaan tetap perlu menerapkan segmentasi jaringan, kontrol akses, enkripsi, patch management, serta monitoring terhadap aktivitas yang berisiko. Selain itu, kebijakan penyimpanan prompt, respons, dan log perlu disesuaikan dengan tingkat sensitivitas data.
Pada sistem RAG, hak akses dokumen harus diterapkan sebelum informasi diberikan kepada model. Pengguna yang tidak mempunyai izin membaca dokumen tertentu tidak boleh memperoleh isinya hanya melalui pertanyaan kepada chatbot. Karena itu, retrieval perlu dirancang dengan mekanisme permission filtering dan pengujian akses yang sesuai.
Perusahaan juga perlu memperhatikan risiko prompt injection, penyalahgunaan integrasi, dan kebocoran informasi melalui output. Model generatif tidak boleh dianggap sebagai komponen yang selalu dapat dipercaya untuk menentukan hak akses atau menjalankan tindakan penting. Validasi, pembatasan fungsi, dan persetujuan manusia untuk tindakan berisiko perlu diterapkan sesuai kebutuhan aplikasi.
Proof of concept merupakan tahap penting untuk memastikan model dan hardware benar-benar memenuhi kebutuhan perusahaan. Pengujian sebaiknya menggunakan data, pertanyaan, serta pola penggunaan yang mendekati kondisi operasional. Dengan demikian, perusahaan dapat memperoleh gambaran performa yang lebih realistis dibandingkan hanya mengandalkan spesifikasi GPU.
Untuk aplikasi LLM, beberapa metrik yang perlu diperhatikan adalah time to first token, token throughput, latency, jumlah pengguna aktif bersamaan, serta peak VRAM usage. Untuk image generation, perusahaan dapat mengukur waktu menghasilkan gambar, resolusi, batch size, dan kebutuhan memory sesuai model yang digunakan. Sementara itu, workload fine-tuning perlu diuji berdasarkan waktu training, penggunaan GPU, serta kapasitas penyimpanan checkpoint.
Hasil benchmark membantu menentukan apakah satu GPU sudah cukup atau diperlukan konfigurasi lebih besar. Perusahaan juga dapat mengetahui apakah bottleneck berada pada GPU, CPU, storage, database, atau jaringan. Dengan pendekatan tersebut, investasi hardware dapat dilakukan berdasarkan kebutuhan nyata, bukan sekadar asumsi.
Ketika Generative AI mulai digunakan dalam operasional perusahaan, monitoring menjadi bagian penting dari pengelolaan infrastruktur. Tim IT perlu memantau penggunaan GPU, VRAM, CPU, RAM, storage, latency, throughput, serta jumlah request yang mengalami error. Informasi tersebut membantu mendeteksi masalah sebelum layanan mengalami gangguan yang lebih besar.
Backup perlu mencakup data penting seperti database, konfigurasi aplikasi, model hasil fine-tuning, serta dataset yang sulit dibuat ulang. Redundancy storage dapat membantu menjaga ketersediaan perangkat, tetapi tidak menggantikan kebutuhan backup dan pengujian restore. Perusahaan juga perlu menentukan prosedur recovery apabila server, aplikasi, atau model mengalami kegagalan.
Untuk layanan yang mempunyai tingkat kepentingan tinggi, penggunaan beberapa node inference atau mekanisme failover dapat dipertimbangkan. Namun, arsitektur high availability harus disesuaikan dengan target ketersediaan dan dampak bisnis apabila layanan berhenti. Tidak semua aplikasi AI membutuhkan konfigurasi yang sama kompleksnya sejak tahap awal.
Kebutuhan Generative AI dapat meningkat seiring bertambahnya pengguna, model, dan sumber data. Karena itu, server sebaiknya dipilih dengan mempertimbangkan kemampuan ekspansi GPU, RAM, storage, serta networking. Namun, ruang pengembangan tersebut tetap perlu diseimbangkan dengan anggaran agar perusahaan tidak membeli kapasitas yang terlalu besar sebelum diperlukan.
Total Cost of Ownership perlu mencakup harga hardware, listrik, cooling, storage, networking, lisensi, maintenance, dan dukungan operasional. Perusahaan juga dapat membandingkan biaya tersebut dengan penggunaan cloud berdasarkan pola workload yang sebenarnya. Jika AI hanya digunakan sesekali, cloud mungkin lebih efisien, sedangkan workload yang stabil dapat membuat investasi on-premise lebih menarik pada kondisi tertentu.
Pendekatan hybrid juga dapat menjadi pilihan apabila perusahaan mempunyai kebutuhan komputasi yang berbeda-beda. Misalnya, inference terhadap data internal dijalankan secara lokal, sementara eksperimen tertentu menggunakan cloud sesuai kebijakan perusahaan. Namun, perpindahan data, biaya transfer, dan keamanan tetap perlu direncanakan dengan baik.
Membangun infrastruktur Generative AI on-premise membutuhkan perencanaan yang mencakup model, data, GPU server, software, keamanan, serta operasional. Setiap komponen mempunyai peran penting dalam menentukan apakah aplikasi dapat berjalan dengan cepat, stabil, dan sesuai kebutuhan perusahaan. Karena itu, keputusan pengadaan sebaiknya didasarkan pada hasil assessment dan pengujian workload nyata.
Perusahaan dapat memulai dari satu use case, kemudian mengembangkan infrastruktur ketika manfaat dan kebutuhan kapasitas sudah terbukti. Pendekatan tersebut membantu mengurangi risiko investasi berlebihan sekaligus memberikan ruang untuk penambahan GPU, storage, maupun node server di masa depan. Dengan desain yang tepat, Generative AI dapat menjadi bagian dari infrastruktur IT perusahaan yang dapat dikelola dan dikembangkan secara berkelanjutan.
Sparta Server Indonesia menyediakan solusi Server AI untuk LLM & Generative AI untuk kebutuhan perusahaan yang ingin menjalankan model AI secara lokal. Perencanaan dapat mencakup pemilihan GPU, CPU, RAM, storage, networking, serta infrastruktur pendukung melalui Core Server & Infrastruktur. Untuk kebutuhan implementasi, Jasa Instalasi Server AI dapat membantu proses persiapan hardware, konfigurasi environment, dan pengujian server sesuai workload yang akan dijalankan. WhatsApp kami +62 878‑2224‑1000
Bisa apabila model, aplikasi, lisensi yang memungkinkan, dan seluruh dependency yang diperlukan sudah tersedia pada lingkungan lokal. Namun, proses awal seperti pengunduhan model, aktivasi software tertentu, atau pembaruan keamanan mungkin tetap membutuhkan koneksi sesuai produk yang digunakan. Untuk lingkungan air-gapped, perusahaan perlu menyiapkan mekanisme distribusi update dan dependency secara terkontrol.
Bisa selama model baru mempunyai kebutuhan hardware dan software yang masih didukung oleh infrastruktur yang tersedia. Namun, model dengan ukuran, arsitektur, atau precision berbeda dapat membutuhkan VRAM dan kemampuan komputasi yang lebih tinggi. Karena itu, penggantian model sebaiknya melalui pengujian kompatibilitas serta benchmark sebelum diterapkan pada lingkungan produksi.
Bisa, tetapi kebutuhan infrastrukturnya berbeda dari LLM berbasis teks. Model image generation dapat membutuhkan GPU dengan VRAM dan kemampuan komputasi tertentu, sementara video generation biasanya mempunyai kebutuhan memory, storage, dan waktu pemrosesan yang lebih besar. Perusahaan perlu melakukan sizing berdasarkan model serta resolusi dan durasi output yang ingin dihasilkan.
Tidak selalu harus mengganti model, tetapi perusahaan perlu melakukan evaluasi berkala terhadap kualitas, keamanan, dan kesesuaian model dengan kebutuhan aplikasi. Pembaruan dapat berupa versi model baru, perbaikan inference engine, pembaruan data RAG, atau fine-tuning tambahan apabila memang diperlukan. Setiap perubahan sebaiknya diuji terlebih dahulu agar tidak menurunkan kualitas layanan yang sudah berjalan.
Perusahaan dapat menggunakan server, virtual machine, container, atau cluster yang terpisah sesuai kapasitas dan kebutuhan keamanan. Pemisahan ini membantu mencegah eksperimen model menggunakan seluruh resource yang dibutuhkan aplikasi produksi. Selain itu, proses deployment sebaiknya mempunyai pengelolaan versi, pengujian, dan mekanisme rollback agar perubahan dapat dilakukan secara lebih terkontrol.