Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Server untuk RAG adalah infrastruktur yang digunakan untuk menjalankan sistem AI yang menggabungkan Large Language Model dengan sumber data eksternal perusahaan melalui proses retrieval dan generation.
Perusahaan saat ini mulai menggunakan artificial intelligence untuk membantu pencarian informasi, otomatisasi pekerjaan, customer support, hingga asisten internal berbasis data perusahaan. Namun, salah satu tantangan terbesar dalam implementasi AI adalah memastikan model dapat memberikan jawaban yang sesuai dengan informasi terbaru dan data internal perusahaan.
Large Language Model (LLM) memiliki kemampuan memahami bahasa dan menghasilkan jawaban, tetapi model tersebut tidak selalu mengetahui informasi khusus milik perusahaan seperti dokumen SOP, kontrak, database produk, laporan internal, atau knowledge base. Di sinilah teknologi Retrieval-Augmented Generation (RAG) mulai banyak digunakan.
Dengan RAG, perusahaan tidak harus melatih ulang model AI dari awal. Sistem cukup mengambil informasi yang relevan dari database internal, kemudian memberikan konteks tersebut kepada LLM agar menghasilkan jawaban yang lebih akurat.
Namun, membangun sistem RAG untuk kebutuhan perusahaan membutuhkan perencanaan infrastruktur yang tepat. Server harus mampu menangani beberapa komponen sekaligus, mulai dari penyimpanan dokumen, vector database, embedding model, LLM inference, hingga kebutuhan pengguna yang mengakses sistem secara bersamaan.
RAG atau Retrieval-Augmented Generation merupakan pendekatan AI yang menggabungkan kemampuan pencarian informasi dengan kemampuan generative AI. Pada model AI biasa, LLM hanya menggunakan pengetahuan yang diperoleh saat proses training.
Artinya, model tidak otomatis mengetahui dokumen internal perusahaan atau informasi terbaru setelah periode training selesai. RAG mengatasi masalah tersebut dengan menambahkan proses retrieval.
Ketika pengguna memberikan pertanyaan, sistem tidak langsung meminta LLM menjawab. Pertama, sistem mencari informasi yang relevan dari sumber data perusahaan. Informasi tersebut dapat berasal dari:
Data yang ditemukan kemudian diberikan sebagai konteks tambahan kepada LLM untuk menghasilkan jawaban. Menurut IBM, RAG menggunakan vector database untuk menyimpan representasi data dalam bentuk embedding sehingga sistem dapat melakukan pencarian berdasarkan makna, bukan hanya mencocokkan kata secara langsung.
Banyak perusahaan mulai mencoba AI menggunakan layanan cloud. Untuk tahap eksperimen, pendekatan tersebut memang praktis. Namun ketika AI mulai digunakan dalam operasional sehari-hari, kebutuhan infrastrukturnya menjadi lebih kompleks.
Contohnya: Sebuah perusahaan ingin membuat chatbot internal yang dapat menjawab pertanyaan mengenai:
Sistem tersebut harus membaca ribuan dokumen, melakukan pencarian cepat, menjaga keamanan data, dan memberikan respons dalam waktu singkat. Jika seluruh data dikirim ke layanan eksternal tanpa perencanaan keamanan yang baik, perusahaan dapat menghadapi risiko terkait privasi dan kontrol data. Dengan server RAG milik sendiri, perusahaan dapat memiliki kontrol lebih besar terhadap:
Untuk kebutuhan enterprise, RAG sering menjadi salah satu alasan perusahaan mulai mempertimbangkan penggunaan GPU Server Indonesia sebagai bagian dari infrastruktur AI.
Sistem RAG biasanya terdiri dari beberapa komponen utama.
Tahap pertama adalah sumber informasi perusahaan. Data dapat berasal dari berbagai format seperti:
Sebelum digunakan AI, data perlu dibersihkan dan dipersiapkan. Proses ini biasanya mencakup:
Dokumen kemudian diubah menjadi representasi numerik yang disebut embedding. Embedding membuat sistem dapat memahami hubungan makna antar informasi. Sebagai contoh, pertanyaan: “Bagaimana prosedur cuti karyawan?” Sistem tidak hanya mencari dokumen yang memiliki kata “cuti”. Tetapi mencari informasi yang memiliki arti serupa seperti:
Hasil embedding disimpan pada vector database. Database ini bertugas menyimpan dan mencari informasi berdasarkan kemiripan konteks. Pada sistem RAG berskala besar, performa vector database sangat berpengaruh terhadap kecepatan pencarian. Semakin besar jumlah dokumen perusahaan, semakin penting kemampuan storage, RAM, indexing, dan database engine.
Ketika pengguna bertanya, sistem melakukan pencarian dokumen yang paling relevan. Hasil pencarian tersebut menjadi konteks tambahan untuk LLM.
Tahap terakhir adalah generation. LLM menerima:
Kemudian menghasilkan jawaban berdasarkan konteks yang diberikan. Arsitektur tersebut membuat AI lebih relevan dengan kebutuhan perusahaan tanpa harus melakukan training ulang model dari awal.
Kebutuhan server RAG dapat berbeda tergantung ukuran model, jumlah dokumen, dan jumlah pengguna. Namun beberapa komponen utama yang perlu diperhatikan antara lain:
GPU menjadi komponen penting apabila perusahaan menjalankan LLM secara lokal. GPU digunakan untuk mempercepat proses inference model. Semakin besar model yang digunakan, semakin besar kebutuhan VRAM. Contohnya:
Untuk sistem RAG enterprise, GPU biasanya lebih dibutuhkan pada bagian generation dibandingkan retrieval. Jika perusahaan hanya menggunakan embedding model kecil dan LLM melalui API eksternal, kebutuhan GPU dapat lebih ringan. Namun jika seluruh pipeline dijalankan secara lokal, GPU menjadi komponen utama.
CPU tetap mempunyai peran penting dalam server RAG. CPU menangani:
CPU yang terlalu rendah dapat menjadi bottleneck terutama ketika banyak dokumen diproses secara bersamaan.
RAM sangat penting untuk sistem RAG. RAM digunakan untuk:
Jumlah RAM yang dibutuhkan bergantung pada:
Untuk implementasi perusahaan, RAM besar membantu menjaga performa ketika banyak proses berjalan bersamaan.
Storage menjadi bagian penting karena RAG sangat bergantung pada data. Server perlu menyimpan:
NVMe biasanya menjadi pilihan untuk workload AI karena memiliki latency rendah dan kecepatan baca tulis tinggi. Storage lambat dapat membuat proses retrieval menjadi kurang optimal.
Networking perlu diperhatikan terutama ketika:
Latency jaringan dapat memengaruhi waktu respons keseluruhan.
Tidak ada satu konfigurasi yang cocok untuk semua perusahaan. Spesifikasi bergantung pada skala penggunaan.
Contoh:
Konfigurasi dapat berupa:
Contoh:
Konfigurasi dapat membutuhkan:
Contoh:
Biasanya membutuhkan:
Untuk kebutuhan infrastruktur AI berskala enterprise, perusahaan dapat mempertimbangkan Core Server & Infrastruktur Sparta Server Indonesia.
Tidak selalu. RAG sebenarnya terdiri dari beberapa proses. Bagian retrieval seperti vector search lebih banyak bergantung pada:
Sedangkan bagian generation menggunakan LLM dapat sangat terbantu dengan GPU. Jika perusahaan menggunakan LLM melalui API eksternal, server lokal mungkin tidak membutuhkan GPU besar. Namun jika perusahaan ingin menjalankan LLM secara lokal, GPU menjadi salah satu komponen utama.
Perusahaan dapat membangun RAG menggunakan cloud maupun server sendiri. Cloud memberikan kemudahan untuk eksperimen. Namun untuk data sensitif, beberapa perusahaan memilih pendekatan on-premise. Server RAG lokal memberikan keuntungan:
Sementara cloud memberikan:
Pilihan terbaik bergantung pada kebutuhan bisnis. Pembahasan mengenai perbandingan tersebut dapat dilihat pada artikel Server AI On-Premise vs Cloud.
Sebelum membeli hardware untuk membangun server RAG, perusahaan perlu memahami terlebih dahulu kebutuhan sistem yang akan dijalankan. Spesifikasi server tidak dapat ditentukan hanya berdasarkan ukuran model AI, tetapi harus disesuaikan dengan jumlah data, jenis model, jumlah pengguna, kebutuhan keamanan, serta target performa yang ingin dicapai.
Hal pertama yang perlu diperhatikan adalah ukuran data yang akan digunakan dalam sistem RAG. Jumlah dokumen, database, dan sumber informasi perusahaan akan memengaruhi kebutuhan storage, kapasitas vector database, serta proses indexing yang dilakukan oleh sistem.
Selain itu, perusahaan juga perlu menentukan model AI yang akan digunakan. Apakah sistem menggunakan layanan AI berbasis cloud, open source LLM yang dijalankan secara lokal, model dengan ukuran kecil, atau model besar dengan kebutuhan komputasi tinggi. Setiap pilihan akan memiliki kebutuhan GPU, VRAM, RAM, dan infrastruktur yang berbeda.
Faktor berikutnya adalah jumlah pengguna yang akan mengakses sistem. Server RAG untuk penggunaan internal dengan puluhan pengguna tentu memiliki kebutuhan berbeda dibandingkan sistem yang digunakan oleh ribuan pengguna secara bersamaan. Semakin banyak pengguna, semakin besar kebutuhan terhadap performa inference, kapasitas server, dan kemampuan menangani request secara bersamaan.
Perusahaan juga perlu mempertimbangkan keamanan data. Apabila informasi yang digunakan dalam RAG berupa dokumen internal, data pelanggan, laporan bisnis, atau informasi rahasia, maka perlu ditentukan apakah data boleh diproses melalui layanan eksternal atau harus tetap berada dalam jaringan perusahaan.
Terakhir, tentukan target response time yang diharapkan. Apakah AI cukup memberikan jawaban dalam beberapa detik, atau harus memberikan respons hampir real-time untuk mendukung operasional bisnis. Target performa tersebut akan memengaruhi pemilihan GPU, optimasi model, konfigurasi server, hingga arsitektur deployment.
Dengan mempertimbangkan seluruh faktor tersebut sejak awal, perusahaan dapat menentukan desain server RAG yang lebih efisien, tidak berlebihan dari sisi biaya, tetapi tetap mampu memenuhi kebutuhan AI dalam jangka panjang.
Selain hardware, performa RAG juga dipengaruhi oleh optimasi sistem. Beberapa hal yang perlu diperhatikan:
Server mahal tidak otomatis menghasilkan AI yang baik jika pipeline RAG tidak dirancang dengan benar.
Server untuk RAG bukan hanya membutuhkan GPU besar. Sistem harus dirancang sebagai satu kesatuan antara model AI, vector database, storage, memory, networking dan keamanan.
Untuk perusahaan yang ingin menggunakan AI berbasis data internal, RAG menjadi salah satu pendekatan yang menarik karena dapat menghubungkan kemampuan LLM dengan informasi perusahaan tanpa harus melakukan training model dari awal. Namun keberhasilan implementasi sangat bergantung pada desain infrastrukturnya.
Mulai dari pemilihan GPU, kapasitas VRAM, RAM, storage, hingga arsitektur deployment perlu disesuaikan dengan kebutuhan nyata. Sparta Server Indonesia menyediakan solusi infrastruktur server untuk kebutuhan AI, termasuk GPU Server, AI Server, storage dan implementasi server enterprise.
Untuk kebutuhan konsultasi, pengadaan maupun instalasi, perusahaan dapat menggunakan Jasa Instalasi Server AI Sparta Server Indonesia agar konfigurasi server sesuai dengan workload RAG yang akan dijalankan.
WhatsApp kami +62 878‑2224‑1000
Tidak selalu. RAG dan training ulang mempunyai tujuan berbeda. RAG cocok ketika perusahaan ingin memberikan akses AI terhadap data terbaru tanpa mengubah model utama. Training ulang atau fine-tuning lebih cocok ketika perusahaan ingin mengubah kemampuan atau perilaku model secara lebih spesifik.
Tidak. Dokumen perlu melalui proses persiapan seperti pembersihan data, pengaturan format, pemisahan dokumen, pemberian metadata, dan pengaturan hak akses agar hasil retrieval tetap akurat dan aman.
Tidak selalu. Jika LLM dijalankan melalui layanan eksternal, GPU lokal mungkin tidak diperlukan. Namun jika perusahaan menjalankan LLM secara lokal, GPU dengan VRAM yang sesuai menjadi faktor penting.
Ukuran vector database dipengaruhi oleh jumlah dokumen, panjang teks, metode chunking, model embedding, dan metadata tambahan. Semakin banyak data yang diproses, semakin besar kebutuhan storage dan memory untuk indexing.
Bisa. Salah satu keunggulan RAG adalah data dapat diperbarui tanpa melakukan training ulang model. Ketika dokumen baru masuk, sistem dapat melakukan proses embedding dan indexing ulang sehingga AI dapat menggunakan informasi terbaru.