Server AI untuk Universitas dan Riset: Cara
September 30, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Server AI untuk universitas dan riset adalah infrastruktur komputasi yang digunakan secara terpusat untuk mendukung penelitian artificial intelligence, machine learning, deep learning, computer vision, Large Language Model, hingga High Performance Computing. Alih-alih setiap laboratorium atau peneliti membeli GPU workstation sendiri, universitas dapat menyediakan GPU server bersama yang diakses oleh beberapa dosen, mahasiswa, dan kelompok riset sesuai kebutuhan. Pendekatan ini dapat membantu resource GPU digunakan lebih terstruktur sekaligus mempermudah pengelolaan software, dataset, storage, dan akses pengguna.
Namun, membangun server AI kampus tidak cukup dengan membeli GPU berkapasitas VRAM besar. Universitas perlu memperkirakan jumlah pengguna, jenis penelitian, ukuran dataset, kebutuhan training dan inference, durasi penggunaan GPU, hingga kemungkinan beberapa kelompok riset menjalankan eksperimen pada waktu yang sama. CPU, RAM, storage, networking, software environment, sistem antrean, dan pengaturan hak akses juga ikut menentukan apakah infrastruktur tersebut benar-benar nyaman digunakan.
Perencanaan menjadi semakin penting apabila server akan digunakan lintas program studi atau fakultas. Kebutuhan mahasiswa yang sedang belajar computer vision tentu berbeda dengan kelompok riset yang melakukan fine-tuning LLM atau distributed training. Karena itu, GPU server untuk riset sebaiknya dirancang berdasarkan pola workload bersama, bukan hanya berdasarkan satu proyek penelitian.
Penelitian AI semakin banyak menggunakan workload yang membutuhkan komputasi paralel. Model computer vision, natural language processing, generative AI, simulasi, dan deep learning dapat membutuhkan waktu training cukup panjang apabila hanya dijalankan menggunakan CPU. GPU membantu mempercepat pekerjaan tersebut karena mampu menjalankan banyak operasi komputasi secara paralel.
Masalahnya, tidak semua kelompok riset menggunakan GPU sepanjang waktu. Sebuah laboratorium mungkin membutuhkan GPU secara intensif ketika melakukan training selama beberapa minggu, kemudian utilisasinya turun setelah eksperimen selesai. Jika setiap laboratorium membeli server sendiri, terdapat kemungkinan sebagian GPU tidak digunakan secara optimal pada periode tertentu.
Server bersama memungkinkan kapasitas komputasi dikonsolidasikan pada satu lingkungan. Peneliti dapat memperoleh resource ketika dibutuhkan, sementara administrator universitas dapat mengatur siapa yang menggunakan GPU, berapa lama resource diberikan, dan aplikasi apa yang dijalankan. Sparta Server Indonesia juga menyediakan Server Machine Learning & Deep Learning untuk institusi riset dan developer dengan konfigurasi yang dapat digunakan untuk eksperimen, training, hingga deployment model AI.
GPU server universitas sebaiknya dirancang agar tidak terlalu terikat pada satu jenis penelitian. Selama software dan resource yang dibutuhkan tersedia, satu infrastruktur dapat digunakan oleh beberapa bidang dengan karakter workload berbeda. Fleksibilitas ini menjadi salah satu alasan mengapa perencanaan server bersama perlu mempertimbangkan kebutuhan beberapa tahun ke depan.
Beberapa workload yang dapat menggunakan server AI antara lain:
Tidak semua penelitian tersebut memiliki kebutuhan GPU yang sama. Beberapa eksperimen membutuhkan kemampuan FP64 untuk komputasi ilmiah, sedangkan deep learning lebih banyak mempertimbangkan tensor performance, VRAM, dan memory bandwidth. Karena itu, universitas perlu memetakan workload sebelum menentukan tipe GPU yang akan dibeli.
Kesalahan yang cukup mudah terjadi adalah menentukan GPU terlebih dahulu karena melihat spesifikasinya tinggi. Pendekatan yang lebih tepat adalah mendata calon pengguna dan penelitian yang akan memanfaatkan server. Informasi tersebut kemudian digunakan untuk menghitung kebutuhan compute, memory, storage, dan kapasitas penggunaan bersama.
Universitas dapat memulai dengan mendata jumlah fakultas, laboratorium, dosen, dan mahasiswa yang berpotensi menggunakan GPU. Setelah itu, identifikasi software, model AI, ukuran dataset, serta perkiraan frekuensi eksperimen masing-masing kelompok. Data ini akan memberikan gambaran apakah satu GPU sudah cukup atau server perlu dirancang untuk beberapa GPU.
Beberapa pertanyaan yang sebaiknya dijawab sejak awal antara lain:
Perencanaan berbasis workload membantu universitas menghindari dua kondisi ekstrem. Server yang terlalu kecil akan cepat menjadi bottleneck dan menyebabkan antrean eksperimen panjang, sedangkan konfigurasi yang terlalu besar dapat membuat anggaran terserap untuk resource yang jarang digunakan. Pendekatan serupa juga dibahas Sparta Server Indonesia dalam artikel Infrastruktur AI untuk Perusahaan: Dari GPU Server hingga Storage dan Networking, yaitu merencanakan compute, memory, storage, dan network sebagai satu sistem berdasarkan workload aktual.
Satu GPU masih dapat digunakan untuk laboratorium kecil atau tahap awal pembangunan fasilitas AI. Server dapat menjalankan eksperimen mahasiswa secara bergantian, inference model, atau training yang tidak membutuhkan kapasitas komputasi terlalu besar. Konfigurasi ini juga lebih sederhana dari sisi biaya, konsumsi listrik, cooling, dan administrasi.
Namun, kebutuhan universitas biasanya bertambah ketika jumlah pengguna meningkat. Satu GPU dapat menjadi bottleneck apabila beberapa mahasiswa atau tim riset harus menjalankan eksperimen pada waktu bersamaan. Selain itu, model tertentu dapat membutuhkan kapasitas memory atau performa yang sulit dipenuhi satu GPU.
Multi-GPU memberikan kapasitas lebih besar, tetapi tidak berarti setiap penelitian otomatis menjadi dua atau empat kali lebih cepat. Peningkatan performa tergantung framework, model, metode paralelisasi, interkoneksi GPU, dan karakter workload. Pertimbangan tersebut lebih detail dibahas dalam artikel Single GPU vs Multi-GPU Server: Mana yang Tepat untuk Workload AI?.
Jumlah GPU sebaiknya dihitung dari concurrency dan kebutuhan komputasi, bukan hanya jumlah mahasiswa yang terdaftar. Seratus mahasiswa tidak berarti universitas membutuhkan seratus GPU karena tidak seluruh pengguna akan melakukan training pada waktu yang sama. Sebaliknya, lima kelompok riset dapat membutuhkan banyak GPU apabila masing-masing menjalankan workload berat secara bersamaan.
Sebagai contoh, satu GPU dapat dialokasikan untuk eksperimen pembelajaran dan inference ringan. GPU lain dapat disediakan bagi penelitian dengan training lebih berat, sementara beberapa GPU dapat dikelompokkan ketika terdapat eksperimen yang membutuhkan distributed training. Model pembagian seperti ini dapat memberikan fleksibilitas lebih baik dibandingkan membuat seluruh GPU selalu digunakan dalam konfigurasi yang sama.
Pada tahap awal, universitas juga dapat memilih chassis yang memungkinkan ekspansi GPU. Server mungkin dimulai dengan dua atau empat GPU kemudian ditambah ketika tingkat utilisasi sudah menunjukkan kebutuhan nyata. Pendekatan tersebut membuat investasi awal lebih terkontrol tanpa menutup kemungkinan pengembangan infrastruktur.
VRAM menentukan seberapa besar model dan workload yang dapat diproses langsung oleh GPU. Model computer vision relatif kecil mungkin dapat menggunakan VRAM menengah, sedangkan LLM, generative AI, atau training deep learning yang kompleks dapat membutuhkan kapasitas jauh lebih besar. Batch size, precision, resolusi input, context length, dan metode training juga memengaruhi konsumsi memory.
Untuk server bersama, headroom menjadi penting karena administrator tidak hanya memikirkan apakah sebuah model dapat berjalan. Infrastruktur juga harus dapat menangani variasi eksperimen dari banyak peneliti yang belum tentu sudah diketahui saat server dibeli. GPU dengan VRAM lebih besar dapat memberikan fleksibilitas lebih tinggi untuk penelitian baru dalam beberapa tahun berikutnya.
Namun, membeli VRAM terbesar juga bukan satu-satunya solusi. Quantization, gradient checkpointing, mixed precision, dan berbagai teknik optimasi dapat membantu menurunkan kebutuhan memory pada penelitian tertentu. Karena itu, kebutuhan VRAM ideal perlu dibandingkan dengan biaya, jumlah GPU, dan karakter penelitian universitas.
Jika setiap user selalu memperoleh satu GPU fisik penuh, utilisasi dapat menjadi kurang efisien. Mahasiswa yang hanya melakukan inference ringan mungkin menggunakan sebagian kecil kapasitas GPU, sementara peneliti lain sedang menunggu resource tersedia. Infrastruktur bersama membutuhkan mekanisme untuk mengalokasikan resource sesuai karakter pekerjaan.
Salah satu pendekatan yang dapat digunakan adalah GPU virtualization. Teknologi seperti GPU passthrough, NVIDIA vGPU, atau NVIDIA MIG dapat digunakan pada skenario tertentu untuk mengalokasikan kemampuan GPU kepada workload yang berbeda. Pemilihannya bergantung pada GPU, platform virtualisasi, software, dan tingkat isolasi yang dibutuhkan.
Sparta Server Indonesia membahas mekanisme tersebut melalui artikel GPU Virtualization AI: Cara Membagi Resource Server. GPU virtualization dapat membantu beberapa workload berbagi perangkat fisik, tetapi konfigurasi tetap harus mengikuti karakter aplikasi karena tidak semua penelitian cocok menggunakan resource GPU yang dibagi.
Pada lingkungan riset, terdapat kemungkinan beberapa peneliti mengirimkan training job pada waktu bersamaan. Tanpa pengelolaan, satu pengguna dapat mengambil hampir seluruh GPU sehingga peneliti lain harus menunggu tanpa kepastian. Karena itu, universitas perlu memikirkan scheduling sejak server mulai digunakan banyak orang.
Sistem antrean dapat menentukan siapa yang memperoleh GPU, berapa banyak resource yang dialokasikan, dan berapa lama job boleh berjalan. Administrator juga dapat menerapkan priority atau fair-share agar satu laboratorium tidak terus-menerus menggunakan seluruh kapasitas. Model seperti ini sudah umum dalam lingkungan HPC karena compute resource memang dirancang untuk dibagi banyak pengguna.
Untuk cluster penelitian, scheduler seperti Slurm dapat menjadi salah satu pendekatan yang dipertimbangkan. Kubernetes juga dapat digunakan untuk workload berbasis container, terutama ketika server berkembang menjadi beberapa node dan menjalankan banyak aplikasi. Pemilihannya sebaiknya mengikuti pola penelitian dan kemampuan tim administrator, bukan semata karena platform tertentu sedang populer.
Universitas tidak harus menggunakan Kubernetes hanya karena memiliki GPU server. Jika hanya ada satu server dan jumlah workload masih sedikit, container biasa atau scheduler yang lebih sederhana dapat lebih mudah dikelola. Menambah orchestration layer terlalu cepat justru dapat meningkatkan kompleksitas operasional.
Kubernetes mulai lebih relevan ketika terdapat banyak node, beberapa aplikasi AI, banyak pengguna, dan kebutuhan deployment yang sering berubah. Platform tersebut dapat membantu administrator menentukan resource GPU untuk container dan mengatur penempatan workload ke node yang tersedia. Namun, Kubernetes sendiri tidak membuat training model otomatis lebih cepat.
Sparta Server Indonesia membahas kondisi penggunaannya dalam artikel Kubernetes untuk GPU Server: Kapan Dibutuhkan?. Artikel tersebut menjelaskan bahwa orchestration lebih berguna ketika jumlah server, GPU, aplikasi, dan pengguna sudah bertambah, sementara lingkungan sederhana belum tentu membutuhkannya.
GPU membutuhkan CPU untuk mempersiapkan data, menjalankan sistem operasi, melakukan preprocessing, menangani container, dan mengelola berbagai proses aplikasi. Server dengan GPU sangat kuat tetapi CPU terlalu terbatas dapat mengalami bottleneck pada beberapa workload. Karena itu, jumlah core dan kemampuan platform CPU perlu disesuaikan dengan jumlah GPU serta karakter penelitian.
CPU juga menentukan kemampuan ekspansi melalui jumlah PCIe lane yang tersedia. Server multi-GPU membutuhkan jalur PCIe yang memadai agar setiap GPU dapat berkomunikasi dengan sistem tanpa keterbatasan yang tidak diperlukan. Pilihan platform seperti Intel Xeon atau AMD EPYC biasanya ditentukan setelah jumlah GPU, RAM, storage, dan kebutuhan I/O diketahui.
Untuk penelitian yang lebih banyak menggunakan simulasi atau traditional machine learning, CPU bahkan dapat menjadi resource utama. Karena itu, server universitas yang melayani banyak bidang sebaiknya tidak terlalu berat hanya pada GPU. Keseimbangan antar komponen memberikan fleksibilitas untuk penelitian yang lebih luas.
RAM digunakan untuk sistem operasi, preprocessing dataset, data loader, cache, aplikasi, virtual machine, dan proses lain sebelum data dipindahkan ke GPU. Pada training dataset besar, kapasitas RAM dapat memengaruhi kelancaran pipeline data. Penggunaan beberapa container atau virtual machine secara bersamaan juga meningkatkan konsumsi memory.
Server bersama membutuhkan RAM lebih besar dibandingkan workstation yang hanya digunakan satu peneliti. Ketika beberapa job berjalan, masing-masing dapat meminta puluhan gigabyte memory meskipun kebutuhan VRAM-nya tidak terlalu tinggi. Karena itu, administrator perlu menentukan memory limit agar satu job tidak menghabiskan seluruh RAM server.
ECC Registered Memory umumnya digunakan pada platform server untuk meningkatkan reliabilitas operasional. Sparta Server Indonesia menyediakan konfigurasi GPU server dengan RAM yang dapat disesuaikan dengan workload, termasuk kapasitas besar untuk AI dan HPC. Hal tersebut menjadi relevan bagi universitas yang ingin menggunakan satu platform untuk beberapa jenis penelitian.
Dataset penelitian dapat tumbuh lebih cepat daripada perkiraan awal. Computer vision dapat menyimpan jutaan gambar, medical imaging mempunyai file berukuran besar, sedangkan penelitian LLM dapat membutuhkan dataset teks, model weights, checkpoint, dan berbagai versi eksperimen. Jika setiap peneliti menyimpan salinan sendiri, kapasitas storage dapat cepat habis.
NVMe SSD cocok untuk active dataset dan workload yang membutuhkan throughput tinggi. Kecepatan storage membantu data loader memasok data ke GPU sehingga GPU tidak banyak menunggu proses I/O. Namun, seluruh dataset tidak harus selalu disimpan pada NVMe karena biaya per kapasitasnya lebih tinggi dibandingkan storage untuk arsip.
Universitas dapat membagi penyimpanan menjadi beberapa tier. NVMe digunakan untuk dataset aktif dan scratch space, sedangkan storage kapasitas besar digunakan untuk arsip, backup, dan dataset yang jarang diakses. Perencanaan seperti ini penting terutama ketika satu GPU server digunakan bersama oleh beberapa laboratorium.
Ketika infrastruktur berkembang menjadi beberapa node, menyimpan dataset hanya pada local disk dapat menyulitkan kolaborasi. Peneliti harus menyalin data dari satu server ke server lain, dan duplikasi tersebut menggunakan kapasitas storage tambahan. Shared storage memungkinkan beberapa compute node mengakses dataset dari lokasi terpusat.
Namun, shared storage harus memiliki throughput yang cukup tinggi. Jika puluhan job membaca dataset secara bersamaan melalui storage yang lambat, GPU dapat mengalami idle karena menunggu data. Dalam kondisi ini, masalah performa bukan berasal dari kemampuan GPU tetapi dari data pipeline.
Karena itu, throughput storage perlu diuji sesuai pola penelitian. Large sequential file, jutaan file kecil, checkpoint, dan random access memiliki karakter I/O berbeda. Infrastruktur riset sebaiknya dirancang berdasarkan benchmark dataset yang benar-benar akan digunakan.
Satu GPU server dengan local NVMe belum membutuhkan jaringan antarnode yang sangat kompleks. Kebutuhan berubah ketika universitas menggunakan shared storage, beberapa compute server, atau distributed training. Data harus berpindah antarserver dengan bandwidth tinggi agar komunikasi tidak menjadi bottleneck.
Jaringan 10GbE dapat mencukupi untuk beberapa deployment sederhana, sementara cluster lebih besar dapat membutuhkan 25GbE, 100GbE, atau lebih tinggi berdasarkan traffic aktual. Distributed training bahkan dapat membutuhkan interconnect berlatensi rendah karena GPU harus sering bertukar data selama proses training. Tidak ada satu bandwidth yang otomatis cocok untuk semua laboratorium.
Sparta Server Indonesia juga menekankan bahwa kebutuhan networking harus ditentukan berdasarkan jumlah node, volume data, serta pola komunikasi workload. Infrastruktur dengan satu GPU server memiliki kebutuhan berbeda dengan cluster training dan shared storage berperforma tinggi.
GPU server yang kuat belum tentu produktif apabila setiap mahasiswa harus menghabiskan waktu berhari-hari hanya untuk memperbaiki dependency. Penelitian AI sering menggunakan Python, PyTorch, TensorFlow, CUDA, Jupyter, Hugging Face, RAPIDS, dan library lain dengan versi berbeda. Konflik software mudah terjadi apabila seluruh pengguna memasang package langsung pada satu environment.
Container dapat membantu membuat environment lebih terisolasi. Setiap kelompok penelitian dapat mempunyai Docker image atau container sendiri dengan versi library yang dibutuhkan tanpa terlalu mengganggu proyek lain. Administrator juga dapat menyediakan beberapa base image standar agar mahasiswa tidak selalu membuat environment dari awal.
Versioning tetap penting karena eksperimen ilmiah perlu dapat direproduksi. Informasi mengenai model, dataset, library, CUDA version, driver, hyperparameter, dan commit code sebaiknya dicatat bersama hasil eksperimen. Infrastruktur yang baik tidak hanya mempercepat training, tetapi juga membantu penelitian menjadi lebih mudah direplikasi.
Jupyter Notebook atau JupyterLab cukup umum digunakan dalam pembelajaran machine learning dan data science. Interface berbasis browser memudahkan mahasiswa menjalankan Python, melihat visualisasi, dan melakukan eksperimen tanpa harus selalu mengelola server melalui command line. Dalam sistem multi-user, administrator dapat menyediakan akses dengan autentikasi dan resource limit.
Penggunaan Jupyter tetap perlu dikontrol agar satu notebook tidak mengambil seluruh GPU atau RAM. Idle session juga sebaiknya memiliki timeout atau kebijakan tertentu agar resource kembali tersedia bagi pengguna lain. Dengan pengaturan tersebut, server dapat digunakan untuk kegiatan praktikum sekaligus penelitian tanpa terlalu banyak konflik resource.
Untuk mata kuliah, environment bahkan dapat dibuat seragam bagi seluruh mahasiswa. Dosen dapat menentukan library dan dataset yang digunakan sejak awal semester, sementara server menyediakan resource secara terpusat. Pendekatan ini mengurangi perbedaan konfigurasi laptop pribadi yang sering menjadi kendala selama praktikum.
Workload pendidikan dan penelitian memiliki karakter berbeda. Praktikum biasanya membutuhkan GPU dalam waktu pendek dengan jumlah pengguna relatif banyak, sedangkan training riset dapat berjalan berjam-jam atau berhari-hari. Jika keduanya tidak diatur, training panjang dapat menghabiskan resource ketika mahasiswa sedang mengikuti kelas.
Administrator dapat membuat beberapa queue atau partition. Sebagian GPU dialokasikan untuk praktikum pada jam tertentu, sementara sisanya digunakan untuk penelitian. Setelah kelas selesai, resource dapat dikembalikan ke pool riset jika sistem scheduling mendukung kebijakan tersebut.
Pembagian juga dapat dilakukan berdasarkan prioritas. Skripsi, tesis, penelitian dosen, dan project eksternal mungkin mendapatkan aturan berbeda berdasarkan kebijakan universitas. Yang terpenting, aturan penggunaan dibuat transparan sehingga pengguna memahami bagaimana resource dialokasikan.
GPU virtualization dan job scheduling menyelesaikan masalah yang berbeda. Virtualization membantu membagi atau mengisolasi GPU untuk beberapa workload tertentu, sedangkan scheduler mengatur kapan dan di mana sebuah job dijalankan. Dalam infrastruktur universitas, keduanya bahkan dapat digunakan secara bersamaan jika kebutuhan memang membenarkan kompleksitas tersebut.
Untuk praktikum ringan, partisi GPU dapat membantu beberapa mahasiswa menggunakan accelerator yang sama. Untuk training besar, peneliti mungkin membutuhkan satu atau beberapa GPU secara penuh agar performa tidak terganggu workload lain. Karena itu, administrator perlu menyediakan beberapa kelas resource daripada memaksakan satu mekanisme pembagian untuk semua pengguna.
Keputusan tersebut juga tergantung GPU yang digunakan. Tidak semua GPU mendukung metode pembagian resource yang sama, dan implementasi vGPU atau MIG dapat memiliki persyaratan software serta lisensi tertentu. Evaluasi kompatibilitas sebaiknya dilakukan sebelum universitas menjadikan virtualization sebagai dasar arsitektur.
Tidak semua dataset universitas bersifat publik. Penelitian medis dapat menggunakan data pasien, penelitian industri dapat menggunakan data mitra perusahaan, sedangkan proyek tertentu mungkin berada di bawah perjanjian kerahasiaan. Karena itu, sistem akses tidak boleh hanya menggunakan satu akun bersama untuk seluruh mahasiswa.
Setiap pengguna sebaiknya memiliki identitas sendiri dengan hak akses yang sesuai. Dataset tertentu dapat dibatasi hanya untuk kelompok penelitian terkait, sementara administrator tetap dapat melakukan audit penggunaan server. Network segmentation, access control, SSH policy, MFA, dan pengelolaan credential dapat dipertimbangkan berdasarkan tingkat sensitivitas data.
Backup juga tidak sama dengan keamanan akses. Dataset penting, source code, konfigurasi, dan hasil eksperimen perlu memiliki strategi backup serta recovery yang jelas. Peneliti sebaiknya mengetahui data mana yang dibackup otomatis dan mana yang hanya berada pada scratch storage sementara.
Universitas sebaiknya mencatat penggunaan GPU sejak awal. Data seperti GPU utilization, VRAM usage, jumlah job, queue time, durasi training, storage usage, dan jumlah pengguna aktif memberikan gambaran apakah kapasitas yang tersedia sudah mencukupi. Informasi tersebut jauh lebih objektif dibandingkan menentukan upgrade hanya berdasarkan keluhan bahwa server terasa penuh.
Jika GPU selalu berada pada utilisasi tinggi dan antrean terus bertambah, penambahan kapasitas dapat mulai dipertimbangkan. Sebaliknya, jika sebagian GPU sering idle, administrator dapat mengevaluasi sistem scheduling atau pola akses sebelum membeli hardware tambahan. Data tersebut juga dapat membantu universitas menyusun proposal anggaran untuk pengembangan laboratorium.
Monitoring juga membantu menemukan resource yang salah konfigurasi. Sebuah training job mungkin mengalokasikan seluruh GPU tetapi hanya menggunakan sebagian kecil kemampuan komputasi karena bottleneck berada pada CPU atau storage. Dengan monitoring, masalah tersebut dapat diperbaiki tanpa selalu melakukan upgrade hardware.
Tidak ada konfigurasi yang berlaku untuk seluruh universitas. Jumlah mahasiswa bukan satu-satunya penentu karena intensitas penelitian setiap kampus berbeda. Tabel berikut dapat digunakan sebagai gambaran awal sebelum dilakukan assessment yang lebih spesifik.
| Skala Penggunaan | Contoh Infrastruktur | Fokus Utama |
|---|---|---|
| Laboratorium awal | 1 GPU server, 1–2 GPU | Praktikum dan proof of concept |
| Beberapa kelompok riset | 1 server, 2–4 GPU | Multi-user, scheduling, storage |
| Pusat AI universitas | Multi-GPU server | Training, LLM, computer vision |
| Lintas fakultas | Beberapa GPU server + shared storage | Resource sharing dan governance |
| Research Computing Center | Multi-node GPU/HPC cluster | Distributed training, HPC, high-speed network |
Laboratorium kecil yang menjalankan model sangat besar dapat membutuhkan GPU lebih tinggi dibandingkan kampus dengan banyak pengguna tetapi workload relatif ringan. Karena itu, capacity planning harus menggunakan data penggunaan dan target penelitian.
Belum tentu. GPU kelas tertinggi memang menyediakan kapasitas komputasi, memory, dan bandwidth besar, tetapi manfaatnya harus dibandingkan dengan workload yang benar-benar digunakan. Jika mayoritas penelitian hanya menjalankan model kecil, beberapa GPU kelas menengah dapat memberikan concurrency lebih baik dibandingkan satu GPU sangat mahal.
Sebaliknya, universitas yang aktif melakukan training LLM, scientific computing, atau deep learning berskala besar dapat memperoleh manfaat lebih besar dari GPU data center berperforma tinggi. Pertimbangannya bukan hanya kecepatan, tetapi juga VRAM, reliability, dukungan multi-GPU, power, cooling, dan lifecycle hardware. Pilihan GPU karena itu sebaiknya berasal dari hasil pemetaan penelitian.
Sparta Server Indonesia menyediakan GPU Server Indonesia dengan konfigurasi untuk AI, machine learning, deep learning, rendering, data analytics, dan HPC. Konfigurasi dapat menggunakan satu maupun beberapa GPU sesuai target komputasi dan kebutuhan pengembangan sistem.
GPU berperforma tinggi mempunyai kebutuhan daya yang tidak kecil. Jika server menggunakan beberapa GPU, konsumsi listrik keseluruhan dapat meningkat cukup signifikan ketika training berjalan pada utilisasi tinggi. Universitas perlu memastikan power distribution, UPS, dan kapasitas listrik ruangan sesuai dengan konfigurasi server.
Cooling juga tidak boleh dihitung berdasarkan kondisi server saat idle. Training AI dapat membuat GPU dan CPU bekerja dalam waktu panjang sehingga panas yang dihasilkan jauh lebih tinggi. Server room perlu mampu membuang panas secara konsisten agar hardware tetap bekerja dalam rentang temperatur operasional yang aman.
Faktor tersebut sering terlupakan ketika pembelian terlalu fokus pada harga server. Padahal server yang tidak dapat digunakan penuh karena power atau cooling tidak mencukupi akan mengurangi manfaat investasi. Assessment lokasi sebaiknya menjadi bagian dari perencanaan pengadaan.
Cloud GPU memberikan fleksibilitas karena peneliti dapat menggunakan resource tertentu tanpa universitas membeli seluruh hardware. Pendekatan ini cocok untuk eksperimen singkat, kebutuhan sementara, atau penelitian yang memerlukan jenis GPU berbeda dari server kampus. Namun, biaya dapat meningkat apabila training berjalan terus-menerus dalam waktu panjang.
On-premise memberikan kontrol lebih besar terhadap hardware, dataset, jadwal penggunaan, dan software environment. Infrastruktur dapat digunakan banyak kelompok riset tanpa biaya komputasi per jam seperti pada cloud, meskipun universitas tetap menanggung investasi awal, power, cooling, dan maintenance. Model ini menarik ketika tingkat pemanfaatan GPU sudah cukup tinggi.
Hybrid memungkinkan keduanya digunakan bersamaan. Workload rutin dijalankan pada server kampus, sementara eksperimen yang membutuhkan kapasitas sementara dapat menggunakan cloud. Strategi tersebut dapat memberikan ruang fleksibilitas tanpa membuat universitas harus menyediakan hardware untuk setiap skenario ekstrem.
GPU server bersama membutuhkan aturan yang jelas agar penggunaan tetap adil. Kebijakan dapat mengatur maksimum jumlah GPU per user, durasi job, penggunaan pada jam praktikum, penyimpanan dataset, hingga prioritas penelitian tertentu. Tanpa aturan tersebut, konflik biasanya baru muncul ketika kapasitas server mulai penuh.
Administrator juga perlu menentukan proses pendaftaran pengguna dan penghentian akses. Mahasiswa yang sudah lulus atau peneliti yang sudah selesai proyeknya sebaiknya tidak terus memiliki akses tanpa evaluasi. Dataset lama juga perlu memiliki retention policy agar storage tidak dipenuhi file eksperimen yang tidak lagi digunakan.
Kebijakan tidak harus terlalu kompleks sejak awal. Yang penting adalah aturan tersebut terdokumentasi dan dapat berkembang bersama infrastruktur. Data monitoring kemudian dapat digunakan untuk memperbaiki sistem alokasi berdasarkan pola pemakaian aktual.
Perencanaan sebaiknya dimulai dari kebutuhan penelitian, bukan katalog hardware. Universitas perlu memahami siapa pengguna server, jenis workload, kebutuhan dataset, serta target pengembangan beberapa tahun ke depan. Setelah itu barulah konfigurasi GPU, CPU, RAM, storage, dan networking dihitung.
Tahapan yang dapat dilakukan antara lain:
Tahapan tersebut juga membantu tim pengadaan menyusun spesifikasi berdasarkan kebutuhan teknis yang dapat dijelaskan. Alih-alih hanya meminta “server AI tercepat”, universitas dapat menyampaikan model, workload, jumlah pengguna, target training, dan rencana skalabilitas. Vendor kemudian memiliki dasar yang lebih jelas untuk menentukan konfigurasi.
Server AI untuk universitas dan riset sebaiknya dibangun sebagai shared computing infrastructure, bukan sekadar komputer dengan GPU berperforma tinggi. GPU, VRAM, CPU, RAM, storage, networking, scheduler, container, keamanan, monitoring, power, dan cooling perlu bekerja sebagai satu sistem. Perencanaan seperti ini membuat satu infrastruktur dapat digunakan untuk pembelajaran sekaligus penelitian tanpa terlalu cepat mencapai batas kapasitas.
Universitas juga tidak harus langsung membangun cluster besar. Satu multi-GPU server dapat menjadi titik awal, kemudian kapasitas ditambah setelah data penggunaan menunjukkan kebutuhan yang nyata. Desain chassis, networking, dan storage yang scalable akan mempermudah pengembangan ketika jumlah penelitian AI meningkat.
Untuk kebutuhan tersebut, Sparta Server Indonesia menyediakan layanan Pengadaan Server AI Indonesia untuk perusahaan, instansi, universitas, data center, dan organisasi. Konfigurasi dapat disesuaikan berdasarkan GPU, CPU, RAM, storage, networking, hingga kebutuhan multi-GPU untuk artificial intelligence, machine learning, deep learning, LLM, generative AI, dan HPC.
Sebelum menentukan spesifikasi, universitas dapat melakukan assessment terhadap jumlah kelompok riset, model yang digunakan, dataset, kebutuhan VRAM, serta pola penggunaan bersama. Dari informasi tersebut, konfigurasi GPU server untuk universitas dapat dirancang lebih tepat dan mempunyai ruang pengembangan untuk penelitian berikutnya. Pendekatan ini juga membantu memastikan anggaran infrastruktur digunakan untuk resource yang benar-benar mendukung aktivitas akademik dan riset.
Tertarik bekerja sama dengan Sparta Server Indonesia? Hubungi WhatsApp kami +62 878‑2224‑1000.
Bisa, selama resource diatur dengan baik dan kapasitas server mencukupi. Administrator dapat membagi akses berdasarkan kelas, jadwal praktikum, atau quota tertentu agar satu mata kuliah tidak menggunakan seluruh resource. Pengaturan seperti ini cocok untuk program studi yang menggunakan AI, data science, computer vision, atau machine learning secara bersamaan.
Tidak selalu. Mahasiswa tetap dapat menggunakan laptop biasa untuk menulis code, mengakses Jupyter, IDE, atau terminal, lalu menjalankan training dan inference pada server kampus. Pendekatan ini membantu mengurangi ketergantungan pada spesifikasi perangkat pribadi, terutama pada kelas yang membutuhkan komputasi GPU cukup berat.
Akses dari luar kampus dapat dilakukan melalui VPN, SSH, web portal, JupyterHub, atau sistem remote access lain yang dikonfigurasi dengan autentikasi. Administrator sebaiknya menerapkan kontrol akses, enkripsi, logging, dan kebijakan keamanan agar server tidak langsung terbuka ke internet tanpa perlindungan. Untuk riset dengan data sensitif, akses eksternal juga perlu disesuaikan dengan kebijakan institusi.
Sebaiknya ya, karena kebutuhan akses dan prioritasnya dapat berbeda. Dosen atau principal investigator mungkin membutuhkan hak lebih besar untuk mengelola project, sedangkan mahasiswa cukup mendapat akses ke environment dan dataset tertentu. Pemisahan akun juga mempermudah audit, quota, pelacakan penggunaan resource, dan pengelolaan akses ketika pengguna sudah tidak aktif.
Container seperti Docker atau Singularity/Apptainer dapat membantu setiap kelompok menggunakan environment sendiri tanpa terlalu banyak konflik dependency. Satu tim dapat menggunakan versi PyTorch dan CUDA tertentu, sementara tim lain menjalankan framework yang berbeda pada server yang sama. Pendekatan ini juga membantu reproducibility karena environment dapat didokumentasikan dan digunakan kembali.
Bisa, tergantung jenis GPU dan software yang digunakan. GPU server dapat digunakan untuk scientific computing, simulasi, rendering, bioinformatika, computational chemistry, geospatial processing, dan workload HPC tertentu. Namun, universitas perlu memeriksa apakah aplikasi membutuhkan kemampuan seperti FP64 tinggi atau dukungan library khusus agar GPU yang dipilih benar-benar sesuai.
Universitas dapat menggunakan model quota, cost center, atau chargeback internal berdasarkan waktu penggunaan GPU, jumlah GPU, kapasitas storage, atau project. Data monitoring dan scheduler dapat membantu mencatat konsumsi resource setiap user atau kelompok riset. Sistem seperti ini berguna apabila infrastruktur digunakan lintas fakultas dan biaya operasional perlu dibagi secara transparan.
Ya, terutama untuk data, checkpoint, script, dan hasil penelitian yang sulit diulang. Namun, tidak semua temporary file atau scratch data harus dibackup karena dapat membuat kapasitas backup membengkak. Universitas sebaiknya membedakan antara storage sementara, project storage, dan data penting yang wajib masuk kebijakan backup.
Reproducibility dapat ditingkatkan dengan mencatat versi dataset, model, code, library, CUDA, driver, container image, dan hyperparameter setiap eksperimen. Penggunaan Git, container, model registry, serta experiment tracking dapat membantu peneliti mengulang konfigurasi yang sama di kemudian hari. Hal ini penting karena perubahan environment dapat membuat hasil penelitian sulit direplikasi.
Tim khusus mulai dibutuhkan ketika jumlah user, GPU, node, dan aplikasi bertambah hingga administrasi tidak lagi bisa ditangani secara ad hoc. Tugasnya dapat mencakup pengelolaan akun, scheduler, software environment, monitoring, backup, keamanan, serta dukungan pengguna. Untuk pusat AI atau research computing center, fungsi ini biasanya menjadi bagian penting agar infrastruktur tetap stabil dan benar-benar dimanfaatkan secara optimal.