Server AI untuk Universitas dan Riset: Cara
September 30, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Saat GPU server menjalankan artificial intelligence (AI), machine learning, atau high-performance computing (HPC), perangkat tidak hanya membutuhkan daya komputasi tinggi. GPU juga menghasilkan panas dalam jumlah besar ketika menjalankan workload secara intensif. Karena itu, cooling GPU server menjadi salah satu faktor penting yang menentukan stabilitas dan performa infrastruktur AI.
Lalu, mana yang lebih sesuai untuk server AI: air cooling atau liquid cooling? Jawabannya tidak selalu sama untuk setiap perusahaan. Jenis GPU, jumlah perangkat, beban kerja, konsumsi daya, kepadatan rack, hingga kapasitas data center cooling ikut menentukan pilihan. Artikel ini membahas perbedaan keduanya agar perusahaan dapat merancang sistem pendingin GPU server sesuai kebutuhan.
Sebelum membandingkan dua metode pendinginan, mari pahami terlebih dahulu fungsi cooling GPU server. Sistem pendingin bertugas mengambil panas dari GPU dan komponen server, lalu membuangnya ke lingkungan secara terkendali.
Server konvensional biasanya menghasilkan panas yang lebih mudah ditangani dengan udara. Sebaliknya, server AI dengan beberapa GPU berdaya tinggi dapat menghasilkan panas jauh lebih besar dalam ruang yang sama. Kondisi tersebut membuat perusahaan perlu menghitung kebutuhan thermal management sejak tahap perencanaan server.
GPU NVIDIA H100, misalnya, dapat mencapai thermal design power hingga 700W pada konfigurasi tertentu. Ketika perusahaan memasang beberapa GPU dalam satu server, total panas meningkat secara signifikan. Karena itu, desain pendingin GPU server harus memperhitungkan GPU, CPU, RAM, storage, networking, power supply, dan aliran udara secara keseluruhan.
Sistem pendingin yang tepat membantu GPU mempertahankan temperatur kerja sesuai rancangan. Ketika temperatur terlalu tinggi, GPU dapat menurunkan performanya melalui mekanisme thermal throttling. Kondisi tersebut dapat memengaruhi latency, throughput, dan waktu penyelesaian workload AI.
Selain performa, pendinginan juga memengaruhi efisiensi fasilitas. Semakin tinggi panas yang dihasilkan rack, semakin besar kebutuhan sistem HVAC dan pengelolaan udara. Pada lingkungan dengan rack density tinggi, perusahaan bahkan dapat menghadapi keterbatasan kapasitas pendinginan ruangan sebelum kapasitas komputasi GPU mencapai batasnya. Karena itu, perusahaan sebaiknya melihat cooling GPU server sebagai bagian dari desain infrastruktur, bukan sekadar aksesori tambahan setelah memilih GPU.
Air cooling menggunakan udara untuk mengambil panas dari GPU dan komponen server. Kipas mengalirkan udara melalui heatsink yang menempel pada komponen, kemudian sistem membuang udara panas melalui bagian belakang server.
Metode ini sudah lama digunakan pada berbagai jenis server sehingga tim IT umumnya lebih familiar dengan pengoperasian dan perawatannya. Air cooling GPU juga dapat bekerja dengan baik selama perusahaan menjaga airflow, temperatur ruangan, dan kapasitas HVAC sesuai kebutuhan server.
Pada implementasi data center, perusahaan dapat menggunakan konsep cold aisle dan hot aisle. Udara dingin masuk dari sisi depan rack, sedangkan udara panas keluar melalui sisi belakang. Pengaturan tersebut membantu mencegah udara panas kembali masuk ke sisi intake server.
Air cooling menawarkan desain yang relatif sederhana. Server menggunakan kipas, heatsink, dan sistem HVAC untuk mengelola panas tanpa membutuhkan sirkuit cairan khusus.
Metode ini juga cocok untuk sejumlah konfigurasi GPU server yang belum mencapai kepadatan panas ekstrem. Misalnya, perusahaan dapat menggunakan server dengan NVIDIA L40S atau konfigurasi GPU tertentu untuk inference, computer vision, dan workload AI lainnya selama desain termalnya mencukupi. Dari sisi maintenance, tim IT juga lebih mudah melakukan pemeriksaan kipas, heatsink, filter, dan airflow karena sistemnya sudah umum digunakan.
Air cooling menghadapi tantangan ketika perusahaan meningkatkan jumlah GPU dalam satu server atau rack. Semakin banyak GPU yang bekerja, semakin besar pula volume panas yang harus dipindahkan oleh udara.
Kondisi tersebut dapat meningkatkan kebutuhan kipas dan HVAC. Pada high-density rack, perusahaan juga harus memperhatikan distribusi udara agar setiap server memperoleh pasokan udara dingin yang cukup. Karena itu, perusahaan sebaiknya tidak hanya melihat kemampuan GPU. Tim IT juga perlu menghitung total daya, jumlah GPU, temperatur ruangan, airflow, dan kapasitas pendinginan fasilitas.
Liquid cooling menggunakan cairan untuk menyerap dan memindahkan panas dari komponen server. Salah satu teknologi yang banyak digunakan pada server AI adalah direct liquid cooling (DLC).
Dalam konfigurasi DLC, cold plate menempel langsung pada GPU atau komponen dengan beban panas tinggi. Cairan mengalir melalui cold plate, mengambil panas dari komponen, kemudian membawa panas tersebut menuju sistem seperti cooling distribution unit (CDU) dan heat exchanger. Cairan mampu membawa panas lebih efektif dalam ruang yang relatif kecil. Karena itu, liquid cooling GPU semakin relevan ketika perusahaan membangun server AI dengan power density tinggi.
Keunggulan utama liquid cooling terletak pada kemampuannya menangani panas dengan kepadatan tinggi. Sistem mengambil panas lebih dekat dari sumbernya sehingga perusahaan dapat mengurangi ketergantungan pada aliran udara dalam jumlah besar.
Metode ini juga mendukung pembangunan high-density rack untuk workload AI yang membutuhkan beberapa GPU berdaya tinggi. Pada skenario tertentu, perusahaan dapat meningkatkan kapasitas komputasi tanpa meningkatkan kebutuhan airflow secara proporsional. Liquid cooling juga dapat mengurangi beban kerja kipas karena sistem cairan mengambil sebagian besar panas dari komponen utama.
Liquid cooling membutuhkan infrastruktur yang lebih kompleks daripada air cooling. Perusahaan harus menyiapkan cold plate, pipa, CDU, heat exchanger, sensor, dan sistem pengelolaan cairan sesuai desain yang digunakan. Tim IT juga membutuhkan prosedur maintenance khusus. Mereka harus memantau kondisi coolant loop, koneksi, tekanan, serta komponen pendukung lainnya.
Selain itu, tidak semua komponen server membutuhkan pendinginan cairan. Power supply, storage, dan beberapa perangkat lain masih dapat menggunakan udara. Karena itu, implementasi cooling GPU server berbasis liquid sering menggabungkan dua metode dalam konsep hybrid cooling.
Kedua metode mempunyai karakteristik berbeda. Perusahaan dapat melihat perbandingan berikut sebagai gambaran awal sebelum menentukan desain pendingin.
| Aspek | Air Cooling | Liquid Cooling |
|---|---|---|
| Media pendingin | Udara | Cairan |
| Kompleksitas | Relatif sederhana | Lebih kompleks |
| Kepadatan rack | Rendah hingga menengah, tergantung desain | Tinggi |
| Komponen utama | Kipas dan heatsink | Cold plate, CDU, heat exchanger |
| Maintenance | Lebih familiar | Membutuhkan prosedur khusus |
| Workload | AI, inference, server umum | AI dan HPC dengan power density tinggi |
| Infrastruktur ruangan | Membutuhkan airflow dan HVAC memadai | Membutuhkan sistem distribusi cairan dan heat rejection |
Tabel tersebut tidak menunjukkan bahwa satu metode selalu lebih baik daripada metode lainnya. Perusahaan perlu menyesuaikan pilihan dengan konfigurasi GPU, target performa, kapasitas fasilitas, dan rencana ekspansi.
Air cooling dapat menjadi pilihan ketika server mempunyai kebutuhan panas yang masih mampu ditangani oleh sistem HVAC dan airflow yang tersedia. Perusahaan juga dapat memilih metode ini ketika ingin menjaga arsitektur pendinginan tetap sederhana. Contohnya, perusahaan menjalankan satu atau beberapa GPU untuk pengembangan AI, inference, computer vision, atau data analytics. Selama benchmark menunjukkan temperatur dan performa tetap stabil, air cooling dapat memenuhi kebutuhan tersebut.
Namun, perusahaan tetap perlu menghitung kebutuhan pendinginan berdasarkan workload nyata. GPU yang bekerja 24 jam dengan utilisasi tinggi menghasilkan kebutuhan thermal yang berbeda dari GPU yang hanya bekerja beberapa jam setiap hari.
Liquid cooling semakin relevan ketika perusahaan memasang beberapa GPU berdaya tinggi dan mengejar rack density yang lebih besar. Workload seperti deep learning training, HPC, dan AI skala enterprise dapat menghasilkan panas yang jauh lebih tinggi dibandingkan aplikasi server biasa.
Perusahaan juga dapat mempertimbangkan liquid cooling ketika kapasitas HVAC mulai menjadi hambatan bagi ekspansi GPU. Dengan mengambil panas langsung dari komponen, sistem liquid dapat membantu mengurangi beban yang harus ditangani airflow. Namun, perusahaan tetap perlu melakukan capacity planning sebelum memilihnya. Tim harus menghitung GPU, daya listrik, kebutuhan cooling, luas rack, networking, serta infrastruktur pendukung secara bersamaan.
Pemilihan cooling GPU server membutuhkan evaluasi beberapa komponen agar sistem tetap stabil ketika workload meningkat. Berikut beberapa faktor penting yang perlu diperhatikan.
Setiap GPU mempunyai karakteristik daya dan kebutuhan thermal yang berbeda. NVIDIA H100, H200, B200, L40S, dan RTX PRO dapat membutuhkan konfigurasi server serta pendinginan yang berbeda. Sparta Server Indonesia menyediakan pilihan NVIDIA H100 Server Indonesia, NVIDIA H200 Server Indonesia, NVIDIA B200 Server Indonesia, NVIDIA L40S Server Indonesia, serta NVIDIA RTX PRO Server untuk berbagai kebutuhan GPU server AI.
Training, inference, fine-tuning, dan HPC menghasilkan pola penggunaan GPU yang berbeda. GPU yang menjalankan workload secara terus-menerus membutuhkan perhatian lebih besar terhadap thermal management dibandingkan perangkat yang hanya menjalankan eksperimen sesekali. Untuk kebutuhan Server AI untuk LLM & Generative AI, perusahaan juga perlu memperhitungkan VRAM, throughput, concurrency, dan durasi penggunaan GPU.
Rack density menentukan jumlah panas yang terkumpul dalam ruang tertentu. Ketika perusahaan menempatkan banyak GPU berdaya tinggi dalam satu rack, sistem pendingin ruangan harus mampu membuang panas tersebut secara konsisten. Konsep cold aisle, hot aisle, HVAC, dan heat rejection perlu masuk dalam perencanaan sejak awal.
Perusahaan juga perlu memikirkan kebutuhan GPU pada masa mendatang. Jika perusahaan berencana menambah server AI dalam beberapa tahun ke depan, kapasitas listrik dan pendinginan sebaiknya memiliki ruang untuk ekspansi. Perencanaan sejak awal membantu perusahaan menghindari kondisi ketika server masih memiliki kapasitas komputasi, tetapi fasilitas pendingin sudah mencapai batasnya.
Cooling tidak berdiri sendiri dalam infrastruktur AI. Server membutuhkan storage, networking, konfigurasi sistem, monitoring, dan maintenance agar seluruh lingkungan dapat bekerja secara optimal. Sparta Server Indonesia menyediakan kategori Server, Storage, dan Networking untuk mendukung kebutuhan infrastruktur tersebut. Perusahaan juga dapat memilih Sewa Server Dell PowerEdge, Sewa Server HP ProLiant / HPE, Sewa Server Huawei, atau Sewa Server Lenovo untuk kebutuhan kapasitas tertentu tanpa langsung melakukan pengadaan perangkat.
Untuk implementasi dan pengelolaan, tersedia layanan Setup Proxmox, VMware, Mikrotik & Cisco, Instalasi & Konfigurasi Server dan Jaringan, Perawatan & Maintenance Berkala, Troubleshooting Sistem Server, serta Audit Sistem IT Kantor / Data Center. Jika perusahaan membutuhkan dukungan berkelanjutan, layanan Managed IT & Support, Infrastruktur & Networking, dan Rental, Maintenance & Lifecycle juga dapat membantu pengelolaan lingkungan server.
Pemilihan cooling GPU server sebaiknya mengikuti kebutuhan komputasi, bukan hanya spesifikasi GPU. Air cooling dapat menangani berbagai konfigurasi server selama airflow dan HVAC mampu mengimbangi panas yang dihasilkan. Sementara itu, liquid cooling menawarkan pendekatan yang lebih sesuai untuk server AI dengan power density tinggi. Metode tersebut dapat membantu perusahaan mengelola panas pada konfigurasi multi-GPU dan high-density rack, tetapi membutuhkan infrastruktur serta maintenance yang lebih kompleks.
Karena itu, perusahaan sebaiknya melakukan assessment sebelum menentukan sistem pendingin. Sparta Server Indonesia dapat membantu kebutuhan Server AI, NVIDIA GPU Server Indonesia, serta Core Server & Infrastruktur sesuai karakter workload. Tim juga dapat membantu mempertimbangkan kebutuhan storage, networking, maintenance, dan pengembangan infrastruktur. WhatsApp kami +62 878‑2224‑1000
Tidak. Air cooling masih dapat memenuhi kebutuhan selama kapasitas thermal server dan fasilitas mencukupi.
Air cooling menggunakan udara, sedangkan liquid cooling menggunakan cairan untuk mengambil dan memindahkan panas dari komponen.
Tidak selalu. Pilihannya bergantung pada konfigurasi server, jumlah GPU, workload, dan desain fasilitas.
Liquid cooling dapat mengurangi beban airflow dan kipas, tetapi efisiensi total tetap bergantung pada desain fasilitas.
Liquid cooling semakin relevan ketika server menggunakan GPU berdaya tinggi dengan rack density dan beban kerja yang besar.
Perhitungkan jenis GPU, jumlah GPU, workload, konsumsi daya, rack density, HVAC, airflow, dan rencana ekspansi.