Server AI untuk Universitas dan Riset: Cara
September 30, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Berapa sebenarnya listrik yang dibutuhkan sebuah GPU server untuk menjalankan artificial intelligence? Pertanyaan ini semakin penting ketika perusahaan mulai menggunakan server untuk machine learning, deep learning, large language model (LLM), maupun generative AI. Semakin banyak GPU yang digunakan, semakin besar pula kebutuhan daya dan sistem pendinginan yang harus disiapkan.
Namun, menghitung konsumsi listrik GPU server tidak cukup hanya dengan menjumlahkan angka watt pada spesifikasi GPU. CPU, RAM, storage, networking, kipas, PSU, hingga sistem pendingin ikut menggunakan energi. Karena itu, perusahaan perlu melihat konsumsi daya sebagai bagian dari keseluruhan infrastruktur server, bukan GPU saja.
Sebelum menghitung biaya, penting memahami apa yang dimaksud dengan konsumsi listrik GPU server dan bagaimana angkanya digunakan dalam perencanaan infrastruktur. Konsumsi listrik GPU server adalah jumlah energi yang digunakan server dengan akselerator GPU selama beroperasi. Besarnya dapat berubah sesuai workload, jumlah GPU, tingkat utilisasi, konfigurasi hardware, dan efisiensi sistem.
Salah satu angka yang sering digunakan adalah TDP (Thermal Design Power). Namun, TDP atau power limit bukan berarti GPU selalu menggunakan listrik sebesar angka tersebut. Nilai tersebut lebih tepat digunakan sebagai acuan desain daya dan termal. Konsumsi aktual dapat berubah ketika GPU berada dalam kondisi idle, inference, training, atau menjalankan beban komputasi berat.
Sebagai contoh, NVIDIA mencantumkan H100 SXM dengan maximum TDP hingga 700W, sedangkan H100 NVL berada pada konfigurasi 350–400W. H200 SXM juga dapat dikonfigurasi hingga 700W.
Kebutuhan listrik server AI dipengaruhi oleh lebih dari satu komponen. Memahami faktor-faktor tersebut membantu perusahaan membuat estimasi daya yang lebih realistis sebelum melakukan pengadaan.
GPU biasanya menjadi salah satu komponen dengan konsumsi daya terbesar pada server AI. Semakin banyak GPU yang dipasang, semakin besar pula kebutuhan daya secara keseluruhan.
Jenis GPU juga mempunyai karakteristik berbeda. NVIDIA L40S, misalnya, memiliki maximum power consumption 350W. Sementara itu, NVIDIA H100 SXM dapat mencapai 700W dan NVIDIA B200 dapat dikonfigurasi hingga 1.000W per GPU pada platform HGX B200. Artinya, dua server yang sama-sama memiliki empat GPU belum tentu mempunyai konsumsi listrik yang sama.
Setelah jumlah GPU diketahui, perusahaan perlu melihat bagaimana GPU digunakan. Server yang menjalankan inference sesekali tentu mempunyai pola konsumsi berbeda dengan server yang menjalankan training selama berjam-jam.
Training, fine-tuning, HPC, dan beberapa jenis batch inference dapat membuat GPU bekerja pada utilisasi tinggi dalam periode panjang. Sebaliknya, server dengan workload ringan dapat mempunyai konsumsi rata-rata yang jauh lebih rendah daripada batas daya maksimumnya. Karena itu, estimasi konsumsi listrik GPU server sebaiknya menggunakan rata-rata daya aktual apabila data pengukuran sudah tersedia.
GPU bukan satu-satunya sumber konsumsi daya. CPU, RAM, NVMe, HDD, kartu jaringan, storage controller, motherboard, kipas, dan perangkat tambahan juga membutuhkan listrik.
Pada server AI dengan beberapa GPU berdaya tinggi, komponen pendukung tersebut dapat menambah beban yang cukup signifikan. Karena itu, menghitung hanya berdasarkan watt GPU dapat membuat estimasi kebutuhan listrik menjadi terlalu rendah.
Semakin besar daya yang digunakan server, semakin besar pula panas yang dihasilkan. Panas tersebut harus dikeluarkan melalui air cooling, liquid cooling, atau sistem pendinginan lain sesuai desain infrastrukturnya. Dengan demikian, biaya operasional GPU server tidak berhenti pada listrik yang masuk ke server. Fasilitas data center juga dapat membutuhkan energi untuk sistem pendingin dan infrastruktur pendukung lainnya.
Setelah mengetahui komponen yang berpengaruh, perusahaan dapat menggunakan pendekatan sederhana untuk membuat estimasi konsumsi energi dan biaya bulanan.
Rumus dasarnya adalah:
Daya server (kW) = Total daya server (W) ÷ 1.000
Kemudian, konsumsi energi:
Konsumsi listrik (kWh) = Daya server (kW) × waktu operasi (jam)
Untuk memperkirakan biaya:
Biaya listrik = Konsumsi listrik (kWh) × tarif listrik per kWh
Jika ingin menghitung kebutuhan fasilitas data center, faktor PUE (Power Usage Effectiveness) juga dapat dimasukkan:
Energi fasilitas = Energi IT × PUE
PUE memperhitungkan energi yang digunakan oleh infrastruktur pendukung seperti pendinginan dan distribusi daya. Untuk perhitungan aktual, tarif listrik perlu disesuaikan dengan golongan pelanggan dan periode tarif yang berlaku. PLN sendiri membedakan kelompok pelanggan berdasarkan penggunaan listrik, termasuk kategori bisnis dan industri.
Agar lebih mudah dipahami, berikut contoh sederhana. Misalkan sebuah server memiliki empat NVIDIA H100 SXM dan masing-masing diasumsikan menggunakan daya maksimum 700W.
GPU saja:
4 × 700W = 2.800W atau 2,8 kW
Misalkan komponen server lainnya membutuhkan sekitar 700W sebagai angka ilustrasi. Maka:
2.800W + 700W = 3.500W atau 3,5 kW
Jika server beroperasi selama 24 jam sehari selama 30 hari:
3,5 kW × 24 × 30 = 2.520 kWh per bulan
Jika digunakan tarif ilustrasi Rp1.500/kWh, maka:
2.520 × Rp1.500 = Rp3.780.000 per bulan
Angka tersebut hanya contoh perhitungan, bukan tagihan aktual. Konsumsi nyata dapat lebih rendah atau lebih tinggi karena GPU tidak selalu bekerja pada daya maksimum dan komponen server mempunyai pola penggunaan yang berbeda.
Setiap GPU mempunyai kebutuhan daya yang berbeda sehingga pemilihan hardware perlu disesuaikan dengan workload, performa yang dibutuhkan, dan kapasitas listrik yang tersedia.
| GPU | Daya Maksimum/Power Limit | Contoh 4 GPU |
|---|---|---|
| NVIDIA L40S | 350W | 1.400W |
| NVIDIA H100 SXM | hingga 700W | hingga 2.800W |
| NVIDIA H200 SXM | hingga 700W | hingga 2.800W |
| NVIDIA B200 | hingga 1.000W | hingga 4.000W |
Data tersebut menunjukkan angka daya GPU, bukan konsumsi listrik keseluruhan server. NVIDIA mencantumkan L40S dengan konsumsi maksimum 350W, H100 SXM hingga 700W, H200 SXM hingga 700W, dan B200 hingga 1.000W per GPU pada konfigurasi tertentu. Karena itu, kapasitas PSU, rack power, PDU, dan sistem pendinginan harus dihitung berdasarkan keseluruhan konfigurasi.
PSU (Power Supply Unit) berfungsi mengubah dan mendistribusikan daya listrik untuk berbagai komponen server. Kapasitas PSU harus cukup untuk menangani beban hardware sekaligus mempertimbangkan kebutuhan headroom.
Server dengan beberapa GPU berdaya tinggi dapat membutuhkan konfigurasi PSU yang lebih besar. Namun, kapasitas PSU bukan berarti server akan selalu menggunakan daya sebesar kapasitas tersebut. Efisiensi PSU juga berpengaruh terhadap konsumsi energi dari sisi input. PSU yang lebih efisien dapat mengurangi energi yang terbuang menjadi panas ketika mengubah daya dari sumber listrik menjadi daya yang digunakan komponen server.
Listrik GPU server menghasilkan panas yang perlu dikelola secara terus-menerus. Inilah alasan kebutuhan energi data center tidak dapat dihitung hanya berdasarkan konsumsi perangkat IT.
Sebagai gambaran, server AI yang menggunakan beberapa GPU berdaya tinggi dapat menghasilkan beban panas yang besar. Jika sistem menggunakan air cooling, kebutuhan energi AC dan sistem HVAC perlu diperhitungkan. Pada konfigurasi tertentu, liquid cooling dapat digunakan untuk menangani kepadatan panas yang lebih tinggi. Untuk perusahaan yang ingin mengetahui biaya operasional secara menyeluruh, perhitungan dapat menggunakan PUE. Misalnya, apabila konsumsi perangkat IT adalah 2.520 kWh dan fasilitas memiliki PUE 1,5:
2.520 × 1,5 = 3.780 kWh
Dengan demikian, kebutuhan energi fasilitas secara teoritis menjadi 3.780 kWh, bukan hanya 2.520 kWh dari perangkat IT.
Setelah mengetahui konsumsi daya, perusahaan dapat mencari cara untuk meningkatkan efisiensi tanpa mengorbankan kebutuhan workload.
GPU yang sering berada dalam kondisi idle tetap menggunakan energi. Karena itu, workload scheduling, batching, dan konsolidasi pekerjaan dapat membantu meningkatkan pemanfaatan resource. Server AI juga dapat dikonfigurasi agar pekerjaan tertentu dijalankan pada waktu atau node yang sesuai. Pendekatan ini dapat membantu mengurangi penggunaan server yang tidak diperlukan.
GPU dengan daya lebih besar tidak otomatis menjadi pilihan yang tepat untuk seluruh aplikasi. Model LLM kecil, computer vision, dan beberapa aplikasi inference dapat mempunyai kebutuhan hardware yang berbeda dari training model berskala besar. Karena itu, perusahaan perlu melakukan benchmark sebelum menentukan konfigurasi GPU server.
Pada platform yang mendukungnya, power capping dapat digunakan untuk membatasi daya GPU. NVIDIA mendokumentasikan mekanisme pengaturan power limit pada platform tertentu melalui beberapa lapisan kontrol. Namun, pembatasan daya dapat memengaruhi performa sehingga sebaiknya diuji menggunakan workload aktual. Tujuannya bukan sekadar menurunkan watt, tetapi mencari keseimbangan antara konsumsi energi dan produktivitas komputasi.
Perencanaan GPU server sebaiknya dilakukan bersamaan dengan perencanaan kapasitas listrik. Jangan sampai konfigurasi GPU sudah sesuai kebutuhan AI, tetapi fasilitas tidak mempunyai kapasitas daya dan pendinginan yang memadai. Beberapa hal yang perlu dihitung meliputi jumlah GPU, power limit, CPU, RAM, storage, NIC, PSU, kebutuhan rack, pola utilisasi, serta sistem pendinginan. Untuk implementasi multi-GPU, kebutuhan networking dan infrastruktur data center juga perlu diperhitungkan.
Sparta Server Indonesia menyediakan GPU Server Indonesia dan NVIDIA GPU Server Indonesia untuk berbagai kebutuhan komputasi AI. Pilihan konfigurasi dapat diarahkan ke NVIDIA H100 Server Indonesia, NVIDIA H200 Server Indonesia, NVIDIA B200 Server Indonesia, NVIDIA L40S Server Indonesia, maupun NVIDIA RTX PRO Server sesuai kebutuhan workload dan kapasitas infrastruktur.
Menghitung listrik GPU server penting karena energi merupakan salah satu komponen dalam TCO (Total Cost of Ownership). Harga pembelian hardware saja tidak menggambarkan seluruh biaya ketika server digunakan selama bertahun-tahun. TCO dapat mencakup hardware, listrik, cooling, maintenance, networking, storage, lisensi software, dukungan teknis, dan biaya operasional lainnya. Semakin tinggi utilisasi GPU dan semakin lama server beroperasi, semakin penting perhitungan konsumsi energi dilakukan sejak tahap perencanaan.
Untuk kebutuhan workload seperti LLM, generative AI, machine learning, dan deep learning, Sparta juga menyediakan Server AI untuk LLM & Generative AI serta Server Machine Learning & Deep Learning. Jika kebutuhan komputasinya berkaitan dengan high-performance computing, tersedia pula opsi HPC Server Indonesia.
Tidak semua perusahaan perlu langsung membeli GPU server. Untuk proyek proof of concept, kebutuhan komputasi sementara, atau pengujian model, opsi sewa dapat menjadi alternatif yang perlu diperhitungkan.
Sparta menyediakan Sewa Server Dell PowerEdge, Sewa Server HP ProLiant / HPE, Sewa Server Huawei, dan Sewa Server Lenovo. Pemilihan antara membeli dan menyewa tetap perlu disesuaikan dengan durasi penggunaan, spesifikasi GPU, kebutuhan kapasitas, serta perhitungan TCO.
Untuk implementasi yang lebih kompleks, kebutuhan server juga dapat berkaitan dengan Core Server & Infrastruktur, Server & Data Center, Infrastruktur & Networking, serta layanan Managed IT & Support. Pendekatan tersebut membantu perusahaan melihat kebutuhan komputasi sebagai satu kesatuan infrastruktur.
Konsumsi listrik GPU server tidak bisa ditentukan hanya dari angka watt GPU. Jumlah GPU, utilisasi, CPU, RAM, storage, PSU, networking, cooling, dan efisiensi fasilitas semuanya dapat memengaruhi penggunaan energi. Perusahaan dapat memulai dengan menghitung power draw setiap komponen, mengubahnya menjadi kWh berdasarkan durasi operasi, kemudian mengalikan dengan tarif listrik yang berlaku. Untuk lingkungan data center, faktor PUE dapat ditambahkan agar estimasi lebih mendekati kebutuhan fasilitas secara keseluruhan.
Jika Anda sedang merencanakan GPU Server Indonesia untuk AI, LLM, machine learning, atau HPC, Sparta Server Indonesia dapat membantu menyesuaikan konfigurasi berdasarkan workload, kebutuhan GPU, kapasitas listrik, dan rencana pengembangan infrastruktur. WhatsApp kami +62 878‑2224‑1000
Bagian berikut merangkum beberapa pertanyaan yang umum muncul ketika perusahaan mulai menghitung kebutuhan daya server AI.
Tidak. Konsumsi aktual bergantung pada workload, utilisasi, konfigurasi power limit, dan kondisi operasional.
Tidak selalu. TDP lebih tepat digunakan sebagai acuan desain termal dan daya, sedangkan konsumsi aktual dapat berubah selama operasi.
Secara umum, penambahan GPU meningkatkan potensi konsumsi daya, tetapi biaya aktual tetap bergantung pada utilisasi dan konfigurasi server.
Cooling server menggunakan energi tambahan dan sebaiknya dimasukkan dalam perhitungan operasional data center.
Kalikan total daya server dalam kW dengan jumlah jam operasi untuk mendapatkan kWh, kemudian kalikan dengan tarif listrik per kWh.
Keduanya dapat dikonfigurasi hingga 700W pada varian SXM, tetapi konfigurasi server dan workload tetap menentukan konsumsi aktual.