Server AI untuk Universitas dan Riset: Cara
September 30, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Pernah menghitung biaya penggunaan LLM hanya dari harga per 1 juta token? Sekilas memang terlihat sederhana. Namun, ketika aplikasi mulai menerima ribuan request, menggunakan prompt panjang, dan menghasilkan respons yang lebih banyak, biaya inference LLM dapat berubah cukup signifikan.
Karena itu, perusahaan perlu memahami cara menghitung penggunaan input token, output token, dan cached token sebelum menentukan model yang akan digunakan. Perhitungan tersebut juga membantu perusahaan membandingkan penggunaan API dengan opsi menjalankan LLM melalui GPU server secara lokal.
Sebelum masuk ke rumus, Anda perlu memahami terlebih dahulu apa yang dimaksud dengan inference. Pemahaman ini membantu perusahaan menentukan komponen apa saja yang perlu dimasukkan ke dalam perhitungan biaya. Inference merupakan proses ketika model LLM menerima input dan menghasilkan output berdasarkan model yang sudah dilatih. Ketika pengguna mengirim pertanyaan ke chatbot, misalnya, sistem mengirimkan input token ke model dan menerima output token sebagai respons.
Dengan demikian, biaya inference LLM merupakan biaya yang muncul ketika perusahaan menggunakan model untuk memproses permintaan tersebut. Penyedia API umumnya menghitung biaya berdasarkan jumlah token yang digunakan. Selain itu, beberapa layanan membedakan harga input token, cached input token, dan output token. OpenAI, misalnya, menggunakan ketiga kategori tersebut dalam perhitungan token-based pricing.
Token sendiri tidak selalu sama dengan jumlah kata. Sistem tokenization dapat memecah sebuah kata menjadi satu atau beberapa token. Oleh sebab itu, perusahaan perlu menggunakan data penggunaan token dari API atau tokenizer ketika melakukan estimasi.
Setelah memahami pengertian dasarnya, Anda perlu melihat faktor yang membuat biaya setiap aplikasi berbeda. Bahkan, dua aplikasi yang menggunakan model sama dapat menghasilkan biaya berbeda karena pola workload-nya tidak sama.
Beberapa faktor utama yang memengaruhi biaya meliputi:
Selain itu, model dengan harga per token lebih tinggi tidak selalu menghasilkan total biaya paling besar. Jika model tersebut menyelesaikan tugas dengan lebih sedikit request atau menghasilkan output lebih ringkas, perusahaan tetap perlu melihat keseluruhan workload sebelum mengambil keputusan.
Sekarang Anda dapat mulai menghitung biaya berdasarkan tarif token. Karena penyedia API biasanya memisahkan tarif input dan output, perusahaan juga perlu memisahkan kedua komponen tersebut.
Rumus sederhananya adalah:
Biaya inference = (Input Token ÷ 1.000.000 × Harga Input) + (Output Token ÷ 1.000.000 × Harga Output)
Jika model menyediakan harga cached input, tambahkan komponen tersebut ke dalam rumus:
Biaya total = biaya input + biaya cached input + biaya output
Sebagai contoh, sebuah aplikasi menggunakan 800.000 input token dan 200.000 output token. Jika tarif model adalah US$4 per 1 juta input token dan US$20 per 1 juta output token, perhitungannya menjadi:
Input:
800.000 ÷ 1.000.000 × US$4 = US$3,20
Output:
200.000 ÷ 1.000.000 × US$20 = US$4
Total:
US$7,20
Jadi, penggunaan 1 juta token dengan komposisi 800 ribu input dan 200 ribu output menghasilkan biaya US$7,20 pada skenario tersebut. Perlu diperhatikan, biaya tidak otomatis sama dengan tarif satu juta token karena komposisi input dan output sangat menentukan hasil akhirnya.
Setelah memahami rumus, Anda dapat membandingkan tarif beberapa model sebagai dasar simulasi. Harga berikut merupakan contoh tarif yang tersedia saat artikel ini disusun dan dapat berubah mengikuti kebijakan masing-masing penyedia. Sebagai contoh, OpenAI mencantumkan GPT-5.6 Sol dengan harga US$4 per 1 juta input token, US$0,40 untuk cached input, dan US$20 per 1 juta output token.
Sementara itu, Anthropic menetapkan Claude Sonnet 5 sebesar US$2 per 1 juta input token dan US$10 per 1 juta output token. Anthropic juga menyediakan penghematan melalui prompt caching dan batch processing. Google juga menetapkan Gemini 3.7 Flash sebesar US$0,75 per 1 juta input token dan US$3,75 per 1 juta output token hingga 31 Desember 2026.
| Model | Input / 1 Juta Token | Output / 1 Juta Token |
|---|---|---|
| GPT-5.6 Sol | US$4 | US$20 |
| Claude Sonnet 5 | US$2 | US$10 |
| Gemini 3.7 Flash | US$0,75 | US$3,75 |
Dengan demikian, perusahaan sebaiknya selalu memeriksa halaman harga resmi sebelum membuat proyeksi anggaran. Penyedia dapat mengubah harga, model, maupun struktur billing sewaktu-waktu.
Setelah mengetahui harga per token, Anda dapat mengubahnya menjadi estimasi biaya bulanan. Langkah ini penting karena perusahaan biasanya tidak menggunakan tepat 1 juta token setiap bulan. Misalnya, sebuah chatbot perusahaan menerima 10.000 request per bulan. Setiap request rata-rata menggunakan:
Maka penggunaan bulanannya menjadi:
Input:
10.000 × 2.000 = 20 juta token
Output:
10.000 × 500 = 5 juta token
Jika perusahaan menggunakan tarif GPT-5.6 Sol, perhitungannya menjadi:
Input: 20 × US$4 = US$80
Output: 5 × US$20 = US$100
Total biaya = US$180 per bulan
Perhitungan tersebut baru mencakup token. Jika aplikasi menggunakan web search, tool calling, penyimpanan, database, atau layanan pendukung lain, perusahaan perlu memasukkan biaya tersebut secara terpisah.
Banyak orang masih mencampurkan biaya training dengan biaya inference LLM. Padahal, keduanya memiliki tujuan dan karakter workload yang berbeda. Training merupakan proses melatih model menggunakan dataset agar model mempelajari pola tertentu. Sementara itu, inference menjalankan model yang sudah tersedia untuk menghasilkan respons berdasarkan input pengguna.
Karena itu, aplikasi chatbot yang sudah masuk tahap produksi biasanya menghasilkan biaya inference setiap kali pengguna mengirimkan permintaan. Sebaliknya, perusahaan hanya melakukan training atau fine-tuning ketika memang membutuhkan penyesuaian model. Perbedaan tersebut juga memengaruhi kebutuhan hardware. Perusahaan yang menjalankan inference lokal tidak otomatis membutuhkan konfigurasi GPU yang sama dengan lingkungan training.
Setelah mengetahui komponen biaya, perusahaan dapat melakukan optimasi untuk mengurangi penggunaan token. Namun, optimasi sebaiknya tetap mempertahankan kualitas respons dan target performa aplikasi.
Pertama, pilih model berdasarkan kompleksitas pekerjaan. Perusahaan tidak selalu membutuhkan model dengan kemampuan paling tinggi untuk tugas seperti klasifikasi, ekstraksi data, atau respons sederhana. Dengan memilih model yang sesuai, perusahaan dapat mengurangi biaya tanpa harus mengorbankan kebutuhan aplikasi secara berlebihan.
Selanjutnya, periksa prompt dan konteks yang dikirim ke model. Prompt yang terlalu panjang akan meningkatkan jumlah input token. Karena itu, perusahaan dapat menghapus instruksi yang berulang, mempersingkat riwayat percakapan, serta hanya mengirim informasi yang relevan.
Jika penyedia API mendukung prompt caching, perusahaan dapat menggunakannya untuk bagian konteks yang sering berulang. Mekanisme tersebut dapat menurunkan biaya untuk token yang memenuhi persyaratan caching. Sebagai contoh, OpenAI mencantumkan tarif cached input yang lebih rendah daripada input biasa untuk GPT-5.6 Sol.
Pada sistem RAG, perusahaan tidak perlu memasukkan seluruh database ke dalam prompt. Sebaliknya, sistem dapat mengambil dokumen yang paling relevan melalui proses retrieval. Dengan begitu, jumlah konteks yang masuk ke model tetap terkendali dan biaya inference LLM dapat lebih mudah diprediksi.
Selain mengurangi input, perusahaan juga dapat membatasi panjang output. Respons yang terlalu panjang akan meningkatkan konsumsi output token. Karena itu, tentukan panjang respons berdasarkan kebutuhan aplikasi, bukan berdasarkan kapasitas maksimum model.
Ketika volume penggunaan semakin besar dan stabil, perusahaan dapat mulai membandingkan biaya API dengan biaya menjalankan LLM sendiri. Pada tahap ini, perusahaan perlu menghitung Total Cost of Ownership (TCO), bukan hanya harga GPU. Untuk deployment lokal, perusahaan perlu mempertimbangkan GPU, CPU, RAM, storage, networking, listrik, cooling, software, maintenance, dan dukungan teknis.
Sparta Server Indonesia menyediakan GPU Server Indonesia untuk berbagai workload AI, termasuk LLM, Machine Learning, Deep Learning, data analytics, dan HPC. Konfigurasi GPU dapat disesuaikan dengan kebutuhan model dan target performa. Selain itu, Sparta juga menyediakan Server AI untuk LLM & Generative AI untuk perusahaan yang membutuhkan infrastruktur AI sesuai use case. Pilihan ini relevan untuk chatbot, AI assistant, RAG, maupun aplikasi Generative AI lainnya.
Perbandingan antara API dan on-premise perlu menggunakan komponen biaya yang sama. Dengan demikian, perusahaan dapat melihat gambaran TCO secara lebih objektif.
| Komponen | API LLM | LLM On-Premise |
|---|---|---|
| Inference | Berdasarkan penggunaan token | Berdasarkan resource server |
| GPU | Disediakan provider | Dibeli atau disewa |
| Listrik | Umumnya termasuk layanan | Ditanggung perusahaan |
| Cooling | Ditanggung provider | Ditanggung perusahaan |
| Maintenance | Umumnya dikelola provider | Dikelola internal atau partner |
| Skalabilitas | Relatif fleksibel | Membutuhkan capacity planning |
| Kontrol infrastruktur | Terbatas pada layanan | Lebih besar |
Jika penggunaan berubah-ubah, API dapat memberikan fleksibilitas karena perusahaan membayar sesuai pemakaian. Sebaliknya, perusahaan dengan workload stabil dapat menghitung potensi efisiensi dari penggunaan server sendiri. Untuk kebutuhan infrastruktur yang lebih luas, Core Server & Infrastruktur Sparta mencakup kebutuhan server, storage, jaringan, AI server, dan infrastruktur pendukung lainnya.
Setelah perusahaan memutuskan menggunakan infrastruktur lokal, langkah berikutnya adalah menentukan GPU berdasarkan kebutuhan model. Kapasitas VRAM memang penting, tetapi perusahaan juga perlu melihat memory bandwidth, kemampuan komputasi, quantization, context length, dan jumlah pengguna secara bersamaan.
Untuk workload AI skala besar, perusahaan dapat mempertimbangkan NVIDIA H100, H200, atau B200. Sementara itu, NVIDIA L40S dan RTX PRO dapat menjadi opsi untuk kebutuhan tertentu yang tidak membutuhkan konfigurasi GPU kelas paling tinggi. Sparta menyediakan NVIDIA GPU Server Indonesia dengan pilihan GPU seperti H100, H200, B200, L40S, dan RTX PRO. Perusahaan dapat menentukan konfigurasi berdasarkan benchmark dan kebutuhan aplikasi.
Selain GPU, perusahaan juga perlu memperhatikan Server & Data Center, storage, networking, serta monitoring agar sistem inference tidak mengalami bottleneck.
Estimasi tarif per token membantu perusahaan menghitung biaya API. Namun, perusahaan membutuhkan benchmark aktual ketika ingin menjalankan LLM sendiri.
Melalui benchmark, tim IT dapat mengukur:
Setelah itu, perusahaan dapat menghubungkan performa tersebut dengan biaya listrik, hardware, maintenance, dan operasional. Dengan demikian, perusahaan dapat memperoleh estimasi biaya inference LLM per 1 juta token pada server sendiri. Jika perusahaan membutuhkan bantuan untuk menyiapkan lingkungan tersebut, Jasa Instalasi Server AI Sparta dapat mendukung proses instalasi, konfigurasi, dan pengujian server sesuai workload.
Perhitungan biaya tidak berhenti setelah perusahaan membeli GPU server. Setelah sistem berjalan, perusahaan tetap perlu menjaga availability, melakukan monitoring, memperbarui software, dan menangani masalah hardware maupun jaringan. Karena itu, perusahaan dapat mempertimbangkan layanan Managed IT & Support, Monitoring & Operations, serta Maintenance Plan sesuai kebutuhan operasional. Pendekatan tersebut membantu tim internal mengelola infrastruktur AI tanpa mengabaikan server dan komponen pendukung lainnya.
Jika perusahaan membutuhkan server untuk periode tertentu, Sparta juga memiliki kategori Sewa Server dengan pilihan seperti Dell PowerEdge, HP ProLiant/HPE, Huawei, dan Lenovo. Opsi tersebut dapat dipertimbangkan untuk kebutuhan project, pengujian, atau kapasitas tambahan tanpa langsung membeli seluruh hardware.
Biaya inference LLM per 1 juta token bergantung pada jumlah input token, output token, cached input, serta tarif model yang digunakan. Karena itu, perusahaan sebaiknya tidak menggunakan satu angka tarif sebagai gambaran seluruh biaya aplikasi. Pertama, hitung konsumsi token berdasarkan request aktual. Kemudian, kalikan masing-masing kategori token dengan tarifnya. Setelah itu, masukkan biaya tambahan seperti tool, database, storage, dan layanan pendukung apabila aplikasi menggunakannya.
Sementara itu, perusahaan dengan workload besar dan stabil dapat membandingkan biaya API dengan LLM on-premise. Perbandingan tersebut perlu memasukkan GPU, server, listrik, cooling, networking, maintenance, dan biaya operasional. Dengan perhitungan yang tepat, perusahaan dapat menentukan arsitektur berdasarkan kebutuhan workload, target performa, dan rencana pengembangan AI. Sparta Server Indonesia dapat membantu kebutuhan tersebut melalui Server AI untuk LLM & Generative AI, GPU Server, infrastruktur server, networking, hingga layanan instalasi dan maintenance. WhatsApp kami +62 878‑2224‑1000
Biaya inference LLM adalah biaya yang muncul ketika model memproses input dan menghasilkan output.
Gunakan jumlah input dan output token, kemudian kalikan masing-masing dengan tarif per 1 juta token.
Tidak. Biaya bergantung pada model, komposisi input-output, cached token, dan struktur tarif provider.
Bisa. Perusahaan dapat menjalankan model tertentu secara lokal menggunakan GPU server yang sesuai.
Kebutuhannya bergantung pada ukuran model, VRAM, quantization, context length, jumlah pengguna, dan target throughput.