Cara Benchmark Server LLM: Mengukur Latency, Throughput,
September 6, 2026
- Srengseng Sawah, Jagakarsa Jakarta Selatan
- Sen - Jum: 07:00 -17:00WIB
Server AI untuk Computer Vision menjadi kebutuhan ketika perusahaan ingin mengolah gambar dan video secara otomatis untuk mendukung pengawasan, inspeksi kualitas, analisis operasional, hingga pengambilan keputusan berbasis data visual. Teknologi ini memungkinkan sistem mengenali objek, mendeteksi kondisi tertentu, menghitung aktivitas, dan menghasilkan informasi tanpa harus mengandalkan pengamatan manusia secara terus-menerus. Namun, semakin banyak sumber gambar dan semakin tinggi kebutuhan pemrosesan, semakin penting pula infrastruktur server yang digunakan.
Pada tahap eksperimen, satu komputer atau workstation mungkin sudah cukup untuk menjalankan model computer vision. Ketika sistem mulai digunakan pada banyak kamera, jalur produksi, atau beberapa lokasi sekaligus, kebutuhan komputasi dapat meningkat secara signifikan. GPU, CPU, RAM, storage, networking, serta kemampuan pemrosesan video perlu dirancang agar seluruh pipeline dapat berjalan sesuai target.
Artikel ini membahas komponen dan cara menghitung kebutuhan infrastruktur agar investasi server AI dapat disesuaikan dengan workload yang sebenarnya.
Server AI untuk Computer Vision adalah infrastruktur komputasi yang digunakan untuk menjalankan model artificial intelligence yang memproses dan menganalisis data visual. Server dapat menerima gambar atau video dari kamera, aplikasi, maupun sumber data lainnya, kemudian menjalankan model untuk menghasilkan prediksi atau informasi tertentu. Hasil tersebut dapat berupa klasifikasi gambar, lokasi objek, jumlah orang, status produk, atau peringatan ketika kondisi tertentu terdeteksi.
Dalam implementasinya, GPU biasanya digunakan untuk mempercepat proses inference atau training model deep learning. CPU tetap menangani sistem operasi, aplikasi, komunikasi jaringan, dan sejumlah proses persiapan data, sementara RAM serta storage mendukung pengelolaan dataset dan hasil pemrosesan. Karena itu, computer vision server perlu dipandang sebagai satu sistem, bukan sekadar server yang dipasangi GPU.
Perusahaan dapat menggunakan infrastruktur tersebut untuk aplikasi real-time maupun pemrosesan batch. Sistem real-time harus memberikan hasil dalam batas waktu tertentu, sedangkan batch processing dapat digunakan untuk menganalisis kumpulan gambar atau rekaman yang sudah tersimpan. Kedua pendekatan tersebut mempunyai kebutuhan hardware yang berbeda meskipun menggunakan model AI yang sama.
Model computer vision modern banyak menggunakan neural network yang melakukan operasi matematika secara paralel. Ketika sebuah gambar diproses, model dapat menjalankan berbagai operasi untuk mengenali pola, fitur, dan objek sebelum menghasilkan prediksi. GPU mempunyai arsitektur yang sesuai untuk mempercepat jenis komputasi tersebut, terutama ketika banyak gambar harus diproses dalam waktu singkat.
Namun, tidak semua aplikasi computer vision membutuhkan GPU kelas data center. Model sederhana dengan jumlah gambar terbatas mungkin masih dapat berjalan menggunakan CPU atau perangkat edge tertentu. GPU server mulai lebih relevan ketika perusahaan membutuhkan throughput tinggi, model yang lebih kompleks, banyak kamera, atau proses training yang tidak lagi efisien menggunakan CPU.
Sebagai contoh, sistem inspeksi yang memproses satu gambar setiap beberapa detik mempunyai kebutuhan berbeda dengan sistem yang harus menganalisis puluhan video stream secara bersamaan. Pada kondisi kedua, server perlu mengelola decoding video, preprocessing, inference, serta pengiriman hasil tanpa menimbulkan antrean yang berlebihan. Inilah alasan pemilihan GPU harus mengikuti keseluruhan pipeline, bukan hanya ukuran model.
Computer vision dapat digunakan untuk membantu mendeteksi cacat produk, kesalahan pemasangan komponen, atau ketidaksesuaian bentuk pada jalur produksi. Kamera mengambil gambar produk, kemudian model AI menganalisis apakah kondisi tersebut sesuai dengan kriteria yang telah ditentukan. Hasilnya dapat digunakan sebagai informasi bagi operator atau diintegrasikan dengan sistem kontrol setelah melalui pengujian yang memadai.
Kebutuhan server pada use case ini dipengaruhi oleh kecepatan jalur produksi, resolusi kamera, dan batas waktu yang tersedia untuk menghasilkan keputusan. Sistem yang hanya memeriksa satu produk per detik tentu mempunyai kebutuhan berbeda dengan beberapa jalur yang berjalan secara bersamaan. Selain performa GPU, kualitas pencahayaan dan posisi kamera juga sangat menentukan keberhasilan implementasi.
Pada sistem CCTV, computer vision dapat digunakan untuk mendeteksi objek, menghitung pengunjung, mengenali plat nomor, atau menghasilkan peringatan berdasarkan kondisi tertentu. Server menerima video dari beberapa kamera kemudian menjalankan model sesuai kebutuhan aplikasi. Hasil analisis dapat diteruskan ke dashboard, sistem monitoring, atau aplikasi keamanan perusahaan.
Jumlah kamera tidak otomatis sama dengan jumlah stream yang harus dianalisis pada frame rate penuh. Perusahaan dapat menggunakan strategi sampling, pemrosesan berdasarkan event, atau pengaturan frame rate tertentu apabila kebutuhan aplikasi memungkinkan. Pendekatan tersebut dapat mengurangi beban komputasi, tetapi harus diuji agar tidak menyebabkan kejadian penting terlewat.
Sparta Server Indonesia juga memiliki halaman khusus Server AI CCTV & Computer Vision untuk kebutuhan analitik video, deteksi objek, serta pemrosesan banyak kamera. Halaman tersebut dapat menjadi referensi awal bagi perusahaan yang sedang merencanakan infrastruktur pengawasan berbasis AI.
Pada retail, computer vision dapat membantu penghitungan pengunjung, analisis antrean, maupun pengamatan aktivitas pada area tertentu. Di sektor logistik, teknologi ini dapat digunakan untuk membaca informasi visual, memeriksa kondisi paket, atau membantu identifikasi objek dalam proses operasional. Implementasinya perlu disesuaikan dengan kondisi lingkungan dan kualitas data yang tersedia.
Untuk kebutuhan seperti ini, perusahaan tidak selalu membutuhkan model yang sangat besar. Model yang lebih ringan tetapi mempunyai akurasi dan latency sesuai target dapat menjadi pilihan yang lebih efisien. Karena itu, pemilihan hardware sebaiknya dilakukan setelah model dan skenario penggunaan diuji menggunakan data nyata.
Sistem computer vision biasanya mempunyai beberapa tahapan yang saling terhubung. Data visual diterima dari kamera atau sumber lain, kemudian dipersiapkan agar sesuai dengan format input model. Setelah inference selesai, hasilnya diproses kembali dan dikirim ke aplikasi yang membutuhkan informasi tersebut.
Pada aplikasi berbasis kamera, server terlebih dahulu menerima video melalui jaringan atau sumber penyimpanan. Video yang masih terkompresi perlu didecode sebelum frame dapat digunakan untuk analisis. Proses ini dapat menggunakan CPU atau akselerasi hardware tertentu, tergantung codec, perangkat, dan software yang digunakan.
Kemampuan decoding perlu diperhatikan karena banyak stream dapat menghasilkan beban tambahan sebelum model AI mulai bekerja. GPU yang mempunyai kemampuan inference tinggi belum tentu mampu menangani seluruh pipeline apabila proses decoding menjadi bottleneck. Karena itu, spesifikasi GPU sebaiknya mencakup dukungan video codec dan kemampuan decoder apabila workload memang membutuhkan analitik video.
Setelah frame tersedia, sistem dapat melakukan resizing, normalisasi, cropping, atau transformasi lain sesuai kebutuhan model. Data kemudian dikirim ke inference engine untuk menghasilkan prediksi, seperti bounding box objek atau kategori gambar. Proses tersebut dapat dijalankan menggunakan GPU agar banyak operasi komputasi dapat diproses secara efisien.
Resolusi input model menjadi salah satu faktor yang memengaruhi kebutuhan komputasi. Kamera 4K tidak selalu berarti model harus memproses seluruh frame pada resolusi 4K, karena gambar dapat diubah ukurannya sesuai kebutuhan. Namun, penurunan resolusi harus mempertimbangkan ukuran objek yang ingin dideteksi agar informasi penting tidak hilang.
Hasil inference biasanya masih perlu diproses sebelum digunakan oleh aplikasi perusahaan. Sistem dapat melakukan filtering, object tracking, penghitungan, atau penggabungan hasil dari beberapa frame untuk menghasilkan informasi yang lebih stabil. Setelah itu, metadata dapat dikirim ke dashboard, database, message broker, atau sistem operasional lainnya.
Dokumentasi resmi NVIDIA DeepStream SDK menjelaskan pendekatan pipeline yang mencakup ingestion, decoding, preprocessing, inference, hingga multi-camera tracking. Pendekatan ini menunjukkan bahwa performa analitik video bergantung pada keseluruhan rangkaian pemrosesan, bukan hanya kecepatan model AI.
Server computer vision membutuhkan kombinasi hardware yang seimbang agar proses visual dapat berjalan sesuai target. GPU memang menjadi komponen utama untuk akselerasi model, tetapi CPU, RAM, storage, networking, dan kemampuan decoding juga mempunyai peran penting. Jika salah satu komponen menjadi bottleneck, performa keseluruhan dapat menurun meskipun GPU yang digunakan mempunyai spesifikasi tinggi.
GPU digunakan untuk mempercepat komputasi model computer vision, terutama pada inference dan training deep learning. Kapasitas VRAM diperlukan untuk menyimpan bobot model, activation, batch data, serta alokasi sementara selama proses berjalan. Kebutuhan memory dapat meningkat ketika perusahaan menjalankan beberapa model sekaligus atau menggunakan batch dan resolusi input yang lebih besar.
Namun, computer vision tidak selalu membutuhkan VRAM sebesar LLM dengan miliaran parameter. Banyak model deteksi objek mempunyai ukuran yang relatif lebih kecil, tetapi membutuhkan throughput tinggi karena harus memproses frame secara terus-menerus. Karena itu, kemampuan komputasi, memory bandwidth, dan dukungan video processing dapat sama pentingnya dengan kapasitas VRAM.
CPU menangani aplikasi, sistem operasi, komunikasi jaringan, serta berbagai proses pendukung yang tidak seluruhnya dijalankan pada GPU. Pada pipeline tertentu, CPU juga melakukan decoding, preprocessing, atau postprocessing yang cukup intensif. Jika kemampuan CPU tidak mencukupi, GPU dapat menunggu data sehingga utilisasinya tidak maksimal.
RAM digunakan untuk menyimpan frame buffer, cache, aplikasi, dan data sementara yang dibutuhkan pipeline. Jumlah stream, ukuran buffer, serta service yang berjalan akan memengaruhi kebutuhan memory sistem. Karena itu, kapasitas RAM sebaiknya dihitung berdasarkan arsitektur aplikasi, bukan hanya mengikuti rasio tertentu terhadap VRAM.
Storage digunakan untuk menyimpan model AI, dataset, konfigurasi, log, serta hasil analisis. Apabila server juga menyimpan rekaman video, kebutuhan kapasitas dapat meningkat sangat besar dan perlu dihitung secara terpisah dari kebutuhan komputasi AI. NVMe dapat digunakan untuk workload aktif, sementara penyimpanan rekaman jangka panjang dapat menggunakan arsitektur storage yang lebih sesuai dengan kapasitas dan kebijakan retensi.
Kecepatan storage menjadi penting ketika server membaca dataset training, memuat model, atau menyimpan hasil pemrosesan dalam jumlah besar. Namun, storage tercepat tidak otomatis meningkatkan FPS inference apabila bottleneck utama berada pada GPU atau proses decoding. Perusahaan perlu mengukur pola I/O sebelum menentukan spesifikasi penyimpanan.
Networking menghubungkan kamera, server AI, storage, dan aplikasi monitoring. Pada sistem dengan banyak kamera, bandwidth jaringan perlu dihitung berdasarkan bitrate video yang benar-benar digunakan, bukan hanya jumlah perangkat. Perusahaan juga perlu mempertimbangkan kestabilan koneksi, segmentasi jaringan, serta kemungkinan pemisahan traffic video dari jaringan aplikasi lainnya.
Untuk implementasi beberapa node, jaringan juga berperan dalam perpindahan data dan komunikasi antarserver. Namun, penggunaan jaringan 25GbE atau 100GbE tidak otomatis diperlukan untuk seluruh sistem computer vision. Spesifikasi harus disesuaikan dengan volume data, arsitektur storage, serta hasil perhitungan kebutuhan bandwidth.
Jumlah kamera sering menjadi informasi pertama yang diberikan perusahaan ketika meminta spesifikasi server AI. Namun, angka tersebut belum cukup untuk menentukan GPU karena setiap kamera dapat mempunyai resolusi, frame rate, codec, dan kebutuhan analisis yang berbeda. Model yang digunakan juga memengaruhi jumlah frame yang dapat diproses setiap detik.
Sebagai contoh ilustratif, sebuah perusahaan mempunyai 12 kamera dan ingin menganalisis masing-masing pada 5 FPS. Kebutuhan awalnya adalah 60 frame per detik yang harus diproses oleh pipeline secara agregat. Namun, angka tersebut belum memperhitungkan decoding, preprocessing, postprocessing, variasi ukuran frame, serta kemungkinan antrean ketika beberapa stream aktif bersamaan.
Jika model pada GPU tertentu mampu memproses 100 FPS dalam pengujian terisolasi, bukan berarti GPU tersebut otomatis cukup untuk sistem 60 FPS tersebut. Pengujian end-to-end tetap diperlukan karena performa model tunggal dapat berbeda dengan performa seluruh pipeline. Perusahaan perlu menyediakan margin kapasitas agar sistem tetap stabil ketika terjadi variasi beban.
Informasi yang perlu disiapkan untuk sizing meliputi:
Dengan data tersebut, perusahaan dapat melakukan benchmark yang lebih relevan. Pengujian sebaiknya menggunakan sampel video dari lingkungan sebenarnya karena kondisi pencahayaan, kepadatan objek, dan karakter gambar dapat memengaruhi performa maupun kualitas deteksi. Hasilnya kemudian menjadi dasar menentukan jumlah GPU dan kapasitas server.
Tidak ada satu konfigurasi yang cocok untuk seluruh workload computer vision. Sistem inspeksi gambar, analitik CCTV, dan training model mempunyai kebutuhan yang berbeda meskipun menggunakan teknologi deep learning yang serupa. Tabel berikut merupakan kisaran awal untuk diskusi capacity planning, bukan spesifikasi minimum atau jaminan jumlah kamera yang dapat ditangani.
| Skala Workload | GPU | CPU | RAM | Storage |
|---|---|---|---|---|
| Proof of concept | 1 GPU sesuai model, atau CPU untuk model ringan | 8–16 core sebagai titik awal | 32–64 GB | NVMe 1 TB |
| Produksi skala kecil | 1 GPU dengan VRAM sesuai model dan pipeline | 8–16 core | 64–128 GB | NVMe 1–2 TB untuk workload aktif |
| Multi-stream menengah | 1 GPU berperforma tinggi atau beberapa GPU sesuai benchmark | 16–32 core | 128–256 GB | NVMe dan storage rekaman terpisah |
| Enterprise multi-site | Multi-GPU atau beberapa node sesuai kebutuhan | Platform server multi-core | Sesuai jumlah service dan buffer | Storage enterprise serta jaringan sesuai kapasitas |
Kisaran tersebut harus disesuaikan dengan model, resolusi, FPS, codec, dan jumlah pipeline yang dijalankan. Sebagai contoh, sistem dengan 20 kamera yang hanya menganalisis beberapa frame per detik dapat mempunyai kebutuhan berbeda dengan 20 kamera yang menjalankan beberapa model pada frame rate tinggi. Karena itu, jumlah kamera tidak boleh dijadikan satu-satunya dasar menentukan spesifikasi.
Training dan inference mempunyai kebutuhan hardware yang berbeda. Training digunakan untuk membuat model belajar dari dataset, sedangkan inference menggunakan model yang sudah dilatih untuk menghasilkan prediksi dari gambar atau video baru. Perbedaan tersebut memengaruhi kebutuhan VRAM, kemampuan komputasi, dan cara GPU digunakan.
Pada training, perusahaan perlu memperhatikan ukuran model, batch size, resolusi gambar, dataset, serta target waktu eksperimen. GPU dengan VRAM lebih besar dapat membantu menjalankan batch atau model tertentu, sementara kemampuan komputasi menentukan kecepatan proses training. Untuk model yang lebih besar, multi-GPU dapat dipertimbangkan apabila framework mendukung pembagian workload.
Pada inference, fokusnya lebih banyak pada throughput, latency, dan kemampuan menangani sumber video secara bersamaan. GPU dengan kemampuan video processing yang sesuai dapat menjadi pilihan menarik untuk analitik video, tetapi performanya tetap harus diuji menggunakan pipeline yang akan digunakan. Perusahaan dapat melihat solusi NVIDIA L40S Server Indonesia sebagai salah satu opsi GPU enterprise untuk AI inference dan computer vision, tanpa menganggapnya sebagai pilihan yang selalu paling tepat untuk setiap workload.
Satu GPU dapat menjadi pilihan yang efisien apabila seluruh workload masih dapat dijalankan dengan latency dan throughput sesuai target. Konfigurasi ini lebih sederhana dari sisi instalasi, monitoring, dan pengelolaan resource. Untuk sistem yang menggunakan model ringan atau jumlah stream terbatas, single GPU sering menjadi titik awal yang masuk akal.
Multi-GPU mulai dipertimbangkan ketika satu perangkat tidak lagi mampu memenuhi kebutuhan komputasi atau perusahaan ingin membagi workload ke beberapa GPU. Misalnya, beberapa kelompok kamera dapat dialokasikan ke GPU berbeda agar proses inference tidak saling berebut resource. Pendekatan ini tidak selalu membutuhkan model parallelism karena setiap GPU dapat menjalankan instance model secara terpisah.
Namun, penambahan GPU tidak otomatis meningkatkan performa secara linear. CPU, PCIe, decoding, storage, dan networking tetap harus mampu mendukung kapasitas tambahan tersebut. Karena itu, desain multi-GPU perlu diuji sebagai satu sistem sebelum digunakan pada lingkungan produksi.
Computer vision dapat dijalankan pada perangkat edge yang ditempatkan dekat dengan kamera maupun pada server terpusat. Edge AI cocok ketika perusahaan membutuhkan pemrosesan dekat dengan sumber data, latency rendah, atau ingin mengurangi kebutuhan pengiriman video melalui jaringan. Namun, perangkat edge mempunyai keterbatasan kapasitas komputasi, memory, dan pengelolaan yang perlu diperhatikan.
Server terpusat memberikan kemudahan dalam mengelola model, monitoring, dan kapasitas komputasi untuk banyak sumber data. Pendekatan ini dapat digunakan ketika jaringan memadai dan perusahaan ingin mengonsolidasikan workload pada data center. Namun, seluruh video yang dikirim ke pusat tetap membutuhkan bandwidth dan infrastruktur jaringan yang sesuai.
Dalam beberapa implementasi, pendekatan hybrid dapat menjadi pilihan. Sebagian pemrosesan dilakukan pada edge, sementara analisis tambahan atau penyimpanan data dilakukan pada server pusat. Arsitektur terbaik perlu ditentukan berdasarkan lokasi kamera, kebutuhan latency, volume video, dan kemampuan jaringan perusahaan.
Computer vision dapat memproses data visual yang sensitif, terutama ketika digunakan pada area kerja, fasilitas publik, atau sistem keamanan. Karena itu, perusahaan perlu menentukan siapa yang dapat mengakses rekaman, metadata, dan hasil analisis. Kebijakan retensi, enkripsi, segmentasi jaringan, serta audit akses juga perlu disesuaikan dengan kebutuhan operasional dan ketentuan yang berlaku.
Selain keamanan, availability menjadi penting ketika sistem digunakan untuk mendukung proses bisnis yang kritis. Jika seluruh analitik berjalan pada satu server, kegagalan perangkat dapat menyebabkan layanan berhenti sampai sistem dipulihkan. Perusahaan perlu mempertimbangkan monitoring, backup konfigurasi, mekanisme recovery, dan kemungkinan redundancy sesuai dampak bisnis apabila layanan mengalami gangguan.
Untuk kebutuhan infrastruktur yang lebih luas, Core Server & Infrastruktur Sparta Server Indonesia dapat menjadi bagian dari perencanaan compute, storage, networking, dan sistem pendukung lainnya. Pendekatan ini membantu perusahaan membangun lingkungan computer vision yang tidak hanya berfokus pada GPU, tetapi juga kesiapan operasional secara keseluruhan.
Sebelum membeli hardware, perusahaan sebaiknya melakukan assessment terhadap aplikasi yang akan dijalankan. Tentukan apakah server digunakan untuk training, inference gambar, analitik video, atau kombinasi beberapa workload. Setelah itu, identifikasi model, dataset, jumlah sumber data, resolusi, FPS, serta target performa yang ingin dicapai.
Langkah berikutnya adalah melakukan proof of concept menggunakan data yang mendekati kondisi produksi. Pengujian perlu mengukur latency end-to-end, throughput, penggunaan GPU, VRAM, CPU, RAM, serta kemampuan decoding. Dengan begitu, perusahaan dapat mengetahui bottleneck yang sebenarnya sebelum menentukan GPU atau komponen lain yang perlu ditingkatkan.
Perusahaan juga perlu mempertimbangkan kebutuhan ekspansi. Jumlah kamera dapat bertambah, model dapat diganti, dan aplikasi AI mungkin mulai digunakan oleh lebih banyak divisi. Server yang dipilih sebaiknya mempunyai ruang pengembangan pada GPU, RAM, storage, networking, power supply, dan cooling agar tetap relevan ketika kebutuhan meningkat.
Server AI untuk Computer Vision membutuhkan perencanaan yang lebih luas daripada sekadar memilih GPU dengan spesifikasi tertinggi. Perusahaan perlu mempertimbangkan jenis model, jumlah sumber gambar, resolusi, FPS, kemampuan decoding, latency, serta kebutuhan penyimpanan dan jaringan. Seluruh faktor tersebut menentukan apakah satu GPU sudah cukup atau diperlukan konfigurasi multi-GPU maupun beberapa node.
Pendekatan terbaik adalah memulai dari use case dan melakukan benchmark menggunakan data nyata. Hasil pengujian dapat menjadi dasar untuk menentukan GPU, VRAM, CPU, RAM, storage, serta kapasitas networking yang sesuai. Dengan perencanaan tersebut, perusahaan dapat membangun infrastruktur computer vision yang efisien dan mempunyai ruang pengembangan dalam jangka panjang.
Sparta Server Indonesia menyediakan solusi AI Server dan GPU Server untuk kebutuhan computer vision, machine learning, serta analitik video perusahaan. Untuk kebutuhan pengadaan dan konfigurasi, perusahaan dapat melihat GPU Server Indonesia dan menggunakan Jasa Instalasi Server AI agar lingkungan hardware dan software dapat disiapkan sesuai workload yang akan dijalankan. Konsultasi dapat dilakukan melalui Sparta Server Indonesia untuk menentukan spesifikasi berdasarkan kebutuhan operasional dan rencana pengembangan sistem. WhatsApp kami +62 878‑2224‑1000
Bisa pada beberapa kondisi, selama kamera atau sistem perekam menyediakan akses video yang kompatibel dengan aplikasi AI. Namun, kualitas gambar, resolusi, frame rate, dan kemampuan jaringan tetap perlu diperiksa. Kamera dengan kualitas rendah atau posisi yang kurang sesuai dapat membatasi kemampuan model meskipun server menggunakan GPU berperforma tinggi.
Bisa, tetapi performanya bergantung pada kualitas kamera, pencahayaan, serta data yang digunakan untuk melatih model. Kondisi gelap, refleksi, dan perubahan pencahayaan dapat menyebabkan hasil deteksi menurun. Karena itu, perusahaan perlu menguji model menggunakan sampel gambar dari kondisi operasional yang sebenarnya.
Tidak selalu, tetapi model mungkin membutuhkan penyesuaian apabila karakter produk baru berbeda dari data yang digunakan sebelumnya. Perusahaan dapat melakukan evaluasi terlebih dahulu untuk mengetahui apakah model masih mampu mengenali objek dengan baik. Jika performa menurun, fine-tuning atau training ulang menggunakan data tambahan dapat menjadi pilihan.
Bisa apabila model, aplikasi, dan seluruh dependency yang dibutuhkan sudah tersedia pada lingkungan lokal. Server dapat menerima data dari kamera melalui jaringan internal dan menjalankan inference tanpa harus mengirim video ke layanan cloud. Namun, koneksi internet mungkin tetap dibutuhkan untuk update software, pengunduhan model, atau integrasi tertentu sesuai arsitektur yang digunakan.
False alarm dapat dikurangi melalui evaluasi model, perbaikan kualitas data, pengaturan confidence threshold, serta penggunaan logika tambahan sesuai kebutuhan aplikasi. Pada analitik video, hasil dari beberapa frame atau object tracking dapat digunakan untuk membantu membuat keputusan yang lebih stabil. Namun, perubahan threshold perlu diuji karena mengurangi false alarm terlalu agresif dapat meningkatkan risiko objek atau kejadian penting tidak terdeteksi.