Penelitian ini mengembangkan sistem deteksi dini perilaku anomali dengan menggabungkan analisis pose tubuh (pose estimation) dan pengenalan wajah berbasis kecerdasan buatan untuk meningkatkan akurasi pengawasan di area publik seperti pusat pemerintahan, transportasi, dan fasilitas umum.
Metode Sistem bekerja pada aliran video real-time melalui dua jalur analisis paralel:
- Analisis Pose Tubuh: deteksi manusia (mis. YOLO), estimasi pose (MediaPipe BlazePose), ekstraksi keypoints, lalu klasifikasi gerakan dan postur dengan model machine learning (mis. SVM) untuk mengenali pola anomali seperti gerakan agresif, lari mendadak, jatuh, atau mengendap-endap.
- Pengenalan Wajah: deteksi wajah, ekstraksi fitur wajah (face embedding), dan pencocokan terhadap database (watchlist/whitelist) menggunakan model deep learning (mis. FaceNet).
Informasi dari kedua jalur difusikan pada modul pengambilan keputusan untuk mengevaluasi tingkat ancaman (rendah–tinggi). Kombinasi pose anomali dan identitas di daftar pantau menghasilkan level ancaman yang lebih tinggi, yang kemudian memicu peringatan otomatis beserta cuplikan video sebagai bukti.
Dataset dan Implementasi Penelitian mengumpulkan dua dataset: (1) gambar/objek manusia untuk pelatihan deteksi dan (2) video gerak-gerik manusia yang menggambarkan perilaku mencurigakan (mis. menoleh berulang seperti mengecek sekitar). Dataset diberi anotasi manual dan melalui kontrol kualitas. Prototipe diuji pada kondisi depan kamera dan percobaan penggunaan CCTV, dengan catatan beberapa kasus pendeteksian perlu perbaikan lebih lanjut (trial & error).
Tingkat Kesiapan Teknologi Saat ini pengembangan berada pada TKT 3 (Validasi Konsep). Fokus tahap ini adalah pengembangan awal model pose estimation, validasi konsep melalui eksperimen di lingkungan simulasi, serta pengoptimalan parameter model untuk meningkatkan akurasi dan efisiensi sebelum skala lebih lanjut.
Manfaat dan Potensi Aplikasi Sistem ini diharapkan dapat:
- Meningkatkan efisiensi pemantauan keamanan publik dengan deteksi dini dan otomatis.
- Mempercepat respons petugas keamanan melalui notifikasi yang dilengkapi bukti video.
- Mengurangi beban pemantauan manual dan meminimalkan human error. Potensi implementasi meliputi area publik di Ibu Kota Nusantara (IKN), bandara, stasiun, pusat perbelanjaan, dan fasilitas pemerintahan.
Kendala dan Rencana Selanjutnya Kendala utama adalah kualitas dan kuantitas dataset yang belum optimal, mempengaruhi performa model. Tahapan selanjutnya meliputi:
1. Perbaikan dataset (penambahan dan pelabelan ulang).
2. Penggabungan dan integrasi model-model yang telah dibangun.
3. Uji coba menyeluruh di lab dan kondisi CCTV nyata untuk iterasi perbaikan.
Pendekatan kombinasi analisis pose dan pengenalan wajah berbasis AI menunjukkan potensi kuat sebagai solusi deteksi dini ancaman di ruang publik. Dengan peningkatan dataset dan pengujian lapangan lanjut, sistem ini dapat menjadi komponen penting dalam strategi keamanan smart city yang responsif dan adaptif.
Anggota :
Bima Prihasto, Ph.D.,
Aninditya Anggari Nuryono, S.T., M.Eng.
Menghadirkan sistem keamanan berbasis AI dan computer vision untuk mendeteksi ancaman secara real-time.