Penelitian ini berfokus pada pengembangan teknologi komunikasi yang efektif untuk mendukung aksesibilitas komunitas Tuli di Indonesia, menyikapi tantangan bahwa sebagian besar penelitian Bahasa Isyarat Indonesia (SIBI) masih didominasi oleh pendekatan berbasis penglihatan. Pendekatan berbasis kamera tersebut memiliki kelemahan signifikan, yaitu sangat sensitif terhadap kondisi pencahayaan, latar belakang, dan masalah oklusi (penutupan/hambatan).
Sebagai solusi, makalah ini memperkenalkan prototipe sarung tangan cerdas multi-sensor yang dirancang khusus untuk menangkap postur tangan statis alfabet SIBI. Sistem ini mengintegrasikan lima sensor fleksibel dan Inertial Measurement Unit (IMU) MPU-6050, yang semuanya dikendalikan oleh mikrokontroler Arduino Nano. Sensor fleksibel bertanggung jawab untuk menangkap derajat tekukan pada setiap jari, sementara MPU-6050 dipasang di punggung tangan untuk mengukur akselerasi tri-aksial dan orientasi tangan.
Data dikumpulkan dari 10 partisipan dengan merekam 24 huruf alfabet statis (tidak termasuk J dan Z), di mana setiap huruf diulang sebanyak tiga kali dalam protokol multi-sesi. Data mentah ini disimpan sebagai berkas CSV deret waktu. Data yang ditangkap kemudian diproses melalui pipeline prapemrosesan yang meliputi penghapusan nilai yang hilang (missing values), pengkodean label kategorikal, dan normalisasi fitur menggunakan StandardScaler di dalam setiap lipatan validasi silang.
Untuk menguji keefektifan sistem, dilakukan benchmark komprehensif menggunakan serangkaian algoritma pembelajaran mesin, yang mencakup model klasik dan ensemble tingkat lanjut. Model yang diuji meliputi: K-Nearest Neighbors, Random Forest, Extra Trees, Gradient Boosting, Support Vector Machines, Multi-Layer Perceptron, serta XGBoost, LightGBM, dan CatBoost. Performa model dievaluasi di bawah dua strategi validasi krusial: intra-subjek (Stratified K-Fold) dan inter-subjek (Group K-Fold), yang terakhir ini sangat penting untuk memastikan kemampuan model dalam mengklasifikasikan gestur dari partisipan yang belum pernah dilihat sebelumnya. Dua konfigurasi fitur utama diperiksa: (1) hanya data sensor fleksibel dan (2) kombinasi fitur sensor fleksibel dan akselerometer.
Hasil menunjukkan bahwa sensor fleksibel saja sudah mampu menghasilkan pola yang sangat diskriminatif, dengan macro-averaged F1-score mencapai 0,8587 menggunakan model Extra Trees pada validasi subject-wise. Peningkatan kinerja terbaik tercapai ketika fitur sensor fleksibel digabungkan dengan akselerometer, meningkatkan macro-F1 terbaik menjadi 0,8831 yang diperoleh oleh model K-Nearest Neighbors.
Secara keseluruhan, temuan ini secara kuat mendemonstrasikan bahwa sistem berbasis sensor yang dapat dikenakan menawarkan alternatif yang stabil dan independen terhadap lingkungan untuk pengenalan SIBI, memberikan baseline dan dataset open-source yang kuat untuk penelitian mendatang mengenai pengenalan bahasa isyarat Indonesia berbasis sensor.
1. Mifta Nur Farid. S.T., M.T. (Teknik Elektro/ JTEIB/ ITK)
2. Amalia Rizqi Utami, S.T., M.T. (Teknik Elektro/ JTEIB/ ITK)
3. Muhammad Agung Nursyeha, S.T., M.T. (Teknik Elektro/ JTEIB/ ITK)
4. Farindika Metandi, BCompSc., M.M., M.Cs. (Teknik Informatika Multimedia/ JTI/ POLNES)
1. Menyediakan alternatif sistem pengenalan SIBI yang stabil dan tidak bergantung pada kondisi lingkungan (cahaya, latar belakang, oklusi).
2. Menghasilkan sarung tangan cerdas multi-sensor dan dataset alfabet statis Sistem Isyarat Bahasa Indonesia (SIBI) open-source pertama yang dibangun dari sensor yang dapat dikenakan (wearable sensors).
3. Menyediakan garis dasar (baseline) dan dataset yang kuat untuk memajukan penelitian di masa depan mengenai pengenalan bahasa isyarat Indonesia berbasis sensor.
4. Mendukung pengembangan teknologi komunikasi efektif yang krusial untuk aksesibilitas komunitas Tuli.