Rancang Bangun Aplikasi untuk Deteksi Alfabet Bahasa Isyarat Sibi menggunakan Algoritma Convolutional Neural Network (CNN)
Abstrak
Komunikasi merupakan kebutuhan vital, namun penyandang tunarungu sering
mengalami hambatan saat berinteraksi dengan masyarakat awam yang minim pemahaman
terhadap bahasa isyarat. Penelitian ini bertujuan merancang bangun aplikasi penerjemah
Sistem Isyarat Bahasa Indonesia (SIBI) ke dalam teks secara real-time berbasis Android guna
mempermudah komunikasi tersebut. Sistem ini dikembangkan memanfaatkan kecerdasan
buatan deep learning dengan algoritma Convolutional Neural Network (CNN) berarsitektur
MobileNetV2 dan diintegrasikan dengan kerangka kerja MediaPipe HandLandmarker untuk
melacak koordinat batas tangan. Proses klasifikasi berjalan secara offline di dalam perangkat
menggunakan TensorFlow Lite untuk menerjemahkan 24 huruf alfabet SIBI yang bersifat
statis. Berdasarkan pengujian langsung di lingkungan dengan kondisi ideal, sistem berhasil
mencapai tingkat confidence rata-rata sebesar 95,19% pada smartphone dan 97,50% pada
tablet. Secara keseluruhan, aplikasi telah berhasil beroperasi secara responsif tanpa terjadinya
kebocoran memori (force close) dan tangguh dalam menangani gangguan dua tangan. Meskipun
demikian, performa ekstraksi fitur sistem masih dapat menurun pada kondisi lingkungan
ekstrem, seperti paparan cahaya silau (backlight) dan latar belakang visual yang ramai.

