RANCANGAN BANGUN APLIKASI PENERJEMAH BAHASA ISYARAT DENGAN DEEP LEARNING MENGGUNAKAN ALGORITMA CONVOLUTIONAL NEURAL NETWORK (CNN)

  • Fadly Maulana Adiyasa Universitas Persada Indonesia Y.A.I
Keywords: Android, Convolutional Neural Network (CNN), Deep Learning, MediaPipe, Sistem Isyarat Bahasa Indonesia (SIBI).

Abstract

Komunikasi merupakan kebutuhan vital, namun penyandang tunarungu sering mengalami
hambatan saat berinteraksi dengan masyarakat awam yang minim pemahaman terhadap bahasa
isyarat. Penelitian ini bertujuan merancang bangun aplikasi penerjemah Sistem Isyarat Bahasa
Indonesia (SIBI) ke dalam teks secara real-time berbasis Android guna mempermudah komunikasi
tersebut. Sistem ini dikembangkan memanfaatkan kecerdasan buatan deep learning dengan
algoritma Convolutional Neural Network (CNN) berarsitektur MobileNetV2 dan diintegrasikan
dengan kerangka kerja MediaPipe HandLandmarker untuk melacak koordinat batas tangan. Proses
klasifikasi berjalan secara offline di dalam perangkat menggunakan TensorFlow Lite untuk
menerjemahkan 24 huruf alfabet SIBI yang bersifat statis. Berdasarkan pengujian langsung di
lingkungan dengan kondisi ideal, sistem berhasil mencapai tingkat confidence rata-rata sebesar
95,19% pada smartphone dan 97,50% pada tablet. Secara keseluruhan, aplikasi telah berhasil
beroperasi secara responsif tanpa terjadinya kebocoran memori (force close) dan tangguh dalam
menangani gangguan dua tangan. Meskipun demikian, performa ekstraksi fitur sistem masih dapat
menurun pada kondisi lingkungan ekstrem, seperti paparan cahaya silau (backlight) dan latar
belakang visual yang ramai.

Published
2027-07-01
How to Cite
Adiyasa, F. M. (2027). RANCANGAN BANGUN APLIKASI PENERJEMAH BAHASA ISYARAT DENGAN DEEP LEARNING MENGGUNAKAN ALGORITMA CONVOLUTIONAL NEURAL NETWORK (CNN). IKRA-ITH Informatika : Jurnal Komputer Dan Informatika, 11(2), 153-161. https://doi.org/10.37817/ikraith-informatika.v11i2.7806