LatihIsyarat

Tentang LatihIsyarat

LatihIsyarat adalah aplikasi belajar alfabet ASL berbasis Flutter. Pengguna dapat berlatih melalui kamera, foto atau unggahan, membaca panduan huruf, serta melihat riwayat dan progres latihan. Pengenalan dijalankan secara offline menggunakan TensorFlow Lite, sedangkan riwayat disimpan secara lokal di SQLite.

Saya mengerjakan deteksi tangan, preprocessing gambar, integrasi pengenalan ke kamera, pengembangan gerakan J/Z, progres belajar, serta pengujiannya. Jalur default mencakup 24 huruf statis; pengembangan J/Z saya kerjakan pada branch rama.

Kontribusi saya

Deteksi tangan pada foto dan unggahan

Saya mengembangkan deteksi tangan untuk gambar diam dan menghubungkannya ke jalur foto/unggahan. Saya menangani pemilihan area tangan, masukan yang belum layak diproses, dan hubungan hasil deteksi dengan classifier. Pekerjaan ini membuat gambar yang dipilih pengguna diteruskan melalui tahapan pengenalan yang sesuai.

Preprocessing dan classifier TensorFlow Lite

Saya mengerjakan preprocessing gambar agar bentuk masukan cocok dengan model, memanggil classifier TensorFlow Lite, serta menghubungkan label prediksi ke hasil aplikasi. Saya juga memperbaiki validasi identifier model dan jalur pengujian classifier agar kesalahan pemetaan model atau label dapat ditangani pada lapisan pengenalan.

Paket training dan kontrak model J/Z

Pada branch rama, saya menyusun paket training/evaluasi J/Z berbasis Python dengan fitur sekuens dan model GRU. Saya menyiapkan label, metadata, serta kontrak preprocessing, memisahkan data menurut kelompok video sumber, dan mencatat manifest split. Saya juga memeriksa konversi model ke TensorFlow Lite, termasuk varian float16, serta mengarsipkan sumber model statis.

Landmark tangan dan integrasi native Android

Saya menghubungkan komponen MediaPipe, detector/landmark, encoder frame, sequence preprocessor, dan classifier J/Z. Saya mengerjakan bridge native Android/Kotlin serta jalur inferensi di isolate agar keluaran frame kamera dapat diubah menjadi fitur sekuens yang dipakai layanan pengenalan gerakan.

Latihan target J/Z dan mode bebas

Saya mengintegrasikan mode latihan target J/Z serta mode bebas yang menggabungkan pengenalan pose statis dan gerakan. Klip J/Z memakai kontrol awal/akhir dari pengguna. Saya mengatur timeout, menolak hasil yang datang dari sesi lama, dan menangani pembatalan agar hasil prediksi tetap terkait dengan sesi yang sedang aktif.

Lifecycle kamera dan penyimpanan sesi

Saya memperbaiki pelepasan kamera ketika pengguna berpindah halaman atau aplikasi masuk background. Saya juga menangani penyimpanan riwayat sesi yang terputus agar proses simpan dan penghentian kamera tidak saling mengganggu. Bagian ini berkaitan dengan kestabilan penggunaan kamera selama latihan dan saat sesi dihentikan.

Riwayat, progres 26 huruf, dan panduan

Saya memperluas model riwayat serta progres untuk mencakup 26 huruf pada pengembangan J/Z, memperbaiki penanda latihan mingguan berdasarkan tanggal aktivitas, dan menambahkan penjelasan gerakan J/Z pada panduan. Saya turut merapikan kontrol layar latihan, halaman panduan, serta tampilan progres yang dihubungkan dengan data sesi lokal.

Pengujian layanan dan integrasi aplikasi

Saya menulis pengujian untuk classifier, hand detector, layanan J/Z, integrasi kamera, riwayat, gamifikasi, dan panduan. Fokusnya mencakup kontrak input/output, penanganan sesi, serta hubungan hasil pengenalan dengan proses belajar. Pengembangan ini tetap disajikan terpisah dari jalur 24 huruf statis pada default branch.