Bolong.id - Universitas Teknologi Tianjin, telah mengembangkan sistem terjemahan waktu nyata untuk bahasa isyarat di bawah skenario yang komprehensif, yang diharapkan akan segera digunakan.
Dilansir dari 人民网 pada Sabtu (16/07/2022) untuk membuat lebih banyak orang dengan gangguan pendengaran “mendengar” dan membawa lebih banyak kemudahan ke dunia dengan AI, tim R&D sistem membutuhkan waktu hampir lima tahun untuk membangun korpus yang berisi lebih dari 300.000 materi video bahasa isyarat.
Zhang Yibin adalah mahasiswa angkatan 2019 jurusan teknik jaringan dari TUT Technical College for the Deaf. Dia juga anggota tim R&D yang mengembangkan sistem terjemahan bahasa isyarat.
Tim ini terdiri dari hampir 60 orang, dan lebih dari setengahnya adalah siswa dengan gangguan pendengaran seperti Zhang.
Foto menunjukkan anggota tim R&D yang mengembangkan sistem terjemahan waktu nyata untuk bahasa isyarat dari Universitas Teknologi Tianjin.
(Foto milik Technical College for the Deaf, Tianjin University of Technology)
Menurut statistik, Tiongkok memiliki 27,8 juta orang dengan gangguan pendengaran.
“Bahasa isyarat masih menjadi 'bahasa ibu' mereka hari ini,” kata Yuan Tiantian, wakil dekan Sekolah Tinggi Teknik untuk Tuna Rungu, menambahkan bahwa aplikasi pengenalan suara masih berfokus pada orang-orang yang dapat mendengar meskipun digunakan secara luas.
“Selain dipahami, apa yang sebenarnya diinginkan oleh penyandang tunarungu adalah 'didengar,'” kata Yuan.
Bahasa isyarat adalah bahasa visual yang memiliki tata bahasa dan urutan tertentu. Ini menggabungkan gerak tubuh, ekspresi wajah, dan gerakan tubuh.
Pengenalan bahasa isyarat dan pengenalan suara memiliki satu kesamaan - keduanya harus bergantung pada korpus besar untuk bekerja. Saat ini, korpus untuk pengenalan suara sudah sangat matang, tetapi tidak demikian halnya dengan pengenalan bahasa isyarat, kata Yuan.
Wang Jianyuan adalah mahasiswa angkatan 2018 jurusan teknik jaringan dari TUT Technical College for the Deaf dan anggota pendiri tim R&D.
Tugas Wang dalam tim adalah memperkaya korpus bahasa isyarat, yang terdiri dari materi video. Menurutnya, dia dan timnya telah mengumpulkan lebih dari 300.000 video, dan korpusnya hampir sebesar kosakata di HSK Level 4, yang menilai kemampuan peserta tes dalam penerapan bahasa Mandarin sehari-hari.
Sun Yue, yang berada di tahun pertama studi pascasarjana di School of Computer Science and Engineering, TUT, bertanggung jawab untuk membangun algoritma dalam tim.
“Urutan kata dari bahasa isyarat dan bahasa Tiongkok mungkin sangat berbeda bahkan dalam kalimat yang sama,” jelasnya, seraya menambahkan bahwa ia dan pasangannya secara bertahap membentuk kerangka kerja algoritma untuk pengenalan bahasa isyarat.
“Dalam bahasa sederhana, kami membuat buku teks bahasa isyarat untuk komputer,” katanya. “Buku teks” ini memberi tahu komputer cara menerjemahkan bahasa isyarat ke dalam bahasa Mandarin.
Saat ini, kerangka algoritma pada dasarnya mampu menerjemahkan bahasa isyarat di bawah skenario yang komprehensif.
Pada tahun 2019, sistem ini terdaftar sebagai proyek utama yang didukung oleh Kementerian Perindustrian dan Teknologi Informasi dan menerima hibah dari pemerintah, yang mempercepat laju tim R&D.
Pada bulan Mei tahun lalu, tim membawa hasil penelitian mereka ke Kongres Intelijen Dunia yang diadakan di Tianjin. “Pada saat itu, sistem telah mencakup pendidikan, hukum, makan, transportasi, dan skenario lainnya. Itu bisa mengenali 95 persen bahasa isyarat dengan pencahayaan yang cukup,” Yuan memperkenalkan.
Selain itu, sistem ini digunakan untuk menyediakan layanan pelaporan berita selama Olimpiade Musim Dingin Beijing 2022, menghadirkan pesona olahraga musim dingin kepada orang-orang dengan gangguan pendengaran.
Sekarang tim melihat semakin banyak mitra kerja sama, yang menandakan masa depan yang cerah untuk sistem pengenalan bahasa isyarat.
“Adapun tujuan kami adalah membangun korpus yang mencakup sejuta materi video dan pada dasarnya mencakup semua skenario umum kehidupan sehari-hari,” kata Yuan.(*)
Advertisement
