Ilustrasi bibir - Image from Internet. Segala keluhan mengenai hak cipta dapat menghubungi kami
Beijing, Bolong.id - Ketika seseorang berbicara, gerakan bibir disinkronkan dengan suara, dan komunikasi bahasa dapat dilakukan dengan mengenali gerakan bibir.
Untuk orang-orang yang memiliki pita suara yang rusak atau tuna wicara, bahasa bibir adalah cara yang efektif untuk berkomunikasi tanpa mengangkat tangan dan tanpa hambatan.
Meski lip reading ramah bagi pembicara, tetapi tidak mudah bagi pendengar yang menafsirkannya. Untuk mengurangi kesulitan interpretasi bahasa bibir, metode seperti medan magnet, citra visual, dan ultrasound sering digunakan untuk menerjemahkannya.
Mengambil metode citra visual non-kontak yang paling populer. Sebagai contoh, meskipun tingkat akurasi pengenalan bahasa bibirnya tinggi tetao masih terganggu oleh faktor-faktor seperti sudut wajah, intensitas cahaya, gerakan kepala dan oklusi.
Apalagi di masa pandemi COVID-19, pemakaian masker membawa tantangan baru dalam interpretasi gerakan bibir berbasis penglihatan. Teknologi menafsirkan bahasa bibir dengan menangkap langsung gerakan halus otot wajah memiliki nilai penelitian ilmiah yang penting dan prospek aplikasi yang luas.
Dilansir dari 光明日报 pada Sabtu (26/3/2022), baru-baru ini, Tim Intelijen dan Biomekanik dari Departemen Teknik Mesin Universitas Tsinghua bekerja sama dengan tim Institut Energi-Nano dan Sistem Beijing Akademi Ilmu Pengetahuan Tiongkok untuk mengembangkan sistem pembaca bibir yang baru.
Sistem ini terdiri dari sensor triboelektrik fleksibel berbiaya rendah dan berdaya sendiri serta model deep learning berdasarkan pembelajaran prototipe.
Sensor akan mengirimkan sinyal listrik yang dihasilkan oleh gerakan otot bibir ke sistem decoding, yang diterjemahkan ke dalam bahasa yang dapat dikomunikasikan.
Studi ini menguji dan menganalisis kinerja mekanik dan listrik dari sensor, mengumpulkan dan mengekstraksi fitur sinyal gerakan bibir untuk vokal, kata, frasa, ucapan tak bersuara dan bersuara yang dipilih.
Dengan membandingkan gerakan bibir dan sinyal suara yang dikumpulkan secara serempak, membuktikan bahwa sinyal gerakan bibir konsisten terlepas dari apakah suara itu diucapkan atau tidak.
Pengaruh parameter yang berbeda seperti kecepatan bicara dan pola gerakan bibir pada karakteristik sinyal dianalisis lebih lanjut. Model jaringan saraf tiruan berulang yang kosong berdasarkan pembelajaran prototipe diusulkan untuk pengenalan sinyal gerakan bibir, dan akurasi pengujian mencapai 94,5% dalam kasus 20 klasifikasi (100 sampel/kelas).
Perlu dicatat bahwa sensor self-powered di atas terdiri dari film polimer fleksibel dan elektroda fleksibel, yang dapat meningkatkan kenyamanan pemakaian oleh manusia.
Menghadapi kebutuhan komunikasi sehari-hari para penyandang tunarungu, penemuan ini membuka arah penelitian inovatif untuk penerapan terjemahan bahasa bibir dalam skenario khusus.
Selain itu, penemuan tersebut memiliki potensi nilai aplikasi yang besar di berbagai bidang. Seperti kontrol robot, autentikasi pribadi, antarmuka manusia-mesin, bantuan disabilitas, silent speech, intelijen, implementasi misi kontra-terorisme, rehabilitasi, teknik biomedis, dan realitas virtual.
Penanggung jawab tim yang relevan mengatakan bahwa meskipun pekerjaan telah menunjukkan efektivitas dan prospek aplikasi teknologi, namun masih menghadapi masalah seperti keandalan dan stabilitas sistem.
Tim peneliti percaya bahwa dengan pendalaman penelitian, teknologi ini diharapkan dapat melayani orang-orang yang tidak bersuara dan menyediakan sarana teknologi untuk komunikasi bahasa yang bebas hambatan. (*)
Informasi Seputar Tiongkok
Advertisement
