中大與日財團推網遊「手語村」
2021-09-23 05:30
(星島日報報道)以往的手語自動識別技術需要配合特殊裝置,才能識別聾人打手語時的表情或嘴形,但如今有新突破,中文大學聯同Google、日本財團以及關西學院大學合作研發更精細的手語自動識別技術,推出首個結合人工智能和手語語言學的多語言網絡遊戲「手語村」。「手語村」一方面能讓健聽人士接觸手語,另一方面可收集更多數據,訓練系統識別更多手語的打法。團隊期望最終能發展Google手語翻譯。
中大語言學及現代手語及聾人研究中心聯同Google和日本財團,以及關西學院大學合作研發線上遊戲「手語村」,讓玩家學習日本或香港手語,兩個語言各有三個場景,每個場景有十二個手語讓玩家試玩,玩家可以跟著影片示範打手語,系統就能識別他們的動作是否正確。以往需要帶上特殊3D鏡頭,和帶有傳感器的手套才能識別手語,這個遊戲突破以往限制,採用了Google的模型,包括偵測肢體動作、面部表情以及手部動作的系統,只需要普通鏡頭加上人工智能就能分辨不同手語。協助開發遊戲的中大手語及聾人研究中心助理電腦主任鄭家耀表示,現在的技術已能識別動作類似的手語。
鄭家耀表示,系統收集數據時,一個手語需要收集一百個不同打法;他解釋,每個人打手語的習慣都不同,有些手語打法類似,依靠口形及面部表情分辨不同意思;有些手語對口形要求不大,則着重手部動作。他表示,手語沒有一個標準答案,因此需要收集足夠數據分析不同打法。玩家在打完一個手語後,遊戲會詢問玩家是否在打該手語,從而讓系統辨別不同打法。團隊期望遊戲將來能加入更多場景和手語詞彙,長遠希望和Google繼續合作,研發手語Google翻譯。
最新回應