| 作品介紹 |
全球每二十個人就有一人患有殘疾性聽力喪失，該類聾啞者無法和健聽者無障礙地進行交流，只能以手語、文字、口語三種方式來進行溝通。其中口語不是所有聾啞者皆可使用自如的溝通方式，即便可以但與健聽者在溝通上仍有部分差異；再者，健聽者多半不懂手語的緣故，所以兩者的溝通方式僅剩下文字一途，雖然此種方式容易理解也較為明確，但通常由於聽力受損進而影響學習語言文字的能力，因此較難快速閱讀資訊。聾啞者仍是以手語作為主要溝通的橋樑，為了能與健聽者順利溝通，本作品發展一套『基於語音與影像辨識之手語雙向翻譯系統』，將主要架構分為基於語音辨識之手語翻譯功能，與基於影像辨識之手語解譯功能等兩部分，本作品藉由Google Speech API將健聽者所表達之語音轉成文字，再搭配系統內部建置的文字與手語對應資料庫，透過虛擬人物將手語呈現於螢幕，提供手語即時翻譯服務，保障聾啞者資訊取得無礙。後者藉由微軟Kinect設備搭配影像辨識系統識別出聾啞者的手語後，利用預先訓練完的卷積神經網路模組，即時解譯手語並轉換成文字與語音表示，使健聽者理解當前手語資訊，透過本作品提供聾啞者與健聽者具備即時雙向溝通功能的一套手語翻譯系統。未來使用者可直接購買相關套件即可具備與聾啞者雙向溝通的能力及手語即時同步翻譯之功能。期許未來本系統更能進一步朝向聾啞者或身心障礙患者之居家照護、智慧城市，甚至特殊教育等多元市場應用。 |