成果展示

隊伍名稱 SignLens
作品名稱 混合實境於聽障者交流系統的應用
指導教授 簡士鎰
團隊成員 宋志謙、謝承霖、朱芷伶、張郁雯
作品介紹 根據 2021 年衛福部統計處資料,台灣身心障礙人口中,聽障者約佔其中的 10.5%,亦即國內大約每十名身心障礙者中,就有一位是聽障者。聽覺障礙者因其外觀、肢體等各項功能與一般人無異,使聽障者面臨困難時更容易被人忽略或不易察覺。在深入了解聽障人士在生活中遇到的不方便與在疫情期間聽障人士與聽人間存在的溝通障礙後,歸納出以下問題: 1. 聽障人士至銀行辦理金融業務有翻譯的需求 在和資深手語翻譯員進行訪談之後,了解到台灣聽障人士在銀行使用金融服務時常有翻譯的需求,然而至銀行辦理金融業務並不在政府補助聘請手語翻譯員的項目之內,其原因為金融業務大多涉及個人隱私,在辦理金融業務時聘請手語翻譯員,對於聽障人士和翻譯員而言都多有不便,而此現況常導致聽障人士與銀行行員之間需要更多的溝通成本以及資訊在傳達時容易有不精確等問題。 2. 聽障人士多以讀唇語、助聽器等方式輔助接收外界訊息 隨著疫情時代的開始,佩戴口罩儼然成為一種新的秩序與習慣。但隨著疫情期間的延長,即便在未來疫情消退,佩戴口罩也可能成為新的日常,這也嚴重影響聽障人士透過讀唇語接收外界訊息的途徑。 3. 環境嘈雜或多人交談的情境,使難以讓聽障人士有效接收訊息 現存助聽器多半無法達到全方位的輔助聽覺效果,而聽障人士透過讀唇語的方式,也無法同時接收多人的訊息,導致聽障人士多半在多人的社交場合下的溝通障礙更加嚴重,進而造成情緒發展及人格塑造的受挫。 4. 多數聽障者仍以文字作為主要對外傳遞訊息的管道 截至目前,台灣約有 12.5 萬名聽障人士,但台灣手語使用者僅有 2 至 3萬。這樣的人數比顯示在聽障人士及聽人的溝通中,以手語傳遞訊息有一定程度地困難,也代表著多數聽障人士與聽人僅能透過文字溝通,導致溝通效率低落。 本系統期待以中文及台灣手語為應用語言,透過頭智能眼鏡HoloLens 2 混合實境的方式,針對銀行中常見的金融服務,達到聽障人士和聽人間無障礙的雙向溝通。將一般聽人的聲音,轉換為文字,使聽障人士在吵雜與無法辨識聽人唇語的狀況下,仍能明確了解其說話內容。同時,透過辨識聽障人士的手語動作、面部表情,將其轉換為文字,使看不懂手語的聽人也能明瞭其意思。藉此增進聽障人士與一般聽人的雙向溝通,並減輕彼此的溝通成本與負擔。
照片