成果展示

混合實境於色覺障礙辨識輔助應用

Holoyoi

【動機】 根據美國國家眼科研究所資料顯示，世界上約有3.5億人口患有色覺辨識障礙。生活中大量依靠視覺作為色彩辨識感官，因此色覺辨識障礙者經常遭遇判斷失誤而造成諸多不便，然而，現存輔助工具卻容易有不直觀或效果有限的情況。 綜合以上，我們希望能結合 Microsoft HoloLens 2 混合實境改善現今色覺辨識障礙者所遇到的問題，考量到色彩變化的重要性和辨識功能的精準度，本系統將開發情境聚焦於教學型化學實驗場域，針對常見的化學變色反應進行顏色矯正，並提供文字框輔佐操作，期望能讓使用者在獨立且無障礙的情況下完成實驗。 【系統功能】 本情境設定色覺辨識障礙者為實驗主要操作人，系統為使用者提供的具體功能可分為兩類： （一）色覺障礙評估：將偽色板轉換為圖片型式，顯示在個人電子裝置上的畫面供使用者點選，經由 Cambridge Color Vision Test 檢測出其色覺辨認障礙的類型及程度，使矯正結果能夠更準確地符合使用者需求。 （二）色彩辨識輔助：根據上述檢測結果使用相對應的模擬矩陣，將頭戴式裝置視野中呈現的色彩輔以矯正，並提供色彩文字資訊，標示顏色的變化、對應之實驗意義等等，使得使用者能夠清楚且直觀地辨別顏色。 【系統特色】 （一）依據色覺辨認障礙類別及程度作矯正 由於不同色覺辨識障礙者其色盲類別和嚴重程度不一，本系統提供的評估測驗可以根據相異使用者的檢測結果準確地作後續的色彩矯正。 （二）特定場景之色彩意義的文字輔助 本系統經由辨色功能取得辨識區域之像素色彩資訊後，將針對該特定場景顯示相對應的文字色彩提示，以輔助使用者理解該色彩及其實驗意義。 （三）提高使用者操作上的便利性 本系統改善現有輔助工具之限制，結合 HoloLens 2 智能眼鏡，佩戴裝置即可操作實驗，使用者使用此系統時能夠不受場地、光源限制，大幅提升機動性與互動性。

Cyber Graffiti

數位噴漆

本作品深受街頭文化和塗鴉的啟發。這種充滿創意和自由表達的藝術形式一直以來都在城市中發展和演變。我們希望透過數位噴漆的方式重新詮釋傳統塗鴉，同時推廣這個文化，並且讓更多人參與其中。 本次作品結合了數位技術、互動設計和塗鴉的元素。首先，使用Processing程式語言，編寫了一個塗鴉程式，這個程式能夠更改噴漆的大小和噴漆的顏色，以及啟動噴漆的功能。另外我們透過Arduino結合感測器製作專屬的噴漆罐，噴漆罐內置了ESP32、蘑菇頭搖桿以及按鈕，並將這些感測器連接Processing，藉此控制噴漆程式內部的功能，噴漆程式追蹤噴漆罐則是利用顏色追蹤功能定位噴漆罐的位置，透過這些方式使創作者可以根據自己的喜好和直覺，隨機創作不同風格的塗鴉。同時保留了塗鴉的精髓「即時的」且「本能的」創作。 最後，為了呈現這些創作，使用了投影技術，將作品畫面投影到牆面上，觀眾就能夠欣賞到創作者的作品，投影的牆面能夠根據目的進行更換若想呈現傳統噴漆的效果可以到紅磚牆進行投影，另外在沒有牆面的狀況下也能投影到布幕上呈現作品。同時，我們也將這些作品分享到社交媒體平台，特別是Instagram，觀眾可以輕鬆地瀏覽和欣賞作品。 這個作品的目標是將塗鴉帶入一個全新的數位時代，同時保留其根本的創意和自由精神。希望它能激發人們參與到創作中，並對塗鴉文化有更深的理解和欣賞。

臉部追蹤虛擬網路攝影機

墨式機巧

隨著網路會議、直播普及開來，尤其疫情讓很多人只能線上開會，這產生了許多設備上的問題，並直接影響使用體驗與效率。對於使用外置普通網路攝影機(webcam)的用戶，有時候會找不到合適的位置放置webcam，或是使用時間較長，用戶更換了姿勢，導致鏡頭畫面中的人物偏移、不再置中。 對此這個專案用於解決上述問題，用戶可以將webcam置於稍遠之不理想的位置，然後由程式抓取webcam畫面，將臉部置中的對應畫面裁切出來，再從作業系統中的虛擬webcam輸出畫面，就可以將臉部置中的畫面輸出給其他諸如會議軟體、直播軟體等webcam應用程式，這就相當是給普通webcam加了臉部追蹤功能。除了以畫面裁切實現的臉部追蹤功能，此專案還內置背景模糊、背景替換等常用濾鏡，用戶能依需求進行調整，提升實用性。整個專案程式都已打包，用戶不須安裝即可直接使用，且前端操作介面使用網頁框架製作，可從不同裝置操作。 對於可移動之外置webcam、或是以行動裝置透過對應軟體，轉接至電腦作為webcam使用之裝置，此專案額外提供可自行 DIY 之實體webcam轉盤放置，讓追蹤目標大幅移動時，仍能讓轉盤旋轉webcam，從物理上擴大追蹤範圍以保持追蹤。 相較市面上的追蹤攝影機大多都需購買廠商提供的硬體，並透過專用軟體運作，此系統能讓用戶利用手頭現有的設備，以較低成本的方式實現近似的效果，提升使用體驗。

非影像式3D建構積木之互動遊戲

積不可失

世界上認知功能障礙、手眼不協調、智能障礙、自閉症譜系障礙等，這些心理疾病和身心障礙的人非常多，尤其是65歲以上的老年人，有大約20%的人會出現輕度認知功能障礙，即記憶力、解決問題能力或是注意力出現明顯變化，嚴重可能會導致阿茲海默症(Alzheimer's disease)。此外，手眼協調能力訓練對2到6歲的孩子來說意義重大。兒童手眼協調能力差的影響包括自理能力、社會發展、學習能力和自信心都會下降。在智能障礙裡，輕度智能障礙約占80%，可以獨立生活，但還是需要別人幫助，屬於可教育之族群。至青少年時期智力發展約接近於小學六年級，社交功能、溝通能力、運動協調能力輕微缺損。最後自閉症譜系障礙最早症狀會在1至2歲之間開始被發現，患者在社交溝通以至認知、情緒、行為方面都有不同程度的困難和發展差異。以上這些症狀都有幾個共通點，都可以透過遊戲介入讓兒童由親身體驗中學習，更有助於認知技能、社交技巧、協調能力，且提高學習興趣。因此我們遵循蒙特梭利原則，以兒童為中心利用教材教具，讓孩子透過反覆的感官刺激來學習。所以提出了一項3D實體用戶介面(tangible user interface)的嚴肅遊戲(serious game)，透過積木的顏色及形狀配對來訓練技能。

排球舉球之沉浸視野決策訓練系統

學餐沒了

排球是一項在歐亞地區特別受歡迎的運動。在排球比賽中，每位球員都有特定的角色和責任，綜合了球隊的整體表現。而在進攻時，舉球員的攻擊能力和決策能力對於球隊的進攻成功與否特別關鍵：在球被發球擊出後，舉球員必須移動到適當的位置，觀察場上隊員的位置，迅速做出決策，然後進行相應的舉球動作來進攻。 本系統提供排球舉球員一種創新的媒介，使用虛擬現實(VR)為基底，自由選擇不同經典的戰術情境，以在虛擬的空間中實際進行戰術跑動。模擬中，本系統會根據給定條件，亂數生成模擬結果，使用者必須透過觀察場上的狀況，做出正確的舉球決策。本系統於模擬情境結束階段提供可視化之結果與回饋，以望達成快速、有效的舉球員視野訓練。除此之外，也提供使用者客製化自己的戰術情境，以滿足不同的訓練需求。 市面上常見許多平面式的排球訓練系統，大多是以觀賞戰術運行影片，鮮少提供使用者較為直觀的訓練媒介，而本系統以虛擬現實(VR)架構環境，提供使用者互動的場域，及視覺上3D空間的呈現，讓使用者可以身歷其境的模擬戰術；而市面上常見之基於虛擬現實的排球相關產品，大多以完整排球比賽為主體，多數主軸並非在於排球訓練。本系統則專注於以舉球員為主軸的視野訓練與舉球決策回饋。 目前用於舉球員訓練的方法可以分為體能導向訓練和技巧導向訓練。體能導向訓練可以改善整體的運動能力和身體素質，而技巧導向訓練則可以完善在球場上有效表現所需的具體技能。將這兩種方法結合在訓練計劃中，可以實現全面的球員發展，增強球員的身體素質。然而，目前的排球訓練方法，對於培養團隊合作和整體比賽雖然有效，但仍無法完全滿足個人球員的需求。為單一球員量身定制的訓練模式具有挑戰性，因為教練在訓練過程中通常需要考量整個球隊的需求與球員間的差異。 為了應對這些挑戰，並提升舉球員觀察隊員運動並做出正確攻擊決策的能力，我們提出了一個基於虛擬現實（VR）系統的設計，旨在提高球員的舉球技能和戰略思維，以在更低的成本下實現更成功的進攻。我們的目標是將排球舉球員訓練的核心要素轉移到虛擬現實環境中，從而降低這項活動的成本和空間需求。

氣象植栽：互動氛圍綠意植生艙

天氣智囊團

在「智慧生活互動幫手」目的與框架下，設定兩種日常需要的生活互動資訊作為發展方向。經過探索、討論與向師長請益後，將作品定調為：先設定兩種日常需要的生活資訊，包括「考量氣象環境與植栽種類的推薦料理食譜」與「考量氣象環境與人身喜好的推薦從事活動」，而這些資訊皆是透過獲取氣象、環境與人身資訊/人為決定後，以生成式人工智慧產生。此系列包括以下四款作品： (i) Coot：依據主動與被動的輸入變數，結合氣象資訊後再經系統聯網人工智慧核心，提供相對應的推薦食譜給使用者；並根據氣象資訊以震動本體與燈光提示使用者為植栽澆水、播放音樂。 (ii) CloudCast：依據主動與被動的輸入變數，結合氣象資訊後再經系統聯網人工智慧核心，提供相對應的室內或戶外推薦活動給使用者；並根據當下氣象資訊以燈光組合效果提示使用者氣象的變化。 (iii) Pakkun：搭載震動感測器，感知造訪者的拍打動作並隨之改變燈光效果；內建有土壤濕度感應與提醒功能，有利照護者即時呵護植栽的成長。 (iv) Fire Flower：擁有距離感測功能，當有觀賞者接近時，將啟動灑水系統並展現燈光效果。內建濕度感測器與水力驅動元件，能定時檢測土壤濕度並為植栽自動澆水。 本次參賽作品的核心理念除了著眼於傳統人因設計中提倡的「人–機–人」間的互動，更納入環境變化與植栽生命擴大形成「環–機–人–植」互動。

人工智慧化療藥物調劑系統

智眼之星

癌症病人常見的化學治療注射劑是需要一群專業的藥師以無菌技術調製出來的藥物成品。 在醫院院藥局端訂有標準作業流程確保藥品調製正確，然而這些流程執行重點不外乎是人 工核對藥品名稱、數量與處方標籤資料正確，再抽取正確劑量藥品、針筒體積定位、空瓶 數需請第二位藥師覆核等反覆繁瑣步驟後，才能將針筒上的藥液加入稀釋液內完成成品。本作品「人工智慧化療藥物調劑系統」由AR智慧眼鏡、AI邊緣運算設備、後端調劑直播與數據管理平台所構成，可讓調劑藥師進行高風險藥物調製時，配戴AR智慧眼鏡捕捉其第一視角畫面，經由AI深度學習技術偵測與輔助判別畫面中所拿取之化療藥物、生理食鹽水、與針筒等是否符合處方內容，同步將AI覆核後畫面即時直播至AR智慧眼鏡以及後端調劑直播與數據管理平台，實現讓調劑藥師與遠端藥師異地即時協同覆核調劑成果，並透過AI識別輔助完整記錄調劑過程。根據實驗結果顯示，本作品運用Yolov7深度學習模型辨識準確度達96%；運用影像處理技術偵測針筒內藥物劑量之準確度亦達100%，展現良好的輔助調劑覆核效果。本作品可解決醫院端調製化療藥物的人員不足、調製時間過長、調劑過程無法確實覆核與後續追蹤等問題，更可有效降低調劑錯誤發生率與提高作業安全及可靠度。

全方位動態作用力點衝擊力控制器

溫室效應

我們的作品為創新的觸覺回饋手把，可呈現全方位動態作用力點之 衝擊力回饋於控制器周圍。我們所設計之手把，由控制器、半圓軌道、線性軌道和衝擊器所組成，它們都是可旋轉的，透過半圓軌道的旋轉、線性軌道於半圓軌道上的移動與衝擊器於線性軌道上的移動，使衝擊器幾乎能抵達控制器周圍的任意位置，再藉由線性軌道與衝擊器的旋轉，以此呈現全方位的衝擊力回饋。因此，控制器可以呈現出環繞控制器周圍的全方位衝擊力回饋，並藉由移動衝擊器的位置，透過重量分布達成模擬不同形狀的物體，像是球拍或是長劍等武器，對不同的 VR 應用情境，模擬出手持真實物體的效果，並在物體碰撞時，產生出不同的作用點與方向之衝擊力回饋，提高VR應用真實度。這裝置包括一橢圓柱形控制器，以直流馬達旋轉半圓軌道，實現衝擊器在球型空間內的自由定位。此外，直軌道在半圓形軌道上移動，Φ平面的傾角範圍-90°至90°，直軌道的移動範圍為15cm。衝擊器的偏移量範圍0至150，0表示在直軌道的末端。 為實現全方位的衝擊力，衝擊器需要在θ和Φ平面上繞兩個軸旋轉。直軌道不僅能在半圓軌道上移動，還能透過嵌入的直流馬達實現θ平面上的方位角旋轉(θ𝑟)，範圍-180°至180°。衝擊器通過伺服馬達實現Φ平面的傾角旋轉(𝜙𝑟)，範圍-90°至90°。 這機制允許衝擊器實現全方位的衝擊力，由於控制衝擊器位置的θ、Φ和偏移量，以及控制衝擊方向的θ𝑟和𝜙𝑟都是獨立的，從而實現了動態作用力的點和方向的控制。

Eyes on me

視不可擋

根據伊甸社會福利基金會網站資料，在台灣約有4.6萬名視障人口。由於受限於視覺的障礙，通常僅能透過旁人的協助與周遭聲音來辨識人物。當視障人士在身旁無人協助下，便會難以辨別周遭人物，導致在日常與他人交際互動的過程中，經常無法正確得知對方身分，而在社交場合中感到困惑與不安，也因此失去許多與人建立交流的機會。 為了使視障人士在生活中能夠更輕鬆的辨識周遭人物，本團隊開發出「Eyes on me」系統，功能示意圖如圖1所示。將眼鏡結合ESP32-CAM開發板和麥克風等硬體元件，並搭配MobileFaceNet 人臉辨識技術，實現在眼鏡上進行人臉辨識，以此便可即時告知使用者面前人物的身分。透過MobileFaceNet 人臉辨識技術，本系統將持續自動辨識鏡頭前的人物是否有系統記錄過之人物。若使用者面前同時有多位人物出現，也會一併提醒使用者每位人物的相對位置與其身分為何。當使用者想新增尚未記錄過之人物，則可透過VoiceKey音色辨識模型，藉由關鍵詞開啟人臉辨識功能進行記錄，讓使用者透過本系統即可隨時隨地進行人臉記錄。此外，本團隊設計了一款專屬視障人士使用的App，考量到使用者操作上的不便性，將以語音的方式引導使用者進行操作，並在設計UI時盡可能的簡化畫面複雜度，以讓使用者用最直觀簡易的方式使用本系統。

切片成型-動態改變觸覺回饋裝置

動感沙威瑪

Slices-to-Shape切片成型——動態改變的VR觸覺回饋裝置 受益於處理器技術依著摩爾定律的快速發展，VR頭戴式裝置(HMD)的手勢追蹤功能日漸完善與成熟，空出雙手的VR內容體驗也不再是難題。 Slices-to-Shape切片成型是一款發想於書頁結構，裝置由多個平面圖形堆叠形成，透過控制旋轉變化層疊結構，达到層疊錯位間隙改變粗糙度、疊層旋轉改變形狀模擬，能夠提供雙手對材質粗細與形狀改變的360度立體回饋裝置。 裝置由多個平面圖形堆叠形成，當平面圖形堆叠對齊時，觸摸可以感受立體形狀較為平滑，旋轉平面圖形則使各層交錯，會增加觸摸感受到的尖銳度。而不同形狀的尖銳度也不同，其中四邊形交錯觸摸尖銳度最高。通過裝置模擬獲得不同觸覺回饋，將裝置應用與線上購物當中，結合VR應用，不同觸覺形狀紋理的回饋，以VR線上購物為情境，模擬在超市時選購不同的物品時觸覺回饋，例如罐頭、水果鳳梨、榴槤、乾燥絲瓜、鍋碗、等等......在選購後，可以將想要的物品加入購物車結賬，完成線上虛擬購物。 目前市場中的產品受限於電力結構設計的複雜性，形狀回饋介面多侷限於單一平面，大型結構成本也相對高，雖然大型pin-based裝置能提供雙手的觸覺回饋，但也僅能提供2.5D的形狀模擬。手持式VR裝置受限於需要握持或穿戴，回饋區域多侷限於手掌、手臂等較小範圍的形狀模擬，礙於手持觸覺裝置結構需設計的較小，pined-based機構變化達到模擬的形狀也所需較長時間。 本作品使用重新設計觸覺回饋方式，不再是單一通過pined-based參照實體物件的外表進行觸摸面凹凸調整，通過改變重叠的平面圖形的角度，達到模擬物體觸覺的效果，同時也將觸覺角度拓寬至360°，簡化内部電力結構，加速了模擬形狀變化機構所需要的時間。

Cyber Graffiti

數位噴漆

本作品深受街頭文化和塗鴉的啟發。這種充滿創意和自由表達的藝術形式一直以來都在城市中發展和演變。我們希望透過數位噴漆的方式重新詮釋傳統塗鴉，同時推廣這個文化，並且讓更多人參與其中。 本次作品結合了數位技術、互動設計和塗鴉的元素。首先，使用Processing程式語言，編寫了一個塗鴉程式，這個程式能夠更改噴漆的大小和噴漆的顏色，以及啟動噴漆的功能。另外我們透過Arduino結合感測器製作專屬的噴漆罐，噴漆罐內置了ESP32、蘑菇頭搖桿以及按鈕，並將這些感測器連接Processing，藉此控制噴漆程式內部的功能，噴漆程式追蹤噴漆罐則是利用顏色追蹤功能定位噴漆罐的位置，透過這些方式使創作者可以根據自己的喜好和直覺，隨機創作不同風格的塗鴉。同時保留了塗鴉的精髓「即時的」且「本能的」創作。 最後，為了呈現這些創作，使用了投影技術，將作品畫面投影到牆面上，觀眾就能夠欣賞到創作者的作品，投影的牆面能夠根據目的進行更換若想呈現傳統噴漆的效果可以到紅磚牆進行投影，另外在沒有牆面的狀況下也能投影到布幕上呈現作品。同時，我們也將這些作品分享到社交媒體平台，特別是Instagram，觀眾可以輕鬆地瀏覽和欣賞作品。 這個作品的目標是將塗鴉帶入一個全新的數位時代，同時保留其根本的創意和自由精神。希望它能激發人們參與到創作中，並對塗鴉文化有更深的理解和欣賞。