成果展示

虛實整合射箭標靶互動系統

無的放矢

射箭運動在國內乃較為小眾之運動，但近年來其盛行程度有逐漸增加之趨勢。除了亞奧運常見的競技反曲弓以及複合弓外，裸弓、美式獵弓、或是回歸傳統設計的英國長弓、清弓、土耳其弓等弓種，也有一定人數的愛好者。然而相較於弓的種類五花八門，射箭玩家在靶具上的選擇就相形見絀，大多數的靶具除了在材質上及靶面圖案上的差異外，並沒有太多選擇，且較欠缺娛樂性及互動感，以致於射箭運動推廣者在活動設計上受到限制。 本團隊所提出之「虛實整合射箭標靶互動系統」，利用投影機將圖案/動畫投射至靶具上，並透過攝影機拍攝靶面，將畫面回傳至電腦，使用機器視覺演算法偵測箭矢位置，找出箭矢與虛擬物件之間的關係，判斷玩家所射出的箭矢是否擊中虛擬物件，藉此達到人機互動之功能。射箭玩家可使用任何自備的弓以及箭，對靶面進行射擊，與靶面上的投影動畫進行互動。相較於傳統靶具多數僅能射擊固定目標，使用者在使用本系統時，雙眼觀測到的乃是靶具上的動畫(例如：移動的昆蟲)，而非固定不動的紙面標靶，因此可實現射擊移動靶、自動計分等互動。相較於市面上的電子箭靶系統，本系統得以省去大量感測器的成本，以低廉的硬體成本，及簡易的器材安裝方式，實現箭矢偵測、人機互動的功能。

切切疊疊

吃飽睡飽精神好

造型食物的發展與人類的文明相關，不同地域的文化風俗會產生獨特的造型食物種類。像是造型便當、法式擺盤，除了補充營養，也能透過食物所組成的圖像傳遞美感與心意，讓人感受到愉悅而更有精神。但是製作造型食物往往需要花大量時間與力氣，通常廚師要思考要做什麼圖案，並思考將圖案分層的方式後，再開始動手實作。實作時可以使用剪刀來製作，但對於新手來說技巧要求過高；使用現成的道具來進行作業，但因為模具的結構固定，所以要準備不同圖案的道具，對於使用上除了尋找的麻煩外，還有作業繁複的疲勞感。 為了改善這些問題，我們製作了Bento Carving，藉由輔助廚師的圖像拆解、不受手工技術限制的精緻切割、針對薄片食物加工的機構設計，來協助使用者快速製作理想的造型食物。 圖像拆解使用OpenCV函式庫去演算圖案，透過隨機選色將圖案分成三種顏色，再將這三種顏色分別輸出成三張用來雷切的黑白圖。機構方面設計了能夠旋轉的磁鐵夾，可以快速旋轉來調整位置，而磁鐵夾能有效固定薄片狀的食物，像是海苔、豆腐皮等。食物造型加工使用雷切機進行，能夠準確切出輸入的圖案。 且為了深化造型食物的視覺效果，我們在裝置增加攝影機，使快速定位用的辨識圖。使用者可以使用 AR app 掃描造型食物外觀，獲得 AR 內容使視覺愉悅讓用餐體驗更豐富。

遊戲式盲文學習系統

天窗六門

點字是專為盲人所設計的摸讀文字，亦是盲人用以吸收知識、傳達資訊、紀錄、溝通、寫作、閱讀的最佳文字系統，對盲人的教育、就業及社會生活的參與極其重要。 隨著科技進步，盲用電腦和智慧手機都有語音報讀功能，閱讀上也出現有聲書的選擇，但「點字」仍有它不可被取代的重要性。但近年來人們對於智慧型行動裝置(手機)或電腦(語音輸入或智慧輸入)依賴程度加劇，盲人們亦同，越來越少使用盲文點字閱讀或寫作，許多盲人在成長過程中沒有學習盲文，有研究顯示盲人識字率下降，稱為「Braille literacy crisis」，但我們發現學習點字對盲人在未來就職和學習上是非常重要的。 因此本作品運用嵌入式系統與3D列印製作一套盲文學習系統，能讓學齡前的盲童(2~7歲)在家人的陪同下，在家中使用學習中文點字之輔助教具，讓盲童在學習點字時有別於過去傳統學習盲文的方式。 學習閱讀盲文既困難又耗時，盲文比印刷的文字更難學，盲文學習缺乏互動性，缺乏可用的學習資源以及缺乏動力，因此我們透過互動模組以遊戲的方式來讓盲童進行學習並更熟悉所學的點字，讓盲童樂於學習點字並提升盲文的識字率，有助於培養盲童學習點字的興趣及信心，對於盲童教育是一項突破。遊戲中學習的模式，能引發孩童的興趣，讓孩童更有學習的動力。

虛擬導師「偶的境界」

讓世界知道

電視布袋戲承接了傳統文化，且融入了許多的創新元素，打造出不遜於電影等級的影視作品。在電視布袋戲龍頭，霹靂布袋戲的帶領下，電視布袋戲已走向國際市場，近年更與日本動畫產業合作，持續推出系列作品，以電視劇與電影劇場作發行，引起一股＜偶動漫＞的風潮。可以預期，影視作品的需求將逐漸擴大。產業更有意將電視布袋戲打造為＜臺灣迪士尼＞。而製作電視布袋戲的核心要素，操偶師，受限於傳統的人員指導流程，新進人員培養期程相當長，且需要密集地投入人力資源於此。針對此需求點，我們建置了此系統，以機器視覺為基礎，做出互動式的教學。 本計畫著重在操偶姿勢訓練，利用設備成本壓低、增加互動性、易普及化等優勢，使用機器視覺辨識使用者資訊後，進行預先輸入數據的比對並顯示修正提示，建立一套操偶動作基礎訓練，提升新進操偶師的訓練效率，擴增年輕世代接觸到電視布袋戲的機會，因此我們建立了一套布袋戲操偶訓練系統。系統具有兩種模式：訓練模式為針對戲偶姿勢辨識正確率，再進而執行操偶姿勢教學修正。遊玩模式則是建立出完善的互動式生成客製化界面，時為達到虛實整合以及互動式，我們透過Maya做出一個虛擬的布袋戲偶，透過與虛擬物件互動，提升操偶的流暢度以及動作概念同時增進趣味性，能讓使用者在進行訓練時同時保有遊玩的功能。 以 Mediapipe採用分解動作的特點，將擷取座標與Logistic Regression作為訓練模型的視覺辨識比對，其中訓練模型準確率達9成以上。當操作戲偶時，戲偶的連續關節點間會呈現不同的角度，透過與辨識結果進行比對，完成分類動作。建立姿勢模型後，透過PyQt建立訓練模式的GUI介面。而在遊戲模式方面，我們首先透過Google Sheet傳遞姿勢資料，在藉由p5.js結合動作提示最後加上虛擬戲偶呈現互動式介面。

VR模擬照服員

哭哭饅頭

台灣即將在 2025 年邁入超高齡化社會，政府雖大力推動長照2.0，但人力不足是長照最大的窘境之一，其中人才培養則以勞動部的照顧服務員單一級最為重要。 VR 教材能夠跨越空間的隔閡，並且透過建構考場中所需的假人道具與虛擬物件，讓學員不受限於空間與時間，可以在任何地方自我學習，更透過 VR 互動式的即時回饋，以及引導式的練習系統，提供學員及時的反饋，並可以針對不熟悉的部分重複練習，進而提升學習成效。 一、 功能介紹 a. 互動式教材:在虛擬環境中，透過階段性的互動情境，讓使用者進行模擬訓練，以及自行選擇練習區或模擬考區。 b. 使用者系統:以facebook的驗證方式進行註冊及登入。 C. 語音系統:透過語音辨識檢核術科考試口述內容。 d. 評分系統:完成試題後，立即顯示測驗結果，其中包含總分錯誤以及操作時問，評分方式與實際證照考試一樣。 二、 開發軟體 ◆ 遊戲開發工具:Unity ◆ 美工編輯工具:3DMAX、Photoshop、ZBrush ◆ 資料庫:Mysql 三、 未來發展 VR 教材將持續開發，後續將運用雲端運算平台，建置學習歷程反饋系統，收集學習歷程資料與數據，提供學員及教師對學習成效及教學評量進一步的分析與回饋。對學員而言，可認識自己的學習弱點、理解自己的學習狀態，讓學員可以自我要求精進並改善，對教師而言，則可針對學生的學習歷程，分析不同學生的學習狀況，以及各單元的學習瓶頸，作為精進教學以及優化教案的反饋。

快捷健

瘋健時代

由於Covid-19在全球蔓延，居家運動成為了主流，本計畫目的在於設計一個能夠結合肢體運動，具有互動性並且能夠分析動作數據的運動用品與運動數位平台。 健身教練先將運動影片上傳至雲端，也就是數位平台，影片可以是瑜珈、伸展操等等，此處以body combat舉例，在雲端電腦將body combat動作轉換成拳譜。使用者可以在數位平台選擇喜歡的健身影片與數據，下載到手機，手機將這些拳譜透過藍牙傳至我們設計出來的沙包套件上，套件會根據數據在套件上的LED燈進行指示，使用者可依照套件上的LED燈去進行動作，並且搭配和攻擊點上的6軸感測器，透過演算法分析後得出結果，此結果能夠回傳給使用者了解自己的運動狀況，如果有在進行直播課程的話，能將結果透過網路傳給教練，讓教練了解學員狀況，並且給予更針對性的指導。 此計畫設計的數位平台提供教練一個合適的管道，推廣各項優質的運動課程、並提供教練額外的市場。而因為疫情無法去公共區域運動的人，有了合適且方便快速的居家運動，還有多項優質課程可供選擇，提高居家運動的效率與準確性。 此套系統未來可開發以下功能，手機開啟相機拍攝使用者的動作，將動作上傳至雲端，在雲端透過openpose將使用者的動作轉成骨架數據，並將使用者與教練影片的數據進行比對，來判斷使用者的動作是否準確，然後把比對結果傳回手機給使用者了解。使用者就可以依照比對結果查看自己的姿勢是否正確。

虛擬實境魁地奇遊戲

葛來分多加十分

本作品以哈利波特電影情節的魁地奇（Quidditch）出發，並利用風雨震動等體感回饋，製作一個 4Ｄ的 VR 遊戲。我們採用虛擬實境可以用來模擬魁地奇比賽時飛行的實況，並且透過乘坐在掃把上的加速度感測器（MPU6050）以及 esp8266，來控制遊戲中飛行的傾斜角度，再根據角度來控制風扇轉速來模擬飛行時不同方向的風；而藉由特製的魔杖手把，一樣透過 MPU6050 來偵測遊戲中玩家的手，來完成接球、丟球、攻擊、等動作。 而則在遊戲中當玩家被搏格 K 到則會回傳給掃帚上的震動馬達，產生掃把的震動回饋，讓使用者有更好的遊戲體驗。 其中傳輸資料的部分我們採用 UDP 來傳輸，其快速的傳輸速度使得我們遊戲能有較少的延遲（UDP 可能會掉封包的缺點並不會影響我們的後續遊戲資訊的計算，畢竟遊戲中不斷的傳輸資訊，雖然可能會漏了一些資料卻能快速的傳輸，非常適合用在此環境），再加上是透過無線網路來傳遞，能讓使用者有更自由的活動空間及體驗 。 相較於大多現在市面上的魁地奇或是其他 VR 遊戲，我們採用 MPU6050 來感測使用者飛行的角度，有更多的自由度；另外也配合我們自製的底座和手把，可以有更多遊戲互動和體驗，例如丟球、接球等，讓使用者更能身歷其境。

GroundFlow

TeamWang

多感官觸覺回饋(Multisensory Haptic Feedback)能增強使用者在虛擬實境中的體驗。使用 者能透過穿戴式或混合式裝置在虛擬環境中感覺到材質、溫暖、寒冷等真實的觸覺。 而大多數的多感官觸覺回饋致力於手部或身體上的回饋，較少討論到腳。 目前腳部觸覺回饋技術以穿戴式裝置和地面系統為主，能最直接的給予使用者行走的阻力和地面高低的模擬，並沒有提供乾濕或水流之觸覺回饋模擬。因此設計 GroundFlow 時以提供腳部流體觸覺回饋，讓其感受到水流、濕潤感為目的， 並整合了 VR-HMD 模擬不同虛擬場景，增強虛擬實境的沉浸感。 GroundFlow是一種提供腳部觸覺回饋的循環式液態系統。透過本研究設計的流體觸覺回饋系統與虛擬實境結合，能讓體驗者在虛實環境中感受相互對應的水流與材質，以增強虛擬實境中的沉浸感。裝置設計之總長寬2.6米，高51公分，使用高架地板作、鋁擠型為支撐。上下各有一個等距的帆布水箱，下方的水箱負責儲水，讓抽水馬達能將其抽至上方的水箱，再由8顆電動閥洩水，來完成水循環系統。電路設計考量到水與電同時存在的安全疑慮，且市面上普遍的馬達皆不能在有水的區域設置，會造成人員感電的危險，因此本研究使用4顆spa抽水馬達，以及8顆常閉式電動閥、14顆電磁閥。訊號設計以14顆電磁閥之直流訊號腳位連結Linkit 7697為控制核心，透過Linkit 7697藍芽連接PC Unity以軟體操作系統。體驗者能在該區域體驗多元水流之觸覺回饋。

上肢穿戴裝置機械手臂同步控制

RobotAlive

自去年起開始的 COVID-19 疫情大流行，影響了社會上許多不同層面的工作型態。在醫療方面，不管是在療養院或在醫院內，人與人之間必須保持著一定的社交距離，造成許多醫療照護與手術變得格外困難;在公司行號方面，有了居家辦公與分流上班的需求，若此時產線出現機台需要維修，但操作員沒辦法即時的對機台狀況進行了解時，就會造成產線停擺等問題發生。上述的原因也讓 遠端操作與即時診斷的議題更加受到重視。 在過往遠端控制的經驗中，常需要透過加裝定位器或深度相機來對人體姿態進行感測，進而操縱相關的設備，此些方法所遇到的瓶頸在於: 1. 需要占用較大的空間來架設使用環境 2. 深度相機感測人體姿態時，容易受到光線與服裝的影響 3. 使用搖桿進行控制時，操作過程較不直觀 4. 設備的建置上需要花費較高的金費 基於上述的研究動機與現階段發展上的痛點，故本專案著手開發一套整合型的遠端服務系統包含:遠端動態同步控制、遠端即時影像顯示及即時虛實資訊整合等功能，依據上述功能設計了三個子系統，分別為穿戴裝置人體姿態感測系統、機械手臂同步控制系統及人機物虛實融合系統，最後對各個子系統加以整合。

多節點穿戴感測器

米格魯

隨著科技的不斷進步，以一般只能觀賞的虛擬實境，越來越難以提供使用者更好的虛實體驗。為了提升使用者體驗虛擬實境時的互動性，虛擬實境結合了多種不同的技術，其目的不外乎是為了提供更好的虛實體驗，讓使用者能在虛擬世界中以雙手進行控制、雙腳進行移動。然而，常見的虛擬實境設備大多都以控制手把面向、觸發控制手把上的按鈕來進行操作，造成使用者無法以本身的身體部件來進行直觀的操作。 本作品希望能讓使用者長距離移動的情況下，最大化提升虛擬實境的互動性，因此本作品選擇以手機作為開發平台。基於Google ARCore函式庫，我們可以藉由九軸感測器提供的加速度、磁感測、陀螺儀數值，並使用慣性測量單元及Madgwick的姿態參考系統之演算法，進行身體位置的動態捕捉，讓手機能精準的感知使用者身體各節點的三維移動量。 為了加強虛擬與現實空間中環境的關聯性，本作品以擴增實境中的環境感知技術，結合人體的姿態捕捉技術，讓使用者可以用手腳與虛擬物件互動並達到虛擬整合的效果，並且實作了自定義感測器敏感度與其校準系統，讓不同身型的使用者只用手機與本作品中的感測系統就可以在任意環境中，體驗到可用四肢與虛擬物件互動的虛擬實境體驗。

運動骨架技術分析

專

近年來健身盛行，許多人開始重視運動來維持良好的健康狀態。而室內運動，不僅可減少因環境氣候與空氣汙染所帶來的風險，更可以不受天氣所影響。排球是一項戶外且多人的運動項目，若是沒有旁人的協助，將會使選手們無法得到良好的訓練效果。為了不停止學習和影響運動熱忱，因此將市面上常見的運動姿勢矯正與健身計畫的概念結合，加入擷取精華片段的技術，且僅需要一台電腦即可訓練，讓使用者不受空間、時間、資源上的影響，輕鬆地在家進行訓練。期望未來可將此技術用於遠距動作指導和不同的運動項目上且不會因疫情而中斷。 此作品不僅能夠檢測運動姿勢的正確性，還能回憶成果，更能以精華片段學習專業技巧，並與電腦互動增加訓練的趣味性，建立與維持良好的運動習慣。 1.姿勢比對 透過攝像機辨識使用者姿勢，包含專業動作：上手發球、托球…… 等，判定當下姿勢是否正確並給予最終測驗成績。 2.精華片段 學習總是分成自主練習與從他人動作學習，而精華片段目的在於提供使用者從比賽影片中向他人學習的素材。因此設計此功能將整部比賽影片以殺球為基礎，輸出成一部小短集。 3.體能訓練 透過平板支撐、仰臥起坐與深蹲來提升核心肌群與心肺耐力，由於在訓練時無法緊盯著螢幕，因此增添語音提示功能，輔助使用者在未看畫面時，也可以得到即時的回饋。 4.反應力訓練 與機器互動的方式訓練救球和低手擊球，來增加學習的趣味性，又依照不同速度從小到大分為五個等級供使用者選擇，並可分享互動成果給其他使用者。 5.歷史回顧 除了常見的統計圖表呈現外，結合行車紀錄器的概念，設計影片存刪之功能。透過僅保留八周內的影片，來避免系統過多儲存而造成記憶體空間的不足，並增加手動刪除以及分類功能，使每種運動姿勢皆有列表可以查看。

音樂創作智慧小幫手

Song la

音樂，是生命中不可或缺的精神糧食，它承載著我們的情感、歷史、文化，同時也是一門認識世界的工具。 然而，創作音樂擁有極高的門檻，為更了解音樂創作時遇到的狀況，我們實際訪問了幾位音樂創作者，他們認為創作一首完整的流行音樂，最困難的地方為創作時音樂理論知識的應用，大部分的人並沒有受過專業的音樂訓練，常因樂理知識不足或是不善於使用樂器的情況，無法進行完整的音樂創作，也因缺乏靈感耗費過多時間，以及希望自己的作品被更多人看見。 一般來說，創作音樂是不算親民的一門藝術，更多的情況是，腦袋中出現很多倏忽即逝的音樂靈感，想要創作，卻無從著手；想要演奏，卻不懂樂器，時光飛逝，卻沒有藝術背景能夠記錄自己的人生故事。於是我們製作一款app「即時行樂Song la-音樂創作智慧小幫手」，能夠幫助任何想創作樂曲的非專業音樂人，不會因為對樂理或樂器不熟悉而受到限制，簡單完成專屬使用者的樂曲創作，並且向全世界分享作品。 使用者只需清唱創作旋律，系統會自動產生樂譜，再利用大數據分析，找出適合旋律的多種配伴奏，可自由的選擇調性、節拍，亦提供作品多元的音色的配樂。透過我們的軟體輔助創作平台協助創作者，「把音樂變簡單，讓創作不困難」。

GravityPack

Code-G

目前傳統的復健或是重量訓練的方式，大多是用啞鈴或是寶特瓶裝水當作重量來源。雖然方便取得，不過也有可能會掉落砸傷，且不方便依照訓練情境或是復健患者狀況動態調整重量。我們介紹GravityPack，一款利用穿戴式的動態水流系統來模擬運作在四肢上的重力，以水作為重量轉換媒介，模擬從趨近於零的重量到較大的重量，搭配VR系統設計能根據情境動態調整重量回饋之體驗，透過VR產生的視覺與重量感受差異(Mismatch)，在訓練中達到激勵訓練效果。目前已完成裝置設計製作，期望藉由裝置展示體驗，收集體驗者的感受與回饋，探討本系統之重量回饋與整體重量訓練沉浸感之表現，並了解其設計考量與限制作為未來發展之參考。 不同於上一代裝置，我們將GravityPack設計為基站式，如儀器推車，方便於復健場域中移動與使用，也將馬達更換為更有力的款式，並且將主水袋的容量增加，相較於上一代系統，本系統在運作上速度提升了4.5倍，整體水路、電路、機構與結構系統都不同，均重新設計並以更強力的零件組成，能提供更快速的重量轉換與重量感受。以「負重訓練、復健」為發展方向，搭配VR情境內容給予視覺回饋，為一套多感官回饋穿戴式動態水流系統。

切切疊疊

吃飽睡飽精神好

造型食物的發展與人類的文明相關，不同地域的文化風俗會產生獨特的造型食物種類。像是造型便當、法式擺盤，除了補充營養，也能透過食物所組成的圖像傳遞美感與心意，讓人感受到愉悅而更有精神。但是製作造型食物往往需要花大量時間與力氣，通常廚師要思考要做什麼圖案，並思考將圖案分層的方式後，再開始動手實作。實作時可以使用剪刀來製作，但對於新手來說技巧要求過高；使用現成的道具來進行作業，但因為模具的結構固定，所以要準備不同圖案的道具，對於使用上除了尋找的麻煩外，還有作業繁複的疲勞感。 為了改善這些問題，我們製作了Bento Carving，藉由輔助廚師的圖像拆解、不受手工技術限制的精緻切割、針對薄片食物加工的機構設計，來協助使用者快速製作理想的造型食物。 圖像拆解使用OpenCV函式庫去演算圖案，透過隨機選色將圖案分成三種顏色，再將這三種顏色分別輸出成三張用來雷切的黑白圖。機構方面設計了能夠旋轉的磁鐵夾，可以快速旋轉來調整位置，而磁鐵夾能有效固定薄片狀的食物，像是海苔、豆腐皮等。食物造型加工使用雷切機進行，能夠準確切出輸入的圖案。 且為了深化造型食物的視覺效果，我們在裝置增加攝影機，使快速定位用的辨識圖。使用者可以使用 AR app 掃描造型食物外觀，獲得 AR 內容使視覺愉悅讓用餐體驗更豐富。