成果展示

體感互動科技


第一名

虛實整合射箭標靶互動系統

無的放矢


射箭運動在國內乃較為小眾之運動,但近年來其盛行程度有逐漸增加之趨勢。除了亞奧運常見的競技反曲弓以及複合弓外,裸弓、美式獵弓、或是回歸傳統設計的英國長弓、清弓、土耳其弓等弓種,也有一定人數的愛好者。然而相較於弓的種類五花八門,射箭玩家在靶具上的選擇就相形見絀,大多數的靶具除了在材質上及靶面圖案上的差異外,並沒有太多選擇,且較欠缺娛樂性及互動感,以致於射箭運動推廣者在活動設計上受到限制。 本團隊所提出之「虛實整合射箭標靶互動系統」,利用投影機將圖案/動畫投射至靶具上,並透過攝影機拍攝靶面,將畫面回傳至電腦,使用機器視覺演算法偵測箭矢位置,找出箭矢與虛擬物件之間的關係,判斷玩家所射出的箭矢是否擊中虛擬物件,藉此達到人機互動之功能。射箭玩家可使用任何自備的弓以及箭,對靶面進行射擊,與靶面上的投影動畫進行互動。相較於傳統靶具多數僅能射擊固定目標,使用者在使用本系統時,雙眼觀測到的乃是靶具上的動畫(例如:移動的昆蟲),而非固定不動的紙面標靶,因此可實現射擊移動靶、自動計分等互動。相較於市面上的電子箭靶系統,本系統得以省去大量感測器的成本,以低廉的硬體成本,及簡易的器材安裝方式,實現箭矢偵測、人機互動的功能。

第二名

切切疊疊

吃飽睡飽精神好


造型食物的發展與人類的文明相關,不同地域的文化風俗會產生獨特的造型食物種類。像是造型便當、法式擺盤,除了補充營養,也能透過食物所組成的圖像傳遞美感與心意,讓人感受到愉悅而更有精神。但是製作造型食物往往需要花大量時間與力氣,通常廚師要思考要做什麼圖案,並思考將圖案分層的方式後,再開始動手實作。實作時可以使用剪刀來製作,但對於新手來說技巧要求過高;使用現成的道具來進行作業,但因為模具的結構固定,所以要準備不同圖案的道具,對於使用上除了尋找的麻煩外,還有作業繁複的疲勞感。 為了改善這些問題,我們製作了Bento Carving,藉由輔助廚師的圖像拆解、不受手工技術限制的精緻切割、針對薄片食物加工的機構設計,來協助使用者快速製作理想的造型食物。 圖像拆解使用OpenCV函式庫去演算圖案,透過隨機選色將圖案分成三種顏色,再將這三種顏色分別輸出成三張用來雷切的黑白圖。機構方面設計了能夠旋轉的磁鐵夾,可以快速旋轉來調整位置,而磁鐵夾能有效固定薄片狀的食物,像是海苔、豆腐皮等。食物造型加工使用雷切機進行,能夠準確切出輸入的圖案。 且為了深化造型食物的視覺效果,我們在裝置增加攝影機,使快速定位用的辨識圖。使用者可以使用 AR app 掃描造型食物外觀,獲得 AR 內容使視覺愉悅讓用餐體驗更豐富。

遊戲式盲文學習系統

天窗六門


點字是專為盲人所設計的摸讀文字,亦是盲人用以吸收知識、傳達資訊、紀錄、溝通、寫作、閱讀的最佳文字系統,對盲人的教育、就業及社會生活的參與極其重要。 隨著科技進步,盲用電腦和智慧手機都有語音報讀功能,閱讀上也出現有聲書的選擇,但「點字」仍有它不可被取代的重要性。但近年來人們對於智慧型行動裝置(手機)或電腦(語音輸入或智慧輸入)依賴程度加劇,盲人們亦同,越來越少使用盲文點字閱讀或寫作,許多盲人在成長過程中沒有學習盲文,有研究顯示盲人識字率下降,稱為「Braille literacy crisis」,但我們發現學習點字對盲人在未來就職和學習上是非常重要的。 因此本作品運用嵌入式系統與3D列印製作一套盲文學習系統,能讓學齡前的盲童(2~7歲)在家人的陪同下,在家中使用學習中文點字之輔助教具,讓盲童在學習點字時有別於過去傳統學習盲文的方式。 學習閱讀盲文既困難又耗時,盲文比印刷的文字更難學,盲文學習缺乏互動性,缺乏可用的學習資源以及缺乏動力,因此我們透過互動模組以遊戲的方式來讓盲童進行學習並更熟悉所學的點字,讓盲童樂於學習點字並提升盲文的識字率,有助於培養盲童學習點字的興趣及信心,對於盲童教育是一項突破。遊戲中學習的模式,能引發孩童的興趣,讓孩童更有學習的動力。

第三名

虛擬導師「偶的境界」

讓世界知道


電視布袋戲承接了傳統文化,且融入了許多的創新元素,打造出不遜於電影等級的影視作品。在電視布袋戲龍頭,霹靂布袋戲的帶領下,電視布袋戲已走向國際市場,近年更與日本動畫產業合作,持續推出系列作品,以電視劇與電影劇場作發行,引起一股<偶動漫>的風潮。可以預期,影視作品的需求將逐漸擴大。產業更有意將電視布袋戲打造為<臺灣迪士尼>。而製作電視布袋戲的核心要素,操偶師,受限於傳統的人員指導流程,新進人員培養期程相當長,且需要密集地投入人力資源於此。針對此需求點,我們建置了此系統,以機器視覺為基礎,做出互動式的教學。 本計畫著重在操偶姿勢訓練,利用設備成本壓低、增加互動性、易普及化等優勢,使用機器視覺辨識使用者資訊後,進行預先輸入數據的比對並顯示修正提示,建立一套操偶動作基礎訓練,提升新進操偶師的訓練效率,擴增年輕世代接觸到電視布袋戲的機會,因此我們建立了一套布袋戲操偶訓練系統。系統具有兩種模式:訓練模式為針對戲偶姿勢辨識正確率,再進而執行操偶姿勢教學修正。遊玩模式則是建立出完善的互動式生成客製化界面,時為達到虛實整合以及互動式,我們透過Maya做出一個虛擬的布袋戲偶,透過與虛擬物件互動,提升操偶的流暢度以及動作概念同時增進趣味性,能讓使用者在進行訓練時同時保有遊玩的功能。 以 Mediapipe採用分解動作的特點,將擷取座標與Logistic Regression作為訓練模型的視覺辨識比對,其中訓練模型準確率達9成以上。當操作戲偶時,戲偶的連續關節點間會呈現不同的角度,透過與辨識結果進行比對,完成分類動作。建立姿勢模型後,透過PyQt建立訓練模式的GUI介面。而在遊戲模式方面,我們首先透過Google Sheet傳遞姿勢資料,在藉由p5.js結合動作提示最後加上虛擬戲偶呈現互動式介面。

VR模擬照服員

哭哭饅頭


台灣即將在 2025 年邁入超高齡化社會,政府雖大力推動長照2.0,但人力不足是長照最大的窘境之一,其中人才培養則以勞動部的照顧服務員單一級最為重要。 VR 教材能夠跨越空間的隔閡,並且透過建構考場中所需的假人道具與虛擬物件,讓學員不受限於空間與時間,可以在任何地方自我學習,更透過 VR 互動式的即時回饋,以及引導式的練習系統,提供學員及時的反饋,並可以針對不熟悉的部分重複練習,進而提升學習成效。 一、 功能介紹 a. 互動式教材:在虛擬環境中,透過階段性的互動情境,讓使用者進行模擬訓練,以及自行選擇練習區或模擬考區。 b. 使用者系統:以facebook的驗證方式進行註冊及登入。 C. 語音系統:透過語音辨識檢核術科考試口述內容。 d. 評分系統:完成試題後,立即顯示測驗結果,其中包含總分錯誤以及操作時問,評分方式與實際證照考試一樣。 二、 開發軟體 ◆ 遊戲開發工具:Unity ◆ 美工編輯工具:3DMAX、Photoshop、ZBrush ◆ 資料庫:Mysql 三、 未來發展 VR 教材將持續開發,後續將運用雲端運算平台,建置學習歷程反饋系統,收集學習歷程資料與數據,提供學員及教師對學習成效及教學評量進一步的分析與回饋。對學員而言,可認識自己的學習弱點、理解自己的學習狀態,讓學員可以自我要求精進並改善,對教師而言,則可針對學生的學習歷程,分析不同學生的學習狀況,以及各單元的學習瓶頸,作為精進教學以及優化教案的反饋。

快捷健

瘋健時代


由於Covid-19在全球蔓延,居家運動成為了主流,本計畫目的在於設計一個能夠結合肢體運動,具有互動性並且能夠分析動作數據的運動用品與運動數位平台。 健身教練先將運動影片上傳至雲端,也就是數位平台,影片可以是瑜珈、伸展操等等,此處以body combat舉例,在雲端電腦將body combat動作轉換成拳譜。使用者可以在數位平台選擇喜歡的健身影片與數據,下載到手機,手機將這些拳譜透過藍牙傳至我們設計出來的沙包套件上,套件會根據數據在套件上的LED燈進行指示,使用者可依照套件上的LED燈去進行動作,並且搭配和攻擊點上的6軸感測器,透過演算法分析後得出結果,此結果能夠回傳給使用者了解自己的運動狀況,如果有在進行直播課程的話,能將結果透過網路傳給教練,讓教練了解學員狀況,並且給予更針對性的指導。 此計畫設計的數位平台提供教練一個合適的管道,推廣各項優質的運動課程、並提供教練額外的市場。而因為疫情無法去公共區域運動的人,有了合適且方便快速的居家運動,還有多項優質課程可供選擇,提高居家運動的效率與準確性。 此套系統未來可開發以下功能,手機開啟相機拍攝使用者的動作,將動作上傳至雲端,在雲端透過openpose將使用者的動作轉成骨架數據,並將使用者與教練影片的數據進行比對,來判斷使用者的動作是否準確,然後把比對結果傳回手機給使用者了解。使用者就可以依照比對結果查看自己的姿勢是否正確。

佳 作

GroundFlow

TeamWang

多感官觸覺回饋(Multisensory Haptic Feedback)能增強使用者在虛擬實境中的體驗。使用 者能透過穿戴式或混合式裝置在虛擬環境中感覺到材質、溫暖、寒冷等真實的觸覺。 而大多數的多感官觸覺回饋致力於手部或身體上的回饋,較少討論到腳。 目前腳部觸覺回饋技術以穿戴式裝置和地面系統為主,能最直接的給予使用者行走的阻力和地面高低的模擬,並沒有提供乾濕或水流之觸覺回饋模擬。因此設計 GroundFlow 時以提供腳部流體觸覺回饋,讓其感受到水流、濕潤感為目的, 並整合了 VR-HMD 模擬不同虛擬場景,增強虛擬實境的沉浸感。 GroundFlow是一種提供腳部觸覺回饋的循環式液態系統。透過本研究設計的流體觸覺回饋系統與虛擬實境結合,能讓體驗者在虛實環境中感受相互對應的水流與材質,以增強虛擬實境中的沉浸感。裝置設計之總長寬2.6米,高51公分,使用高架地板作、鋁擠型為支撐。上下各有一個等距的帆布水箱,下方的水箱負責儲水,讓抽水馬達能將其抽至上方的水箱,再由8顆電動閥洩水,來完成水循環系統。電路設計考量到水與電同時存在的安全疑慮,且市面上普遍的馬達皆不能在有水的區域設置,會造成人員感電的危險,因此本研究使用4顆spa抽水馬達,以及8顆常閉式電動閥、14顆電磁閥。訊號設計以14顆電磁閥之直流訊號腳位連結Linkit 7697為控制核心,透過Linkit 7697藍芽連接PC Unity以軟體操作系統。體驗者能在該區域體驗多元水流之觸覺回饋。

運動骨架技術分析


近年來健身盛行,許多人開始重視運動來維持良好的健康狀態。而室內運動,不僅可減少因環境氣候與空氣汙染所帶來的風險,更可以不受天氣所影響。排球是一項戶外且多人的運動項目,若是沒有旁人的協助,將會使選手們無法得到良好的訓練效果。為了不停止學習和影響運動熱忱,因此將市面上常見的運動姿勢矯正與健身計畫的概念結合,加入擷取精華片段的技術,且僅需要一台電腦即可訓練,讓使用者不受空間、時間、資源上的影響,輕鬆地在家進行訓練。期望未來可將此技術用於遠距動作指導和不同的運動項目上且不會因疫情而中斷。 此作品不僅能夠檢測運動姿勢的正確性,還能回憶成果,更能以精華片段學習專業技巧,並與電腦互動增加訓練的趣味性,建立與維持良好的運動習慣。 1.姿勢比對 透過攝像機辨識使用者姿勢,包含專業動作:上手發球、托球…… 等,判定當下姿勢是否正確並給予最終測驗成績。 2.精華片段 學習總是分成自主練習與從他人動作學習,而精華片段目的在於提供使用者從比賽影片中向他人學習的素材。因此設計此功能將整部比賽影片以殺球為基礎,輸出成一部小短集。 3.體能訓練 透過平板支撐、仰臥起坐與深蹲來提升核心肌群與心肺耐力,由於在訓練時無法緊盯著螢幕,因此增添語音提示功能,輔助使用者在未看畫面時,也可以得到即時的回饋。 4.反應力訓練 與機器互動的方式訓練救球和低手擊球,來增加學習的趣味性,又依照不同速度從小到大分為五個等級供使用者選擇,並可分享互動成果給其他使用者。 5.歷史回顧 除了常見的統計圖表呈現外,結合行車紀錄器的概念,設計影片存刪之功能。透過僅保留八周內的影片,來避免系統過多儲存而造成記憶體空間的不足,並增加手動刪除以及分類功能,使每種運動姿勢皆有列表可以查看。

音樂創作智慧小幫手

Song la

音樂,是生命中不可或缺的精神糧食,它承載著我們的情感、歷史、文化,同時也是一門認識世界的工具。 然而,創作音樂擁有極高的門檻,為更了解音樂創作時遇到的狀況,我們實際訪問了幾位音樂創作者,他們認為創作一首完整的流行音樂,最困難的地方為創作時音樂理論知識的應用,大部分的人並沒有受過專業的音樂訓練,常因樂理知識不足或是不善於使用樂器的情況,無法進行完整的音樂創作,也因缺乏靈感耗費過多時間,以及希望自己的作品被更多人看見。 一般來說,創作音樂是不算親民的一門藝術,更多的情況是,腦袋中出現很多倏忽即逝的音樂靈感,想要創作,卻無從著手;想要演奏,卻不懂樂器,時光飛逝,卻沒有藝術背景能夠記錄自己的人生故事。於是我們製作一款app「即時行樂Song la-音樂創作智慧小幫手」,能夠幫助任何想創作樂曲的非專業音樂人,不會因為對樂理或樂器不熟悉而受到限制,簡單完成專屬使用者的樂曲創作,並且向全世界分享作品。 使用者只需清唱創作旋律,系統會自動產生樂譜,再利用大數據分析,找出適合旋律的多種配伴奏,可自由的選擇調性、節拍,亦提供作品多元的音色的配樂。透過我們的軟體輔助創作平台協助創作者,「把音樂變簡單,讓創作不困難」。

跨域整合特別獎

切切疊疊

吃飽睡飽精神好


造型食物的發展與人類的文明相關,不同地域的文化風俗會產生獨特的造型食物種類。像是造型便當、法式擺盤,除了補充營養,也能透過食物所組成的圖像傳遞美感與心意,讓人感受到愉悅而更有精神。但是製作造型食物往往需要花大量時間與力氣,通常廚師要思考要做什麼圖案,並思考將圖案分層的方式後,再開始動手實作。實作時可以使用剪刀來製作,但對於新手來說技巧要求過高;使用現成的道具來進行作業,但因為模具的結構固定,所以要準備不同圖案的道具,對於使用上除了尋找的麻煩外,還有作業繁複的疲勞感。 為了改善這些問題,我們製作了Bento Carving,藉由輔助廚師的圖像拆解、不受手工技術限制的精緻切割、針對薄片食物加工的機構設計,來協助使用者快速製作理想的造型食物。 圖像拆解使用OpenCV函式庫去演算圖案,透過隨機選色將圖案分成三種顏色,再將這三種顏色分別輸出成三張用來雷切的黑白圖。機構方面設計了能夠旋轉的磁鐵夾,可以快速旋轉來調整位置,而磁鐵夾能有效固定薄片狀的食物,像是海苔、豆腐皮等。食物造型加工使用雷切機進行,能夠準確切出輸入的圖案。 且為了深化造型食物的視覺效果,我們在裝置增加攝影機,使快速定位用的辨識圖。使用者可以使用 AR app 掃描造型食物外觀,獲得 AR 內容使視覺愉悅讓用餐體驗更豐富。