成果展示

虛實居家樂高拼裝體驗遊戲

黃家KIR

說起樂高會想到什麼？是用各種五顏六色的小積木組合而成的童話建築，抑或是用新穎科技讓黃臉小人如同注入靈魂般的揮手互動。不論腦中浮現的答案為何，無庸置疑的是「樂高是大人小孩的共通回憶」，然而因應時代變遷，樂高積木成了高價且佔空間的奢侈品。因此本作品希望透過 VR 虛擬世界與互動技術的方式，讓使用者不須花大錢購買，就可以體驗到樂高積木的樂趣，同時也可利用 XR 環境，將完成的作品結合到現實世界中進行互動。 本計畫使用 Meta Quest 3 搭配 Unity 實作，專注於樂高模型的完整及拼砌時的積木穩定度，結合手勢辨識與手部抓取，讓使用者即使身處虛擬世界，依舊可以體驗到真實的拼裝過程。本作品提供了引導模式和自由模式，不論是初次接觸或是已經有經驗的使用者，皆可以輕鬆開啟創作之路。完成樂高模型後，使用者可以透過更衣隧道，化身為樂高小人，親身體驗身處在樂高世界的感覺，並將完成的拚搭模型投入至虛擬城市中進行互動。最後也可開啟 XR 環境，把作品放入現實世界中進行裝飾、拍攝，滿足在現實世界中沒辦法放置大量樂高模型的遺憾。 本作品希望藉由虛擬世界中的互動設計，引導使用者在體驗樂高積木的同時，也能發揮想像力，期待在 VR、XR 環境中進行高度的還原樂高積木的拼搭互動。

人工髖關節手術MR輔助導航系統

即視髖

本團隊運用混合實境 (Mixed Reality, MR)技術，把人工髖關節置換手術(total hip arthroplasty, THR)中的髖臼杯安全區(safe zone)概念，以混合實境 (MR)概念實現於骨科醫師的手術視野當中，提供一種新型態的骨科手術導航方案，同時即時運算回饋髖臼杯的置放角度，在頭戴顯示器中直觀提供骨科醫師術中必須資訊。目前世界各國導航產品尚未把此概念運用到手術情境當中，為一首創之手術導航醫療器材。而Safe Zone是由空間中骨盆的Inclination Angel(30°~50°)與Anteversion Angle(5°~25°)所組成，並由髖臼杯的位置所向外發散，故Safe Zone於空間中將形成一個四角椎的形狀  。不論是平躺或側躺的人工髖關節置換手術，髖臼杯的置放角度很重要，若髖臼杯未置放在安全區之內，會增加人工髖關節脫臼、早期鬆動的風險。目前量測角度大多是術後用X光量測髖臼杯角度是否在安全區之內。若術中想要知道角度，必須使用昂貴的術中導航系統，或只能靠傳統器械導引，但仍會有人為誤差，且骨盆角度在術中可能會改變，因此如何穩定安全置放髖臼杯對骨科醫師而言始終是尚未解決的臨床需求。 本產品開發至今的雛型品平均定位註冊時間僅23秒(競品5~15分)，精準度<2度(與大廠競品相似)，設備重量僅約1.5公斤(與競品相比大幅減低>95%重量與體積）。

AIO多功能手機遊戲外套

手機有如天祝

手機遊戲在「改進耗電、增加操控性、避免過熱降低性能」等議題上一直都是廣受手機遊戲玩家所關注的焦點。尤其是去年Apple在iPhone手機發表會上宣布可移植各種最新的主機遊戲到iPhone上，這代表像是「惡靈古堡4重製板」和「原神」這種高畫質手機遊戲的崛起。然而這類遊戲在手機上運行將不可避免的容易出現「高耗電、過熱降低性能、手機操控感不足」等問題，而且在這樣的環境下上述的性能問題將會嚴重到無法被玩家所忽視。然而，因為手機本身的體積、結構與電池大小等限制，所以上述問題本身也就難以通過僅僅更改手機內部結構等方式來進行改善。 因此，近年來很多大廠都開始推出「遊戲專用手機」，這種作法雖然改進了上述問題卻也犧牲了其他手機的功能。一般的手機遊戲玩家希望能擁有一台能夠面面俱到的手機：在玩遊戲時是一台類似Nintendo Switch的掌機；不玩遊戲時則是一台好用的iPhone。因此，若能解決上述玩手機遊戲時的各種問題，將會大大改進現有的遊戲體驗。為此，本團隊將針對一般手機外型去設計一款結合「行動電源」、「散熱器」、「無線投屏器」、「遊戲手把」等功能的「手機外套」裝置。該裝置能夠透過type-C接口與手機結合而成為一台多功能遊戲機，透過此裝置將能大幅提高手機遊戲玩家的遊戲體驗。

寵物桌友會

咪咪喵喵

目前市面上的虛擬寵物提供了豐富的娛樂性和卓越的擬真表現，甚至具備可與他人的虛擬寵物互動、多人共養虛擬寵物等社交功能，但多無法實現多人同步地與虛擬寵物進行互動，相較於現實中多人共養及同時與寵物互動的體驗仍有差距；虛擬寵物的活動及互動範圍也大多受限於單一裝置上，限制了看見虛擬寵物的機會與人數，也使得虛擬寵物的存在感與陪伴感較為局限。因此，我們提出了「Pets-Crossing 寵物桌友會」，旨在為使用者提供可將虛擬寵物陪伴無縫融入日常生活空間中的互動體驗，讓使用者盡情享受虛擬寵物的貼身陪伴及在同空間中多人共養虛擬寵物的樂趣。本作品透過區域網路連線進行多個裝置間的同步與狀態共享，讓原本只能在自己裝置上活動的虛擬寵物跨越限制，自由的穿梭、現身於每個有顯示器的角落；此外，系統可搭配毫米波雷達偵測及追蹤空間中使用者的位置與移動，讓虛擬寵物可根據使用者的走動進行跟隨、發出叫聲吸引注意等反應，營造出彷彿就在使用者身邊的存在感與陪伴感。除了與使用者共處一室，使用者還可以通過行動裝置將虛擬寵物的活動和互動範圍擴展至其生活圈，不論是在家中、辦公室還是外出，隨時隨地皆能享受有虛擬寵物陪伴的日常生活，並和身旁的家人、朋友、同事們一起體驗共養虛擬寵物互動的樂趣！

STEAM 互動式光立方體套件

技生魚

本作品是一個專為互動媒體與跨域整合開發課程設計的創新學習教具，名為「STEAM 互動式光立方體套件(STEAM Interactive LED-Cube Teaching Aids)」，以滿足多樣化的教學需求。系統架構基於 Arduino 模組設計，運用 Unity 遊戲引擎開發互動介面，並結合WiFi 通訊技術來支援即時資料傳輸。此設計讓學生不僅能深入理解互動媒體系統的基礎，還能將 IOT 技術實際應用於數位藝術創作，實現傳統教具無法達成的即時互動展示效果。 本系統的光立方模組具備高度擴充性和靈活性，使用者可以依據需求擴充模組數量。Unity 遊戲引擎則負責 3D 內容的設計與即時渲染，將角色外型與動畫即時傳輸至光立方模組，使 3D 物件能夠透過 LED 立方體立體展示，實現突破傳統屏幕的互動展示方式。系統中的 Arduino ESP32 開發板還配備 OLED 顯示模組，以顯示網路連線IP位址及ID，方便學生檢查連線狀況。 此外，本作品可作為學生跨領域學習和合作的啟發工具。透過此系統，學生不僅學習程式設計與硬體控制的實際應用，還能體驗數位藝術、互動媒體與無線傳輸技術的整合。該教具不僅促進團隊協作和解決問題的能力，還提供了即時互動展示的嶄新數位創作方式，讓學生體驗到 STEAM 教育中的創意與技術結合的無限可能性

智慧舞姿創作精靈

舞跳得真好

隨著科技的進步和觀眾對娛樂品質的期望提升，觀眾對3D動畫的視覺體驗要求越來越高，尤其是在音樂會、藝術展覽及商業活動等場合中，要求更甚。這對於動畫師而言，尤其是負責人物動作及舞蹈動畫的創作者來說，創建高品質且具有強烈視覺衝擊力的3D內容成為了一項艱鉅的挑戰。製作人物的舞姿動畫，除了要求動作必須具備自然、和諧的感官效果外，還需要根據不同的音樂風格和情境進行精確的調整，這是動畫製作中的關鍵因素，直接影響觀眾的視聽感受。 動畫師和創作者面臨的最大挑戰在於，創建符合音樂風格且動作流暢的舞蹈動畫需要大量的手工設計及製作時間。不同時代和風格的舞蹈，例如十八世紀歐洲社交舞與現代流行舞，對動作、節奏和舞蹈氛圍的要求完全不同，這就相當需要仰賴動畫師進行精細的設計與反覆調整。此外，傳統的動畫製作過程繁瑣且效率低下，無法應對當前市場快速交付高質量內容的需求。在實際工作中，創作者常常會因為過於複雜的設計需求，導致工作期程延宕，工作負擔沉重，無法及時滿足視覺展示中的緊急需求。特別是在大型活動或多元藝術展演的情況下，團隊難以透過傳統方法快速生成符合音樂風格的舞姿動畫，這極大地限制了創作者的靈感發揮和創作效率。 在這樣的背景下，動畫師和創作者面臨的核心問題是：如何在不犧牲動畫品質的前提下，簡化舞姿動畫的創作過程，讓動畫師能夠更快速、更高效地生成符合音樂風格的舞姿動畫？透過使用者訪談，創作者希望能有一套工具，能夠自動生成符合特定的音樂風格動畫，既能節省大量的手工設計及製作時間，同時還能提供相關的創作靈感供創作者進行延伸創作，若能額外再提供靈活的微調舞姿動畫功能，更能個性化該角色而滿足不同場合的需求。 為了因應這一挑戰，我們開發了一套創新的3D舞姿動畫生成及編輯系統，旨在簡化舞姿動畫的創作過程，夠更快速、更高效地生成符合音樂風格的舞姿動畫。透過上傳音樂檔案，系統便能快速生成符合音樂風格的舞姿動畫，極大程度的節省了手工設計及製作的時間，從而提高創作效率。動畫師不再需要逐幀從頭到尾手動設計細微的動作，而是可以利用這套系統自動生成符合情境的舞蹈動作，並且可以根據具體需求，指定幀數再以文字描述，進一步調整舞蹈的細節，保有創作者的風格與藝術表現。

水形

☆+1#

藉由虛擬實境（Virtual Reality, VR）頭戴式顯示器和觸覺技術，我們可以創造引人入勝的沉浸式體驗。 因此，研究人員一直在探索整合不同的回饋模組以提供更豐富的混合回饋系統。在另一面向的思考，我們觀察到現今社會下人充斥於壓力與焦慮之中，這些壓力可能來自於工作、家庭、學業等各個方面。在這樣的背景下，娛樂和放鬆成為了人們追求的重要途徑。然而，傳統的娛樂方式可能已經無法滿足人們對於沉浸式、豐富的體驗的需求。因此我們希望通過虛擬實境頭戴式顯示器和觸覺技術，創造出新穎的沉浸式體驗，讓人們彷彿置身於另一個世界中。儘管過往的研究案例都利用不同方法讓水變成不同回饋，然而，並沒有一個系統把所有水能呈現的回饋同時展現出來，可能的作法是使用同一模組透過不同的互動技術同時產生多種回饋。然而，在虛擬環境中若要同時提供多種感官回饋，除了需要考慮到系統整合性與穩定性外，體驗者本身如何同時受到多種回饋但卻不影響整體的之沉浸感與身體負擔，就像在物理世界中一樣，仍然具有挑戰性。因此我們提出了「水形 WaterForm」，一個基於液體的觸覺系統，利用液體同時產生多感官回饋來增加沉浸感的新穎體驗，並透過其中之敘事內容讓體驗者藉由放鬆訓練的過程，漸漸感受到自我覺知，進而達到自我探索。

透過姿態辨識實現直排輪姿勢檢測

C60

此系統專注於透過MediaPipe Pose技術，進行直排輪姿勢的即時監測與糾正，並且專為體感互動科技設計。其目標為有效辨識人體姿態，並判斷使用者是否符合直排輪的標準動作規範。針對錯誤姿勢，系統將自動截圖並通知使用者，讓教練和運動員能快速檢視與改進。 系統使用外接鏡頭，以串流傳送影像至應用程式端進行處理。應用程式結合MediaPipe Pose，透過影像辨識運動員各關節位置，並計算特定角度，如上半身傾斜角度、腳踝與地面的夾角等，以便判斷是否符合規範要求。一旦角度不符合標準，系統會即時發出警示，同時截取並儲存違規動作的畫面，方便後續分析。 此系統具備幾個主要功能： 1. 即時姿態辨識：通過鏡頭即時分析人體動作和角度。 2. 自動錯誤檢測：針對預設角度範圍，當檢測到違規姿勢時即刻發出提醒。 3. 錯誤姿勢截圖：自動保存錯誤動作，並標記具體角度。 4. 錯誤紀錄回顧：提供詳細的錯誤紀錄功能，以便教練和運動員回顧錯誤姿勢。 此外，本系統以Python語言開發，並結合Anaconda Navigator、PyCharm、OpenCV等工具進行軟硬體整合。相較於人工評審的傳統方式，該系統提高了判斷效率，降低了人力與場地成本，並保障了評判的客觀性和公正性。

MR. Ghost PeT

MRGhostPeT

製作動機 隨著現代生活步調日益緊湊，工作壓力也與日俱增，許多人尋求透過飼養寵物來撫慰身心。然而，傳統寵物往往需要投入大量時間與精力照顧，並可能產生清潔、噪音等問題。為此，我們突破傳統窠臼，推出全新概念的沉浸式虛擬寵物，使人們可以隨時隨地享受療癒陪伴！ 系統目的 本系統旨在打造一個利用混合實境（MR）技術及人工智慧（AI）的沉浸式虛擬寵物平台，讓使用者通過多種裝置（如手機、VR/AR頭戴式裝置）與虛擬寵物進行互動，提供一種無需實體飼養的虛擬陪伴體驗。 技術應用 我們的虛擬寵物以可愛的小鬼為主角，利用 MRTK 與 Unity 整合出可在手機、VR 裝置上執行的多人即時連線 MR 平台，並利用生成式 AI 人工智慧，包含 OpenAI Whisper / ChatGPT / Text-to-speech、AWS Polly 等，提供使用者與小鬼利用語音互動，打造出更逼真、更具互動性的虛擬體驗，感受牠生動的肢體動作與逗趣的反應。 創新特點 與傳統寵物相比，我們的虛擬寵物擁有以下優勢。無論身在何處，都能隨時隨地與虛擬小鬼互動，獲得溫暖的陪伴。虛擬寵物無需費心照顧，不需要三餐照料、定期清潔，也不會有噪音或異味等問題，輕鬆享受療癒體驗。可以與虛擬小鬼對話、一起探索虛擬世界，享受更多元的互動樂趣。

你的 AI 教授

教授我想學AI

隨著數位科技的迅速發展，傳統的教學模式已逐漸無法滿足學生對於即時互動和個性化學習的需求。現今學生期望能夠隨時獲得解答、根據自身進度調整學習內容，並透過多模態方式進行沉浸式學習。為了應對這一需求，我們的團隊設計並開發了「你的 AI 教授」(Your AI Professor)，這是一個融合人工智慧、大型語言模型、語音合成與語音克隆、以及頭像生成技術的創新型線上教育平台。此平台旨在打破傳統教學的侷限，提升學生的學習效率與體驗。 「你的 AI 教授」系統整合了三大核心技術模組：LLaMA3 負責語言生成，GPT-SoVITS 負責語音合成與克隆，GeneFace++ 則負責頭像動畫生成。這三個技術的協同運作，使得學生能夠享受即時、個性化且高度互動的學習體驗。例如，當學生在平台上輸入問題時，LLaMA3 會快速分析問題並生成回答，GPT-SoVITS 會將這些回答轉換為擬真語音，同時 GeneFace++ 則會生成對應的虛擬教師頭像和表情，讓教學過程不僅聲音真實，還視覺生動。 我們的系統具有以下主要功能： 1. 即時問題解答：學生可隨時在系統中提出問題，系統會利用 LLaMA3 進行問題解析，結合知識庫提供精確回應，確保學生不因等待教師解答而中斷學習進度。 2. 多模態教學：結合文字、語音和視覺，系統能夠提供全方位的感官刺激，虛擬教師的面部表情會根據講解內容動態變化，使學習過程更加生動。 3. 語音克隆與合成：GPT-SoVITS 技術讓系統能夠生成不同名師的語音，為學生提供真實感十足的語音講解，增加學習沉浸感。 4. 高效串流：透過高效的音視頻串流服務，無論學生的網絡狀況如何，系統都能確保高清的教學內容流暢傳輸，提升整體學習體驗。

與AI教師沉浸式體驗原住民文化

辣卡拉雞腿堡(加蛋)

本作品利用大語言模型（LLM）和虛擬實境（VR）技術，創造了一個沉浸式學習環境，使使用者能夠透過自然語言與AI驅動的虛擬教師互動，深入探索台灣原住民的豐富文化與知識。 在這個虛擬實境的原住民部落主題博物館中，使用者將穿梭於多樣的原住民文物之間，隨時以自然語言向虛擬教師交流，探索原住民的歷史、傳統、語言和生活方式。虛擬教師能即時回答問題，並提供深入的解說，結合多媒體展示和生動互動，讓學習過程更加生動有趣。此外，我們還計畫在此基礎上，建立另一個虛擬展廳，展示國立臺灣博物館的珍貴文物，讓使用者得以探索不同的文化遺產，並隨時透過自然語言向AI老師或導覽員提問。AI老師和導覽員將即時以語音回答，提供詳盡的歷史背景與文化解說，進一步豐富學習內容和體驗。 經過調查，我們發現市場上目前尚無結合LLM與VR技術，打造此類沉浸式教育體驗的相關專案。本作品的創新性與差異性在於，我們首創將LLM與VR技術結合，專注於文化教育，實現沉浸式的互動學習環境。雖然市場中已有LLM和VR各自應用於教育和其他領域的案例，但將這兩者結合，並專門用於文化教育的應用目前並不存在。我們透過這種結合，使學習者在虛擬環境中能夠自然地與AI驅動的虛擬教師互動，創造了市場中獨特的創新。同時，我們還將與當地文化中心合作，利用該中心的原住民文物進行3D掃描和建模，展示於虛擬博物館中，提供真實而豐富的文化資源，進一步增強學習體驗的真實性和深度。

人工髖關節手術MR輔助導航系統

即視髖

本團隊運用混合實境 (Mixed Reality, MR)技術，把人工髖關節置換手術(total hip arthroplasty, THR)中的髖臼杯安全區(safe zone)概念，以混合實境 (MR)概念實現於骨科醫師的手術視野當中，提供一種新型態的骨科手術導航方案，同時即時運算回饋髖臼杯的置放角度，在頭戴顯示器中直觀提供骨科醫師術中必須資訊。目前世界各國導航產品尚未把此概念運用到手術情境當中，為一首創之手術導航醫療器材。而Safe Zone是由空間中骨盆的Inclination Angel(30°~50°)與Anteversion Angle(5°~25°)所組成，並由髖臼杯的位置所向外發散，故Safe Zone於空間中將形成一個四角椎的形狀  。不論是平躺或側躺的人工髖關節置換手術，髖臼杯的置放角度很重要，若髖臼杯未置放在安全區之內，會增加人工髖關節脫臼、早期鬆動的風險。目前量測角度大多是術後用X光量測髖臼杯角度是否在安全區之內。若術中想要知道角度，必須使用昂貴的術中導航系統，或只能靠傳統器械導引，但仍會有人為誤差，且骨盆角度在術中可能會改變，因此如何穩定安全置放髖臼杯對骨科醫師而言始終是尚未解決的臨床需求。 本產品開發至今的雛型品平均定位註冊時間僅23秒(競品5~15分)，精準度<2度(與大廠競品相似)，設備重量僅約1.5公斤(與競品相比大幅減低>95%重量與體積）。