成果展示

易動沙包

沙包小隊

在後疫情時代，人們更關心自身健康，而對運動健身的需求亦有所增長。本團隊針對拳擊運動的應用場景作發想，發現到除了學員的訓練需求外，拳擊教練也會有其難處，故針對兩者的痛點來開發出一套能協助教練幫助學員進行拳擊訓練的移動式沙包系統。 本團隊發現拳擊訓練有以下痛點：一.，教練與學員進行練習時會消耗體力，也有不低的機會受傷。二.，在對打練習中，教練與學員只能進行一對一的訓練，並無法同一時間照顧更多的學員。 三，在重複的拳擊動作，學員也許會感到無趣，降低訓練的效果。 四，目前大部份拳擊訓練產品只針對拳擊訓練，但並未有大幅度移動步法的訓練模式。 針對以上痛點作發想，本系統有以下設計考量：一，讓教練以遠距遙控方式來控制沙包，以更少體力及更安全的方式與學員進行練習。二，以移動沙包方式激勵選手進行更多步法訓練。三，結合VR方案來提供體感回饋及以遊戲化方式來增加訓練的趣味性。 最後本團隊開發出「易動沙包」：透過整合物理世界的觸覺與虛擬實境的視覺，來提升拳選手的訓練效果。並以其移動能力來為拳手進行步法訓練，以克服目前大部份固定沙包無法提供的訓練方式。同時以此作為替代式機械人來作為移動標靶代替教練與選手進行訓練。 本作品大致可分為兩部份：裝置硬體部份及虛擬VR拳擊應用。在裝置硬體上，主要結構為八角形的雙層底座:下層放置動力裝置，上層則放置空氣沙包。動力設計上會使用兩個輪轂馬達驅動機各連接一顆馬逹輪子，由鋰電池供電驅動，並由無線馬達控制器遠距操作。另外兩側則會使用萬向輪來支撑並保持裝置平衡，同時支援裝置多方向移動。而空氣沙包綁上了能放置Oculus控制器的載具，以在VR時追蹤移動沙包的位置，以及進行物理模擬計算，讓使用者能有更真實的體感與視覺回饋，同時提供簡單訓練數據如拳速及移動距離，有助教練向選手進行訓練回顧。

智慧眼動控制家電系統

iEyeContro

目前我們想要遠端控制電器，不外乎就是使用遙控器或是手機app來操作，雖然達到了遠程操作的目的，但也衍生出了其他的問題，像是遙控器的數量太多在需要使用時就有可能拿錯或是找不到對應的遙控器，而手機app則是在設定上較為複雜，這對於不擅長使用3c產品的年長者來說是較為不友善的，而且不管是遙控器還是手機app都還是需要使用到雙手，這對於手腳不方便甚至是高位截癱這類需要長期臥病在床的民眾來說並沒有辦法去改善他們在日常生活上的困擾。我們的解決方案就是將遠端控制的功能整合到智慧眼鏡上方，讓眼鏡變成一個類似於萬用遙控器的感覺，為了達到釋放雙手，我們結合眼動追蹤 虛擬按鍵，以達到虛實整合。 使用者戴上眼動追蹤裝置之後，他會將第一人稱視角經過邊緣運算裝置上的眼動追蹤程序進行眼動追蹤的座標轉換，當注視點的座標與家電上QRcode重疊後，會生成虛擬家電符號，再讓眼球注視點與虛擬家電符號重疊，即可打開虛擬控制按建，用眼睛看向虛擬控制按鍵下達指令後經由wifi傳送置雲端交換平台，以達到對家電控制。 主要應用與獨居老人減少走動次數，降低在移動中跌倒的機會，以及高位截癱患者，僅剩下頸部以上可以移動，仍可自行控制電器，我們將此概念成為科技往元宇宙發展的基石，打破虛實界線，完成虛實整合。

智慧情緒安撫穿戴裝置

我不反隊

人類情緒之產生與其定義在科學上尚未有共識。情緒通常與心境、氣質、個性或創造力混合而成為一個綜合展現。根據研究，人之情緒是由神經之生理變化所引起之心理狀態，它與人之思想、感覺、行為反應與愉悅程度有關。又，情緒會因為不同之引起原因，而會產生不同之生理、行為與認知變化；從心理學角度來看，特定氣味引發之嗅覺信號可使大腦在感受與認知得到舒緩，例如：檸檬氣味針對抑鬱、憤怒與焦慮這類情緒變化影響較顯著(實際上是降低血壓與心律達到舒緩情緒)。本團隊嘗試發展一系列易於穿戴且內藏對應香氛之裝置，可作為安撫(或提振)情緒之用。經過探索資訊、發想提案、討論求解與向師長請益，最後決定嘗試從四種生活上常見之情緒波動情境著手，包括個人獨處、職場挑戰、社交宴會與團體活動等。在確定以氣味用於日常生活安撫情緒、且適合在近距離社交接觸使用後，本創作以智慧科技為核心、考量使用者生活與心理需求，利用微型運算器、電子感測元件與行動裝置應用程式(Application, App)等發展了一系列之「智慧情緒安撫穿戴裝置」，可隨時偵測人體脈搏(心率)，並根據其狀況即時噴發適合香氛。另外，也由於本團隊擁有工業設計背景，在發展構想與創作過程中，均有考量各物件之穿戴場合、人因工學與視覺美感。四件創作與其功能如下：。 (i) AROMA：可提振因求學、職場或人際相處受挫而感到之沮喪。 (ii) Marguerite：可舒緩因迎接特定活動或工作挑戰之焦慮並發揮最佳表現。 (iii) La Môme：可化解社交宴會時緊張失措之尷尬而轉變為從容。 (iv) SOBER：可減輕群眾喧鬧活動時偶發之衝突對立而扭轉為和諧。

我的居家羽球訓練師

羽球人我的超人

在新冠肺炎疫情前，運動對所有人而言，是相當正常且必要的事，相信大多數人也在成長的過程中，喜歡上不同的運動，如排球、籃球、棒球······。每一種運動都需要不斷的練習，才會愈挫愈勇。然而並非每個人身邊都有那麼多資源可以使用，這時候我們就在想，能不能有一種在家中訓練的可能性，也萌生了這次專題的主題。 在疫情爆發後，政府為了防範疫情擴散，封閉了許多容易群聚感染的場所，不乏有電影院、健身房、體育館與籃球場等等，並不是每個人家中都有高級的健身器材，或是社區球場，若這些運動場所都關閉，該怎麼辦？基於各種疫情前後想法的碰撞，本團隊開始調查所有與健身、居家運動相關的 APP 、歷屆得獎作品，我們發現，市面上羽球相關 APP ，不是需要的設備過多，就是使用者的體驗不佳。因此，本團隊開發了一套「羽球智能教練」，不受限於場地、不須購買額外裝置，只需拿起羽球拍即可進行訓練，任何人都能在家中體驗羽球的樂趣。 本系統解決疫情下無法在羽球館，練習羽球的問題，不被場地所限制，在家中即可進行訓練。並且僅需一台 webcam 與一台電腦即可操作，省去了大量成本，使用者只需要拿起羽球拍，就能即時開始進行羽球訓練。此外我們設計了多種球路，能針對每個使用者想訓練的項目進行評分。還能模擬頂尖選手的擊球動作，利用姿勢比對來計算動作是否與頂尖選手吻合，並在訓練過程中取得評分以檢測自身的姿勢是否正確。

竭盡拳力注意返饋

拳心拳意

「竭盡拳力注意反饋」是一款結合姿態辨識和體感回饋的拳擊對戰遊戲。此遊戲可分成二部份：前端為具有反饋刺激功能的拳擊防禦遊戲系統、後端則為線上開放式課程系統。 前端遊戲是以兩人對戰的方式進行，教練教學影片為攻擊方，健身者為防守方。健身者必須在規定時間內出拳阻擋影片中教練的動作而且動作要達到標準才能被認定為防禦成功。防禦成功，拳擊手套會震動和亮燈。防禦失敗，拳擊手套會閃紅燈警告。以此來增強健身者在遊戲中的體感回饋。 後端開放式課程平臺是與遊戲相結合，玩家可下載自己喜歡的教練影片當作對打對象。教練或個人也可通過此平臺分享自己的影片來增加收入。 此外，遊戲還設有難度選擇。如果難度選擇自訂，玩家還可以自己設定對抗動作，以此來增加遊戲的娛樂性，刺激性。對打過程中和結束後都會有比分統計。如果成績不錯，還可以上傳網路進行積分排名。 一、軟體方面 主要使用openpose來進行姿態辨識。首先把大量拳擊教練影片進行骨架分析，收集與直拳，勾拳，上勾拳有關的所有骨架資料，像是與手臂相關的節點座標、夾角大小，運動中前後兩幀各節點的變化以及手臂向量斜率，長度和比例等，並考慮不同人的骨架特徵不同，站在鏡頭前的遠近不同，出拳速度不同等因素來設計演算法。 解析影片動作的演算法能夠抓出揮拳時從出拳到收拳時整個動作流程的所有幀數。對打時即時辨識的演算法為了減少延遲，採用較為寬鬆的演算法，僅抓連續動作的個別關鍵幀。 最後將對打時判斷出來的動作與拳譜做對比，就能完成對打比賽了。 二、硬體方面 拳擊手套使用挪威的Nordic nRF52833的藍牙通訊晶片，自行設計PCB電路板，開發藍牙的單晶片模組。拳擊手套是採用藍牙點對點（筆電對手套）的無線通訊技術，並帶有LED燈,體感震動馬達和蜂鳴器，硬體規劃上支援鋰電池和micro USB供電，電池經過降壓模組後供給給主IC與控制LED燈和馬達。 三、雲端開放式課程平臺 線上開放式課程網站的前端部分使用HTML、CSS和JavaScript進行開發，後端使用MySQL建置資料庫，儲存影片、影片解析出來的拳譜資料，以及使用者的註冊資料與對打成績。

聲形

棒棒吉他社

本作品欲提供使用者一項新穎的即時音像互動體驗，帶來一場同時滿足視覺與聽覺雙重感官饗宴的音樂型沈浸式展演。首先，本作品透過一安裝於弦樂器（吉他、烏克麗麗、小提琴）上的光學拾音裝置—LiCAP將傳統弦樂器所發出的聲音進行數位轉化，LiCAP的主要核心技術包含硬體架構設計以及音訊分析技術，以上技術皆由駭音科技所研發。硬體架構設計的關鍵技術在於自行設計發明的陣列式光學拾音器以及對應的數位音訊分析演算法。其陣列式設計能提升裝置泛用性，不受限於各個廠牌不同的琴弦距離。使用者不須額外進行過於精密的安裝過程，僅需確保裝置收音範圍在所有琴弦的下方，裝置就能準確地對每一條琴弦進行收音並分析。另外透過光學的特性，這樣的陣列式收音能獲取一般磁式拾音器或麥克風接收不到的訊號，包含能判斷推弦、撥弦方向等彈奏細節。另由於硬體裝置收音是採用陣列式收音，因此在彈奏時同時會有多個頻道的音訊需要同步處理。透過AI深度學習對多軌陣列音訊回推成對應數量的彈奏資訊，如吉他為六組或七組訊號，小提琴則為四組。本研究所設計之展演系統中，LiCAP將安裝於吉他上透過光學的特性偵測表演者的彈奏資訊，其開發設計的光學陣列式拾音器架構能接受到範圍內所有弦的振動。每一條弦獨立的獨立音訊 AI 運算，能精準的判斷使用者彈奏的指法、節奏、力度、以及技巧，並且即時地轉化為數位音訊。再透過USB連接電腦，將音訊傳輸至電腦透過音樂視覺化軟體進行視覺內容之設計與生成，讓演奏者在彈奏樂器的同時能夠同步生成視覺影像，帶來如同視覺畫面是由聲音所觸發、生成的視覺效果。在音樂視覺化的設計上，將透過聲音生成衍生性藝術的特效以提供多樣化的視聽體驗。另也架設毫米波雷達偵測觀眾的位置，以增加更多互動的內容。使樂手彈奏出來的音樂進行即時的視覺化生成，而觀眾能與視覺化的內容進行簡易的互動，以提供一場沉浸式的音像互動展演。

視障兒童之體感復活節彩蛋

視障兒童之體感彩蛋

「視覺」對於正常人來說是在正常不過的，大家每天醒來的第一件事就是睜開眼睛感受這個世界，然而，對於視覺障礙的兒童，因為缺乏視覺的直觀感受，因此他們的認知活動缺少了主動性，使他們在各方面的發展相較於一般兒童較為緩慢，基於視障兒童生理特徵，也導致視障兒童會產生心理上的恐懼，可能會表現出膽怯害羞、自卑、情緒不穩定、抑鬱、偏執，還伴有強烈依賴性、果斷性較差、缺乏主動性、對事物產生懷疑，然而對他們動作的發展產生影響，可能會導致不能輕易偵測目標移動、無法理解可能發生的狀況、無法模仿別人動作…等，視覺缺陷會導致視障兒童對環境失去移動的動機與信心，極易產生孤獨敏感的心理。 我們以尋寶的概念為設計主軸，針對盲童的視覺缺陷去設計了一款讓視障兒童遊玩的體感復活節彩蛋，利用感官補償的原理，讓視障兒童在尋找彩蛋的過程中，能夠透過聽覺、觸覺、嗅覺等線索來認識環境，練習定向行動的能力，並讓家長/老師/同儕也能一同參與，在孩子尋找的過程中，透過手機控制彩蛋啟動不同的感官刺激來引導孩子，協助孩子尋找到彩蛋。當找到彩蛋時，彩蛋裡放有糖果，做為慶祝的味覺回饋，我們希望能藉由找到彩蛋的過程能增加雙方情感交流外，也能重拾視障兒童對於尋找陌生環境的自信心，並讓視障兒童也能一起享受感恩節尋找復活節蛋的樂趣。

小恐龍逃走中-多人互動手勢遊戲

小恐龍連線中

在科技產品融入生活後，「人機互動」一詞出現，人們追求的不再只是透過機器解決問題，更希望能與機器有所互動。現今，各大展場以及博物館中，結合主題衍生出的互動設計已成了展覽不可或缺的一環，但由於在大型展場配置互動式多媒體裝置仍會面臨許多挑戰，如可能受限於硬體設備成本、操作範圍等眾多條件，因此本團隊希望以軟體作為解決辦法，並提出「應用手勢追蹤與辨認技術」之概念，藉由手勢辨識技術實做出一款輕量化、便攜性、可互動之多人的指尖跑步賽(Finger race) 互動多媒體遊戲。我們的作品是用大家所熟悉的google離線小恐龍當主角的手勢辨識遊戲，當手呈跑步動作時，小恐龍會跟著跑步，當手握拳時，小恐龍會跳躍。遊戲過程中，需要跳躍躲避障礙物，不然會減少生命。在雙人模式中，當一方生命耗盡，另一方勝。單人模式若生命耗盡則遊戲結束，會顯示所跑距離於畫面中。首先我們使用Mediapipe的手部骨架座標來辨識基本的手部動作，另外我們針對了較複雜的手勢，額外進行機器學習的訓練，藉此提高整體辨識的精準度。除此之外，為求遊戲捲動流暢，本團隊亦使用Kalman filter做為核心技術，以避免遊戲畫面產生撕裂感。最後由於此多人遊戲可能會發生多隻手交疊，或是突然有遊戲以外的手被偵測到的問題，為此我們使用了Simple Online And Real Time Tracking(SORT)演算法，藉由多目標追蹤的技術，來處理多人遊戲可能面臨的問題，讓遊戲變得更流暢。

混合實境於聽障者交流系統的應用

SignLens

根據 2021 年衛福部統計處資料,台灣身心障礙人口中,聽障者約佔其中的 10.5%,亦即國內大約每十名身心障礙者中,就有一位是聽障者。聽覺障礙者因其外觀、肢體等各項功能與一般人無異,使聽障者面臨困難時更容易被人忽略或不易察覺。在深入了解聽障人士在生活中遇到的不方便與在疫情期間聽障人士與聽人間存在的溝通障礙後,歸納出以下問題: 1. 聽障人士至銀行辦理金融業務有翻譯的需求 在和資深手語翻譯員進行訪談之後,了解到台灣聽障人士在銀行使用金融服務時常有翻譯的需求,然而至銀行辦理金融業務並不在政府補助聘請手語翻譯員的項目之內,其原因為金融業務大多涉及個人隱私,在辦理金融業務時聘請手語翻譯員,對於聽障人士和翻譯員而言都多有不便,而此現況常導致聽障人士與銀行行員之間需要更多的溝通成本以及資訊在傳達時容易有不精確等問題。 2. 聽障人士多以讀唇語、助聽器等方式輔助接收外界訊息 隨著疫情時代的開始,佩戴口罩儼然成為一種新的秩序與習慣。但隨著疫情期間的延長,即便在未來疫情消退,佩戴口罩也可能成為新的日常,這也嚴重影響聽障人士透過讀唇語接收外界訊息的途徑。 3. 環境嘈雜或多人交談的情境,使難以讓聽障人士有效接收訊息 現存助聽器多半無法達到全方位的輔助聽覺效果,而聽障人士透過讀唇語的方式,也無法同時接收多人的訊息,導致聽障人士多半在多人的社交場合下的溝通障礙更加嚴重,進而造成情緒發展及人格塑造的受挫。 4. 多數聽障者仍以文字作為主要對外傳遞訊息的管道 截至目前,台灣約有 12.5 萬名聽障人士,但台灣手語使用者僅有 2 至 3萬。這樣的人數比顯示在聽障人士及聽人的溝通中,以手語傳遞訊息有一定程度地困難,也代表著多數聽障人士與聽人僅能透過文字溝通,導致溝通效率低落。 本系統期待以中文及台灣手語為應用語言,透過頭智能眼鏡HoloLens 2 混合實境的方式,針對銀行中常見的金融服務,達到聽障人士和聽人間無障礙的雙向溝通。將一般聽人的聲音,轉換為文字,使聽障人士在吵雜與無法辨識聽人唇語的狀況下,仍能明確了解其說話內容。同時,透過辨識聽障人士的手語動作、面部表情,將其轉換為文字,使看不懂手語的聽人也能明瞭其意思。藉此增進聽障人士與一般聽人的雙向溝通,並減輕彼此的溝通成本與負擔。

Camove

萬萬來挑戰

根據統計，全球健身應用軟體市場在未來十年將以21.6%的複合年增長率成長，顯示全球對於在家健身的需求十分龐大。雖然現今互聯網上已有著數以萬計的健身教學或跳舞影片，即使教練教學經驗豐富，知道初學者常犯的錯誤有哪些，仍無法針對每個人的情況即時指導，缺乏直觀的即時反饋，因此這些網路影片仍無法有效取代昂貴的健身或舞蹈課程。儘管市面上有許多健身比對系統，卻往往限縮使用者的選擇，只能夠訓練固定的課程影片，不能讓使用者針對任何想要的影片練習，而且常需搭配購買額外硬體設備，要價不菲。如果無法選擇感興趣的影片練習，又需要花很多錢購買，或是需要配戴傳感器在身上，如此繁雜的步驟很快就會讓使用者缺乏健身的動力，便因此放棄自主運動，而不論是教學影片還是市售健身比對系統最大的問題就是缺乏即時且直觀的反饋，因此我們製作了Camove，一個即時動作比對及指導的健身系統，供使用者上傳感興趣的任意教學影片和手機前置鏡頭拍攝的錄影，接著採用關節點預測模型BlazePose來預測關節點。為了做到即時的動作比對，我們必須先減少生成立體骨架模型的計算量，將輕量化的模型部屬在所撰寫的Android軟體中，使用此模型快速產生鏡頭前人物的立體骨架。只要使用行動裝置的前置鏡頭，就可以協助使用者練習任何想要的健身或舞蹈影片，同時結合人工智慧，將手機錄像透過邊緣運算即時偵測出使用者平面影像的骨骼位置，通過特定演算法即時比對使用者與教練的動作，再以直觀的文字即時回饋給使用者姿勢的正確度並給予指導，而且，我們的速度和指導完整性都是目前產品及研究尚未到達的完整性，同時也可以上傳任意影片，不被軟體中的預設影片所侷限住。

生存遊戲輔助戰術頭盔

想開外掛對不

由於人體感官中的聽力與視力，有容易造成延遲、誤判、無法同時關注四面八方情況等缺點，SGAT-Helmet 生存遊戲輔助戰術頭盔可以達成此需求，透過裝置於頭盔上的鏡頭捕捉畫面，經由主機背包內的Jetson nano運行YOLOv4-tiny-3l分析影像再利用TensorRT加速，當檢測到敵人時，耳機發出警示音以告知使用者附近有敵人，並且透過腕部指示器上的LCD顯示敵人方位，縮短使用者的反應時間。 新北市警察靠著AI頭盔偵測可疑車輛，該主機安裝於頭盔後側，這樣會使頭盔過重，時間久了會讓使用者感到不適，或是軍事科技中的F-35頭盔顯示系統(HMDS)，雖然是以類似於AR方式顯示更為直觀，但在類似廢墟這種容易產生灰塵的環境或戶外，容易有髒汙問題時常需要清理，我們的作品將主機以掛件形式安裝於衣服上的收納袋中，用來減輕頭部因為重物所帶來的負擔，並且將情報顯示於手環中，使戰鬥中較易獲取情報且容易清理。 我們希望讓生存遊戲能夠如同FPS遊戲一樣的簡單易上手，而最直接的改善方法就是將FPS的操作介面帶到現實之中但同時也將帶來現實中的各種物理問題，其中裝置的穩定性、清潔性與維護性等等就是遊戲中不需考量的因素，經過多次討論及測試後決定透過將指示器裝備於手臂上，已達成類似於FPS遊戲當中HUD的效果，同時可藉由監視後方的鏡頭得到敵人方位並傳到指示器上，使用者即便不轉身也可知道身後狀況。

ElecTrap 樂齡挑戰

皮諾可這個電s

人的一生皆會經歷生老病死，意即每個人都會變老。高齡化社會來臨，長者與青壯年的人數比例愈發懸殊，當雙薪家庭增加，要如何抽空陪伴、照顧長者成為多數家庭必須面臨到的難題。 因缺少看護，使外籍移工們紛紛來臺工作，而移工們的語言不通，有時會與長者們產生不愉快，我們希望長者們都能維持心情愉悅，也能養成活動手腳的習慣，我們以此為動機開發一套遊戲，遊戲主體為廣為人知的電流急急棒，共有四種模式：電流急急棒、固定迷宮、暖身模式、關主模式。 最初我們參考了許多歷年與人體姿態感測相關的作品、產品，並找到一款 VR 版電流急急棒遊戲，但凡設備就需花費不少。這使我們有所啟發，以花小錢可得最大效益為目標，僅需使用身體部位，不需購買額外裝置，達到以下目的 1. 舒緩外籍看護與長者間的緊張關係，促進彼此的情感，「關主模式」的進行能讓兩者輪流出題，增加互動，摩擦就會減少。 2. 透過排行榜系統，激發長者們的好勝心，使長者更願意活動筋骨。 3. 透過邏輯推導、精美介面與音效引導長者們進行遊戲，雖然無法完全透過動腦與運動避免「阿茲海默症」，但能夠預防。 本系統強調與長者間的互動、腦力激盪，期望能經由運動預防老年憂鬱與痴呆。

聲形

棒棒吉他社

本作品欲提供使用者一項新穎的即時音像互動體驗，帶來一場同時滿足視覺與聽覺雙重感官饗宴的音樂型沈浸式展演。首先，本作品透過一安裝於弦樂器（吉他、烏克麗麗、小提琴）上的光學拾音裝置—LiCAP將傳統弦樂器所發出的聲音進行數位轉化，LiCAP的主要核心技術包含硬體架構設計以及音訊分析技術，以上技術皆由駭音科技所研發。硬體架構設計的關鍵技術在於自行設計發明的陣列式光學拾音器以及對應的數位音訊分析演算法。其陣列式設計能提升裝置泛用性，不受限於各個廠牌不同的琴弦距離。使用者不須額外進行過於精密的安裝過程，僅需確保裝置收音範圍在所有琴弦的下方，裝置就能準確地對每一條琴弦進行收音並分析。另外透過光學的特性，這樣的陣列式收音能獲取一般磁式拾音器或麥克風接收不到的訊號，包含能判斷推弦、撥弦方向等彈奏細節。另由於硬體裝置收音是採用陣列式收音，因此在彈奏時同時會有多個頻道的音訊需要同步處理。透過AI深度學習對多軌陣列音訊回推成對應數量的彈奏資訊，如吉他為六組或七組訊號，小提琴則為四組。本研究所設計之展演系統中，LiCAP將安裝於吉他上透過光學的特性偵測表演者的彈奏資訊，其開發設計的光學陣列式拾音器架構能接受到範圍內所有弦的振動。每一條弦獨立的獨立音訊 AI 運算，能精準的判斷使用者彈奏的指法、節奏、力度、以及技巧，並且即時地轉化為數位音訊。再透過USB連接電腦，將音訊傳輸至電腦透過音樂視覺化軟體進行視覺內容之設計與生成，讓演奏者在彈奏樂器的同時能夠同步生成視覺影像，帶來如同視覺畫面是由聲音所觸發、生成的視覺效果。在音樂視覺化的設計上，將透過聲音生成衍生性藝術的特效以提供多樣化的視聽體驗。另也架設毫米波雷達偵測觀眾的位置，以增加更多互動的內容。使樂手彈奏出來的音樂進行即時的視覺化生成，而觀眾能與視覺化的內容進行簡易的互動，以提供一場沉浸式的音像互動展演。