| 作品介紹 |
本作品欲提供使用者一項新穎的即時音像互動體驗，帶來一場同時滿足視覺與聽覺雙重感官饗宴的音樂型沈浸式展演。首先，本作品透過一安裝於弦樂器（吉他、烏克麗麗、小提琴）上的光學拾音裝置—LiCAP將傳統弦樂器所發出的聲音進行數位轉化，LiCAP的主要核心技術包含硬體架構設計以及音訊分析技術，以上技術皆由駭音科技所研發。硬體架構設計的關鍵技術在於自行設計發明的陣列式光學拾音器以及對應的數位音訊分析演算法。其陣列式設計能提升裝置泛用性，不受限於各個廠牌不同的琴弦距離。使用者不須額外進行過於精密的安裝過程，僅需確保裝置收音範圍在所有琴弦的下方，裝置就能準確地對每一條琴弦進行收音並分析。另外透過光學的特性，這樣的陣列式收音能獲取一般磁式拾音器或麥克風接收不到的訊號，包含能判斷推弦、撥弦方向等彈奏細節。另由於硬體裝置收音是採用陣列式收音，因此在彈奏時同時會有多個頻道的音訊需要同步處理。透過AI深度學習對多軌陣列音訊回推成對應數量的彈奏資訊，如吉他為六組或七組訊號，小提琴則為四組。本研究所設計之展演系統中，LiCAP將安裝於吉他上透過光學的特性偵測表演者的彈奏資訊，其開發設計的光學陣列式拾音器架構能接受到範圍內所有弦的振動。每一條弦獨立的獨立音訊 AI 運算，能精準的判斷使用者彈奏的指法、節奏、力度、以及技巧，並且即時地轉化為數位音訊。再透過USB連接電腦，將音訊傳輸至電腦透過音樂視覺化軟體進行視覺內容之設計與生成，讓演奏者在彈奏樂器的同時能夠同步生成視覺影像，帶來如同視覺畫面是由聲音所觸發、生成的視覺效果。在音樂視覺化的設計上，將透過聲音生成衍生性藝術的特效以提供多樣化的視聽體驗。另也架設毫米波雷達偵測觀眾的位置，以增加更多互動的內容。使樂手彈奏出來的音樂進行即時的視覺化生成，而觀眾能與視覺化的內容進行簡易的互動，以提供一場沉浸式的音像互動展演。 |