成果展示

隊伍名稱 萬萬來挑戰
作品名稱 Camove
指導教授 林伯星
團隊成員 邱信瑋、溫佩旻、萬逸涵、劉嘉蕎
作品介紹 根據統計,全球健身應用軟體市場在未來十年將以21.6%的複合年增長率成長,顯示全球對於在家健身的需求十分龐大。雖然現今互聯網上已有著數以萬計的健身教學或跳舞影片,即使教練教學經驗豐富,知道初學者常犯的錯誤有哪些,仍無法針對每個人的情況即時指導,缺乏直觀的即時反饋,因此這些網路影片仍無法有效取代昂貴的健身或舞蹈課程。儘管市面上有許多健身比對系統,卻往往限縮使用者的選擇,只能夠訓練固定的課程影片,不能讓使用者針對任何想要的影片練習,而且常需搭配購買額外硬體設備,要價不菲。如果無法選擇感興趣的影片練習,又需要花很多錢購買,或是需要配戴傳感器在身上,如此繁雜的步驟很快就會讓使用者缺乏健身的動力,便因此放棄自主運動,而不論是教學影片還是市售健身比對系統最大的問題就是缺乏即時且直觀的反饋,因此我們製作了Camove,一個即時動作比對及指導的健身系統,供使用者上傳感興趣的任意教學影片和手機前置鏡頭拍攝的錄影,接著採用關節點預測模型BlazePose來預測關節點。為了做到即時的動作比對,我們必須先減少生成立體骨架模型的計算量,將輕量化的模型部屬在所撰寫的Android軟體中,使用此模型快速產生鏡頭前人物的立體骨架。只要使用行動裝置的前置鏡頭,就可以協助使用者練習任何想要的健身或舞蹈影片,同時結合人工智慧,將手機錄像透過邊緣運算即時偵測出使用者平面影像的骨骼位置,通過特定演算法即時比對使用者與教練的動作,再以直觀的文字即時回饋給使用者姿勢的正確度並給予指導,而且,我們的速度和指導完整性都是目前產品及研究尚未到達的完整性,同時也可以上傳任意影片,不被軟體中的預設影片所侷限住。
照片