成果展示

隊伍名稱 「視」界都是你
作品名稱 你累了,我知道!
指導教授 陸清達
團隊成員 潘盈臻、劉俞均
作品介紹 自2020年起新冠肺炎蔓延自全世界,使得人民的生活嚴重受到影響,為了防止疫情擴散,人們必須持續待在家中,進而改變了生活型態,也因為現代科技的進步,大家開始透過網際網路進行線上學習、工作以及娛樂等各種活動,更加依賴電腦,並透過網路長時間觀看豐富的影片,許多使用者在觀看影片或線上上課時,難免會有疲憊打瞌睡或是離開座位卻忘記將影片暫停的情形,使得影片持續播放,而電腦也一直處於熱機狀態,不僅耗電而且使用者再度想觀看影片時必須不斷的返回尋找適當的開始播放位置,非常困擾使用者。 因此,我們希望透過深度學習神經網路研發出一款智慧影片播放控制系統,透過COCO (Common Objects in Context)資料集訓練OpenPose深度學習神經網路來擷取使用者的肢體關鍵點,並透過Viola Jones演算法偵測人臉的眼睛區域,最後利用卷積神經網路(Convolutional Neural Network, CNN)訓練及辨識使用者眼睛是否閉闔,將以上功能結合後,能夠準確判斷使用者的即時情緒狀態,並根據判斷結果自動控制影片暫停,減少了使用者必須手動控制來暫停影片的不便,待使用者再次回到座位時,也不需要再反覆尋找播放位置,即可從原先暫停的位置繼續播放影片,最後系統還加入了情緒辨識,運用Caffe神經網路來辨識使用者在觀看學習影片時的情緒,如果使用者在觀看學習影片的過程中對學習內容感到困惑、焦慮甚至是生氣時,系統偵測到負面情緒影片也會自動暫停,使用者就能透過影片暫停,藉此對教學內容進行理解和吸收,之後想要再繼續觀看影片時,系統也會繼續偵測使用者的即時狀態,提升整體使用電腦觀看影片的方便性及學習成效。
照片