成果展示

隊伍名稱 舌來了
作品名稱 舌下之意
指導教授 方文杰
團隊成員 黃梓豪、黃偉誠
作品介紹 舌診在中醫界中佔有一席重要地位,中醫師可藉由查看舌頭的所透漏的訊息,像是顏色、舌苔厚度等,判斷病人的健康狀況,因此本作品從這個角度切入,以製作一個自動化舌診的系統為目標。 完整的舌頭圖像切割有助於提高自動化舌診的精確度,然而在大多情況,使用傳統影像處理的方法無法得到好的結果,再加上近年來,機器學習又再次受到矚目,由於深度學習、CNN的發展,被成功的運用到電腦視覺領域,衍伸出更廣泛的技術。 因此,本作品將以Mask-RCNN打造舌頭圖像切割模型,在切割圖像時,不需對輸入的影像執行過多的前處理,來減少在計算時間過久的問題。除了採用Mask-RCNN來提供辨識舌頭圖像特徵位置並切割舌頭圖像,另外再利用ResNeXt-101來作為舌苔圖像顏色的初步判斷,即可依照舌苔顏色來進行初步的舌診診斷。 本作品的成果可達到讓使用者可以藉由App前端介面,將手機所拍攝之舌頭影像輸入至系統,然後進行顏色校正-自動化白平衡與亮度調整、圖像切割-Mask-RCNN、舌苔顏色辨識-ResNeXt-101,來得到初步的舌頭切割圖像及舌診結果。
照片