成果展示

智慧機器


第一名

水下立體視覺應用於AI養殖漁業

生蠔加熱溫生蠔


隨著全球暖化的影響漁業活動大多改為人工養殖方式進行,透過養殖具有高經濟效益之魚種帶動台灣漁業商機,養殖方式較傳統捕撈漁業更具效率,透過人為方式進行監督與照顧,減少至較遠海域出海之風險。本作品為減少養殖業者工作負擔及降低潛水員風險,故使用立體影像結合人工智慧技術進行魚隻辨識及魚隻生長狀態分析,該功能方便養殖業者於岸上了解魚隻狀況,若魚隻異常及活動力較差時能透過該系統得知,透過觀察能減少魚餌料的浪費,降低海水汙染等問題。 本作品運用範圍主要為漁業養殖場所,透過辨識魚隻本體生長資料及魚群變化得知養殖狀況是否穩定,現今漁業業者大多以感測器偵測養殖環境,像是溫度濕度監控、水下魚隻監控系統等,其中皆未能直接對魚隻生長狀況進行分析研究。本作品主要透過影像強化偵測魚隻,並對其進行尾叉長、體高及體重分析,從中得知魚隻生長狀況,並透過YOLOv4進行魚隻總數估計,進而觀測出魚隻密度、活動力及搶食情況,綜合以上資訊,本作品將透過介面呈現以上分析結果。 作品頁面呈現主要功能: 1.登入登出功能 2.實際場域測試 3.即時辨識魚隻尾叉長體高及體重估測 4.即時辨識魚隻總數估測 5.即時分析魚隻活動力 6.即時分析魚隻搶食程度 7.歷史資料

第二名

可攀爬於樹面之森林資源監測機器

南橋賭神

有鑑於大家對於自然資源意識的抬頭,在不破壞自然生態與投入最少人力資源的平衡下,我們致力於做出可在低功耗模式下,長時間觀測的爬樹型機器人。而機器人系以STM32微處理機做為控制核心,並配置了溫溼度感測器、氣體感測器、無線攝影機,且將腳的機構以弧形的特殊設計,配合彈簧的可延長性及彈性,來達到攀爬樹木的功能,而本研究特殊的三角形機械結構設計,能讓整台機器在面對崎嶇的樹木時,自由的攀爬且貼合,克服樹木難以攀爬的問題。最後搭載了無線通訊協定作為資料的傳輸,將傳遞資料與攝影機所傳之影像作配合,以增強深入環境險峻的茂密叢林之探勘能力,讓森林資源監測更為便捷快速。 考量到動植物的習性與人類不同,為了讓研究的時間可以拉長,且在有限的人力資源分配下增加可觀測的範圍。且為了使環境不被破壞、降低對人員的需求,因此萌發了此研究之想法。由於樹木的樹幹和樹枝的直徑不同,因此機器人要有可以應變樹木並且牢固的依附在樹木上的能力。考量到檢測的環境或許存在危險,不適合親自進入,因此附加了遠端遙控的功能,搭配無線攝影鏡頭即時傳輸畫面,就能讓使用者在遠端進行監控,而不必親自進入探勘地,確保使用者的安全。並擁有資料採集的功能,例如溫度、濕度、氣體檢測,能夠經由無線傳輸,將資料傳回使用者。此項擴充性較高,可針對不同的環境,決定欲收集的資料類型,例如在充滿危險氣體的場合,即可配備氣體感測器。且具備長時間的觀察能力,例如在觀察昆蟲或是鳥類時,藉由緩慢的移動,避免不小心驚嚇到動物或是破壞原有的生態。

第三名

全自動行李搬運跟隨平台

啊我的豆花三十塊

此機器人可以使用在大部分的室內場景,並且協助使用者搬運隨身物品,例如:可在大賣場幫助使用者搬運購買物品、可在機場幫助使用者拖運行李。為了讓機器人能夠辨識使用者,此機器人搭載了Lidar(Light Detection And Ranging),能夠掃描附近地形並建立此地點之平面地圖,當使用者開始行走時,機器人會自動跟隨。因Lidar辨識人腿與地形掃描所需要的運算量非常龐大,所以在主控制核心的硬體端,我們選擇了使用NVIDIA Jetson AGX Xavier來做為運算核心,並搭配ROS(Robot Operating System)作業系統來整合周邊硬體並控制。 (一)、自主跟隨 本運送平台最主要的功能就是能代替使用者拖運物品,使用者只需將拖運的物品(例如:行李箱、背包、大型包裹等物品)放到本運送平台上,運送平台會透過YOLO偵測使用者的背影並標記此使用者,再透過Sweep Lidar偵測雙腳的位置(Lidar腿部偵測,Lidar leg detector),讓YOLO的偵測結果與Leg detector的偵測結果相互補償,並控制底盤移動的方向,自行跟隨使用者移動,便能夠讓使用者省去搬運、拖運的力氣,不用擔心安全問題。 (二)、背影辨識與腿部偵測 在本運送平台系統中,機器人會透過YOLO辨識使用者背影,搭配Lidar的腿部偵測(Leg Detector),並隨著使用者的位置跟著移動。當機器人偵測不到被標記的背影時,機器人會根據先前SLAM建立的地圖模型尋找使用者的雙腿,並透過雙腿在地圖中的位置尋找使用者,若還是找不到,則會停在原地發出警示。 (三)、YOLO與Leg Detector轉向補償演算法 在本系統的控制程式中,由於要使用YOLO的影像辨識結果,搭配Lidar的Leg Detector結果,來尋找使用者的位置,並且控制運送平台轉向,所以我們在轉向的補償上設計了一演算法,來滿足我們的需求。 此演算法會先取得YOLO偵測使用者背影與機器人中心點的偏移量,然後根據此偏移量的方位(左側或右側),透過Leg Detector取得該方位的腿部位置,然後透過該位置與中心原點計算機器人需要旋轉的角度。

基於深度學習PCB瑕疵辨識系統

成銲點

近年來,由於智慧製造相關技術的發展,使得自動化焊接設備已日漸廣泛的應用在電子產品製造業。然而,無論焊接技術多精良、多先進,焊接總是很難確保完美無缺,而導致PCB中銲點可能會含有或多或少的瑕疵,而破壞PCB完美性與連續性,其中最常見的為PCB上出現錫洞、錫尖、與短路不良銲點,過去常用的人工檢測難以因應現在產線需求,人眼除了會因工作時間的拉長導致品質下降外,越來越快的生產速度與部分小體積產品,人眼也難以負荷。再者,銲點缺陷之PCB量過高,於驗收或交貨時可能造成罰款、退貨、或瑕疵品重製,此類狀況將導致工廠製造成本提高與後續客戶下單意願降低等影響。因此,本團隊所研發之「基於深度學習PCB瑕疵辨識系統」,可降低此問題發生機率,以及不需人力成本,所利用深度學習的物件檢測(object detection)技術,取樣不良銲點PCB之圖像後,再將需要辨識的圖像加上標識(本作品聚焦於PCB中最常見之錫尖、錫洞、與短路不良銲點),進而從這些圖像中辨識錫尖、錫洞、與短路的特徵並於AI深度學習伺服器上進行系統模型的訓練。首先,輸送帶會運送PCB進入腔體內部進行圖像辨識,一旦發現PCB的銲點具有瑕疵時,則立即觸發機械手臂,將不良品推離輸送帶,推出的不良品會有專門收集不良品的集料盒接住;反之,辨識出無瑕疵的PCB,則視為良品直接通過,尾端也會有專門收集良品的集料盒接住,辨識結果會顯示在監控螢幕上,且透過螢幕能夠看到以往辨識的狀況,藉此便能得出錫洞、錫尖、短路哪種狀況較常發生來做修正。

智慧桌球視覺計分系統

每天通勤兩小時

近年來各種運動的興起,讓越來越多人開始注重裁判的判決。不只球員自己,連球迷們也會注意,誰也不想自己支持的選手或球隊因為裁判的偏頗判決而輸掉比賽,進而導致許多球員、球迷的不愉快。本作品基於人工智慧利用分類資料與深度學習的技術提出桌球比賽計分系統,希望可以改善人為具有主觀意識的判決,透過智慧化和自動化進行桌球比賽的計分。 本作品使用NVIDIA Jetson TX2與Arduino UNO達成智慧桌球視覺計分系統。因此,在作品製作上,一開始會先蒐集及處理大量桌球對打的資料,並利用影片擷取片段影像。接著再將所蒐集及處理大量桌球對打的圖中的球體做標記,標記後的資料的其中75%資料送給YOLOv4進行機器學習的訓練,25%做測試。訓練完成後,將得到一個模型,為確認模型的正確率,必須實際測試,如:用預先錄製的影片測試。若模型未達預期的正確率,則查看資料是否須修正並修正演算法參數,然後重新進行訓練,以達成較高且預期的模型正確率,然後放入NVIDIA Jetson TX2進行實際辨識,若實際辨識效果不理想,將檢討先前步驟,直到達成預先設定的目標。本作品將模型正確率的目標設定在95%以上。最後,本作品將使用Arduino UNO開發計分顯示器控制電路,並使用Python結合至NVIDIA Jetson TX2上,將Python所判斷的得分訊號傳送給Arduino UNO做分數加總並顯示於計分器,以顯示雙方桌球得分結果。 此外Python也透過Arduino UNO整合了語音開關,可以從外部開關選擇藉由gTTS (google文字轉語音套件)所發出的中文或英文語音的分數,最後為了使YOLOv4的模型辨識與Python的得分判斷式可以達成同步運行。本作品於Python寫入多執行緒,可以在一個行程,分別執行YOLOv4終端機指令與判斷式,達成同步計分。 藉由此作品的實現,達成不用裁判也能智慧自動計分,讓球員與球迷感受到公平且讓人信服的判決,減少比賽的紛爭,也可供球員平常練習,減少人力支出。

智慧垃圾桶

EEFJ好踏實

日常生活中垃圾蒐集與分類需要耗費許多人力與時間,因此我們提出利用AIoT技術讓垃圾桶具備各式自動化功能。系統集成AI垃圾辨識技術、自動分類機械結構、各式傳感器反饋與雲端平台整合,使垃圾桶實現自動開關蓋、協助自動分類垃圾、垃圾滿溢量即時監控分析等功能,並且當垃圾桶過滿時,系統將主動寄送通知以節省人力,此外也能透過分析垃圾流量從而更好的分配資源。在設計中我們也加入人機介面,智慧垃圾桶將能與使用者互動,提升更好的用戶體驗。 本團隊實際走訪校園各處之後,為統整出的諸點問題設計本作品,功能如下。 功能一:自動感應、自動開蓋功能。 利用超音波感測器與紅外線感測器偵測使用者的位置與行為,達成垃圾桶自動開蓋的功能。 功能二:滿溢度偵測。 於垃圾桶內部加裝超音波感測模組,可偵測垃圾桶的滿溢度,並換算成目前的容積百分率。 功能三:AI自動垃圾分類辨識。 透過深度學習影像辨識系統Resnet-50神經網路架構,訓練包含一般垃圾、寶特瓶、玻璃瓶、鐵鋁罐等含多種垃圾種類的網路模型。 功能四:垃圾桶狀態介面。 標示垃圾桶資源回收與一般垃圾的分隔,告知使用者垃圾桶目前收集的垃圾種類為何。將目前垃圾桶的滿溢程度顯示於平板,搭配本垃圾桶的機構設計與垃圾辨識,傳遞落實垃圾分類的觀念。 功能五:IoT雲端資料整合。 系統會將垃圾桶的滿溢度資訊即時上傳,若達到閾值便會上鎖並發簡訊給垃圾桶管理人。會記錄每個垃圾丟入的時間與當時的滿溢度,藉此可整理統計數據來表分析垃圾流量的尖峰與離峰時間,已安排更好的垃圾桶清潔班表。

佳作

馬鈴薯篩選系統

KKC

在現今的馬鈴薯審核工廠中,大多先使用機器判定馬鈴薯大小,再透過人工篩選馬鈴薯品質,而這樣的人工篩選方式需要花費較多的人力與篩選時間。本系統馬鈴薯篩選系統可以判斷「馬鈴薯外觀是否有發芽」,設計本系統是為了能提供大型馬鈴薯篩選工廠與小型蔬果工廠作為使用,降低將品質不好的馬鈴薯流入市場的機率。而本系統以馬鈴薯做為主要的檢測之蔬果,結合人工智慧來檢測外觀品質,透過本系統取代傳統工廠中的人力篩選模式,精確檢驗目標之外,同時能達到「降低人事成本、提高篩選效率」之效果。 在馬鈴薯篩選系統中,我們使用3D印表機印製齒輪來設計「滾輪輸送帶」作為應用範圍,以馬達帶動齒輪來運送馬鈴薯,搭上電腦判斷端與攝像鏡頭webcam,同時考慮到小農營運成本,透過簡單、可調性大且方便性高的設備來完成馬鈴薯篩選系統的硬體設備。在電腦判斷端中,因YOLO具有能夠同時預測多個物品的優勢,使整體訓練以及後續預測的運算時間能夠大幅縮減,因此本團隊架設YOLOv3架構,目標為達到「即時判斷、標示出目標、高準確度」。 操作本系統的方式為將馬鈴薯放置於輸送帶上,透過搖臂開關啟動馬鈴薯輸送帶,而當馬鈴薯通過攝像鏡頭webcam時,鏡頭將馬鈴薯的即時影像傳至電腦判斷端,電腦判斷端即時判斷馬鈴薯外觀是否發芽,並將判斷結果顯示在螢幕上的GUI介面。本系統除了可以判斷單顆馬鈴薯之外,也能同時判斷多顆馬鈴薯的外觀,也因「同時判斷多顆目標」之設計,達到提高篩選效率,最終以全自動化篩選馬鈴薯為目標。

基於AI邊緣之智慧搜救系統

專題好難

當災害發生時要搜尋受困人員,目前主要採用直升機進行高空大範圍的搜尋,再搭配大量的人力進行地毯式搜索的方式。然而,這種搜救方法會耗費相當大的社會資源,在人力有限的狀況下也常常因災害範圍過大導致無法把握在黃金72小時內搶救到疑似受困人員,也會同時讓搜救人員處於危險環境之中。在這個作品中,我們將提出一個基於AI邊緣之智慧搜救系統。在第一階段無人機群將於空中進行大規模的搜尋,利用卷積神經網路(Convolutional Neural Network, CNN)對即時影像進行人形物件偵測,並融合紅外線熱成像影像來降低遮蔽物和夜晚光線不足造成的問題,當偵測到疑似受困者則會察看影像中高溫區域是否超過一定比例,若是則回傳GPS資訊。然而,空中偵測很容易因距離關係而造成誤判,因此在第二階段將採用多足機器人進行地面偵測,除了同樣利用CNN進行人形偵測外,進一步透過人聲和人體紅外線感測器等綜合進行判斷,用以提高偵測時的正確率。在第三階段,搜救人員利用行動裝置連接到後端計算平台得知受困人員具體位置,並可以遠端控制多足機器人並經由其攝影機的即時影像了解受困人員目前的狀態,來決定需攜帶哪些工具前往救援。透過這樣智慧化機制,將可以大幅減少搜尋的時間,提供搜救人員精確的資訊,以增加搜救時的效率。

人工智慧計算魚群數量

魚兒魚兒水中游

大家好,我要介紹的是人工智慧計算魚群數量,我是報告人黃界銘。 首先我會做個簡單的介紹,接下來再對影像前處理進行說明,然後是我們採用的深度學習的檢測結果,最後對整個作品做一個總結。 在養殖漁業傳統的魚苗計算方法效果並不好。 二值化的影像處理方法也相當粗糙。 因此我們設計了一套利用影像前處理的方式來搭配深度學習有效提高偵測的準確度。 在影像前處理的部分,首先我們使用實驗室自行開發的ASVDF,傅立葉域的自適應奇異值分解進行影像增強,先設計出一個高斯模板,將影像與高斯模板進行離散傅立葉轉換,再用傅立葉頻譜進行奇異值分解獲得主要資訊,最後算出補償係數進行自適應光線補償,生成強化影像。 除了亮度提高之外,並且能有效的將前後景分離。 接下來要使用HOSVD,高階奇異值分解,我們先將影像轉為RGB三維張量並進行三種模式的串接,分別對他們進行奇異值分解求得主要資訊,再以其中一個式子計算出核心張量。 然後再把核心張量的前兩層變成單位矩陣後,獲得新的核心張量,重建出魚頭特徵影像。 HOSVD可有效抓取魚頭的彩色資訊,避免重疊問題。 這邊顯示使用ASVDF增強影像後,HOSVD的效果會變得更清楚。 我們分別將原始影像與魚頭特徵影像進行訓練,結果可以發現使用魚頭特徵影像進行訓練的精確度較高,證明了影像前處理可以有效提高深度學習的效果。 沒有經過影像前處理的原始影像,直接經由深度學習去框選魚群的失誤率非常大。 我們提出的方法確實能完全去除雜物干擾與魚苗重疊問題。 總結來說,我們使用影像前處理不但能提升檢測的準確率,且能克服背景雜質、反光與重疊問題,對於深度學習其實一般都需要大量的樣本,但由於我們利用創新的做法,使用前處理的特徵影像進行訓練,因此只需要少量的樣本數就能得到一個很好的偵測結果。

聆音護具

聆揚

根據世界衛生組織統計,全球有超過六億人處於高度噪音的工作環境中工作,成年人中更是有高達9600萬人的聽損與職業噪聲暴露有關,造成全球每年有高達1200億美元的經濟損失;台灣每年有200萬人處於高度噪音的環境中工作,職業性聽力損失更是占全國職業傷病比例最高,這造成台灣每年約有20億左右的相關勞健保支出,因此不管對於全球還是台灣來說職業性聽力損失都是急需解決的問題。 根據臺灣聲學學會調查及團隊現場實際訪談結果發現,有46.1%的受訪者不願意佩戴聽力防護具,其最主要的原因為: 1. 市售聽力防具追求過高降噪功能導致無法聽到周圍機台的警示聲,且必須拿掉聽力防護具才能順利溝通,一直反覆的脫戴,對勞工們來說是非常不方便的,因此導致配戴護具的意願大幅降低。 2. 市面上有對講機通訊耳罩與無線降噪通訊耳罩等商品,然而,藍牙通訊因需配對連線,導致不適合用於短距離的即時溝通 3. 廠區資深勞工多少已有聽力損失的狀況,因此一般產品並不適合用於已有聽損狀況的患者,導致整體的佩戴意願更加低迷。 有鑑於此,團隊整合電腦視覺及語音波束成型技術打造全新降噪系統,突破以往需使用藍牙連線之劣勢,希望藉由此核心技術量能建立一套完善的聽力防護具。本系統之目的主要建立一套完善的聽力防護具,使勞工帶著護具依然能溝通交流,並提高其配戴意願,以此降低聽損人數的增長。

高階藍牙音箱研製

感受旋律

根據美國信諾保險集團於 2019 年的全球壓力指數調查,在所有的受訪者中有高達 96% 的台灣人表示對當前的生活感到壓力,是僅次於南韓(97%)全球壓力指數的第二大國家,並且有逐年上升的趨勢。 當人們長時間在高壓的環境下,將對身體產生負面的作用,例如增加高血壓、糖尿病的風險,影響懷孕中的胎兒生長,嚴重甚至縮短壽命。對於花費高工時在賺錢打拼的現代人們來說,能夠挪用的休閒時間更是雪上加霜。 因此本作品使用「被動式音樂療法」(Passive Music Therapy),期望能在最短的時間內降低人們的高壓狀態,透過EEG腦波感測元件,換算當前使用者的情緒組成成分,再藉由手機至雲端音樂庫找尋合適、具療效的音樂播放,並且追蹤使用者在聆聽時的情緒組成變化,抑或是使用者對於推薦音樂的評分,作為手機應用程式選取下一首歌曲的依據。 本作品的五大特點如下: 1.腦波分析與情緒追蹤:使用 TriAnswer 自行開發之 EEG 偵測模組搭配 nRF52832 晶片進行資料採集,並透過 ESP32 分析波形頻段振幅與情緒組成成分經由藍牙回傳至手機應用程式。 2.音樂情緒成分萃取模型:使用 Python 搭配 Keras 以及 Librosa 套件分析欲上傳至雲端音樂庫的音樂情緒組成成分以及音樂類型。 3.雲端音樂庫與使用者偏好資料庫:公用的雲端音樂庫使用 Google Cloud Storage 儲存播放音樂,提供手機應用程式串流選擇歌曲;而使用者偏好設定將儲存於手機內部空間,紀錄使用者針對各音樂類型的喜好程度。 4.智慧音樂輸出等化器:透過手機應用程式可還原音樂上傳者的音樂等化器設定,抑或是依照使用者之等化器喜好組態調整音樂輸出特色。 5.使用者體驗回饋機制:若完成播放一首歌曲,手機應用程式將紀錄本歌曲對於使用者的情緒改善狀態,並且將此結果數值上傳至Google Cloud Storage;若使用者對於推薦的歌曲不滿意,可於手機應用程式主頁面下方的回饋星等,作為下次系統選擇歌曲的考量因素。 開發完成的「高階藍牙音箱—情緒追蹤者」,期望輔助人們有效率地紓解壓力,以降低高度壓力對人們所產生的負面影響,進而提升整體生活品質。

跨域整合特別獎

自動光學CAD生成系統

曾幾何時


本系統基於機器視覺設計並製作一套自動光學量測設備,利用機器視覺演算法找出特徵點位,並且帶入Nurbs等CAD應用原理,實作一套自動生成CAD系統。不僅能在非常短的時間內取得準確的量測結果的同時,也能有效進行後續的2D模型再設計等動作。 本系統利用機器視覺資料庫OpenCV配合光學原理將物件輪廓取出後,將物件輪廓練碼利用道格拉斯-普克演算法進行進一步的簡化,並且將道格拉斯-普克演算法簡化的區間切割為數個曲線,再針對每一個分割出的曲線利用三次方貝茲曲線的原理進行控制點的反解,進而計算出每個區塊的貝茲曲線。並且利用相機校正過程中所取得之各項參數進而求解單應性矩陣。同時利用CAD檔案格式將這些控制點視為參數進一步生成CAD檔案。 市面上產品多維接觸式量測,如二次元量床等。非接觸量測類產品則因為價位過高(Keyence 光學測量類產品)無法順利推廣至普通消費者並無法轉換為CAD檔案。本系統於手機普及率高的時空背景下,提出一套經由手機拍攝物件生成CAD流程。消費者僅須利用手邊現有的手機即可製作精準的CAD檔案。又或部分有專業量測需求者本團隊也有提出專業量測解決分案供消費者選用。 對於不擅長使用電腦繪圖者、設計師手稿及逆向工程需求者所設計。透過手機或是任何拍攝工具依據本系統提示,即可快速產出CAD檔案。