成果展示

圓棒形物件之機器視覺量測系統

堅持到底

本作品為一種基於機器視覺與影像處理的自動化光學量測系統與方法，用以針對小型精密圓棒形物件進行自動化三維外形重建與幾何參數測定。圓棒形物件諸如精密定位銷、量床用探針、小型旋轉軸件等常見工業用零組件。本系統的核心硬體主要包含一機器視覺模組、一主軸夾爪模組、一運動平台模組及一工業電腦。本作品藉由自行開發的程式軟體與上述硬體進行機電系統整合，以執行圓棒形物件之三維外形重建與幾何參數測定的自動化光學量測程序。本系統的程式軟體具備「人機介面/狀態監控」、「運動控制」、「影像擷取與處理」、「三維外形重建」、「幾何參數測定」等五大核心功能。首先，藉由線性運動平台調整機器視覺模組與待測物的相對位置進行影像定位，並藉由主軸夾爪模組分度間歇旋轉待測物，便可透過機器視覺模組拍攝多組待測物之輪廓影像。然後，透過影像處理程式以從拍攝之待測物輪廓影像中擷取出待測物的輪廓座標點，並使用輪廓誤差補償演算法以將物體旋轉時產生的偏轉量消除並將原始輪廓座標點進行補償修正而得到修正後的輪廓座標點。最後，可透過外形重建與幾何測定演算法將這些修正後輪廓點座標進行處理與運算以完成待測物的三維外形重建與幾何參數測定工作。如此，可達成工業界對於小型精密圓棒形物件的基本量測需求。

可變形之輪足型複合式機器人

科博聞

現今國內外研發的陸上移動式機器人，大致可分為足型機器人、輪型機器人及履帶機器人…等。足型機器人行進於崎嶇路段時，可優越於其他型態的機器人順利作動，但在動作時卻缺乏了速度及平穩性的要求；而輪型機器人在於速度及車體平穩性可優越於其他型態的機器人，但行進時容易受到地形限制。因此，吾人研發出一台可變形之輪足型複合式機器人，此機器人具有輪型機器人和足型機器人的優勢，可以隨時因應地形變化，變形成適合的型態行走。 無人探勘救災機器人一直是熱門的研究項目，如太空探勘車先行偵查行星地形，又或者救災機器人搜索崎嶇地形，都是需要機器人具有強大的探勘能力。因此，本研究搭載多軸式鏡頭即時回傳機器人四周無死角影像，隨時觀察機器人當前周邊環境；亦可以搭載多種感測元件，取得勘查地所處環境之各項感測器資料，並即時回傳，如GPS、溫度、濕度、氣體檢測…等，可針對所需不同的資料進行感測元件擴充；甚至可搭載夾爪達到排除障礙、現場樣本採樣及遠端操作搬運物件…等。 考慮探勘救災現場環境往往不適合人類行動，以及使用者操作上的方便性，因此，本研究設計一款APP，透過藍牙無線傳輸作通訊，讓使用者可簡單且方便的操作機器人，更不需進入有環境安全疑慮的現場。利用遠端操控機器人搭配多軸式鏡頭及感測元件，不僅採集資料不受固定範圍限制，甚至可以先行確認現場環境是否安全。

花式滑冰動作分析系統

冰上奇緣

本作品的發明人謝瑄同學曾經獲得國際滑冰總會(ISU, International Skating Union) 舉辦之 2014 ISU 亞洲花式滑冰錦標賽銅牌，我們結合了花式滑冰、影像辨識及人工智慧等跨領域的專長設計了此系統，提供給花式滑冰的選手與愛好者，進行滑冰訓練、競賽觀摩及動作檢討時使用。 本作品蒐集 2018 平昌冬奧及 2019 世錦賽擷取片段匯集成資料集，每部影片為一個單一跳躍動作。資料集涵蓋 Axel (阿克塞爾跳)、Loop (後外跳)、Flip (後內點冰跳)、Salchow (後內跳)、Toeloop (後外點冰跳)、Lutz (勾手跳) 六種不同種類的跳躍動作，各跳躍分為有失誤及無失誤。 本作品藉由肢體辨識與機器學習，將花式滑冰的跳躍動作影片輸入 OpenPose 產生肢體骨架並採用 LSTM (Long Short-Term Memory, 長短期記憶模型) ，以針對跳躍種類、空中轉體周數、是否失誤、起跳腳及起跳刀刃等跳躍動作進行分析，並依據分析結果自動產生跳躍細節的語音講解，最後使用 Python 製作使用者介面，整合 OpenPose 與 LSTM 至系統中，使用者可以在前端上傳花式滑冰影片至系統，並進行動作的分析。

具敵我辨識能力的追蹤及射擊系統

ZAWARUDO

隨著人工智慧與電腦視覺技術的進步和蓬勃發展，目前許多產業， 包括：金融業、製造業、醫療業、電商等，都已陸續導入 AI 相關技 術的應用。然而，我們發現員警、維安或保全人員卻鮮少能從這一 波人工智慧熱潮中受益。在文獻調查中發現：為了協助警務人員於 執行勤務過程中減少其生命所遭受的威脅或傷害，全美所有員警學 院遵循一項教條「21 英呎法則」。而所謂的 21 英呎法論述到：21 英 呎範圍是員警與嫌疑犯可保持的最短距離；而在此最短距離下，員 警才來得及拔槍、射擊與制伏嫌疑犯。因此，本專題致力發展一套 防衛設備，藉由此防衛設備來協助執法人員。更具體地說，本專題 製作之雙軸旋轉台搭載高解析度景深攝影機，並結合電腦視覺技 術，主動地尋找進入 21 英呎範圍之嫌疑犯，並偵測其肢體部位與距 離，即時地控制雙軸旋轉台進行瞄準與擊發防衛性武器(如空氣槍) 之扳機，以達到牽制目標嫌疑犯的目的。同時，本作品具備基於人 臉辨識之敵友辨別系統，能夠偵測進入拍攝範圍內之人物是否為敵 方或己方人員，以降低誤傷非相關人員或己方人員之風險。而輪型 機器人可以主動地跟隨嫌犯，或與嫌犯保持固定距離，避免遭到破 壞。透過這套軟硬體系統的實現，在面對持有打擊或戳刺型武器之 嫌疑犯；或遇到威脅性較高的嫌疑犯時，能擁有多一層防衛措施並 減少不必要的傷亡。

應用AI於歌仔戲教唱與身段系統

身騎白馬走三關

近數十年來，歌仔戲文化傳承嚴重流失，雖然政府和各個歌仔戲劇團多年來努力地到各地國中小學作校園推廣、廣開歌仔戲興趣班。 我們參考現今歌仔戲劇團到各機構的推廣方式，加入新興科技結合傳統「曲調歌唱」和「身段練習」，使用機器學習進行歌唱和身段的評分輔助教學或推廣，並架設在行動裝置上，人們可以在家使用。歌仔戲興趣班的學生回家能在沒有專業教師的指導下自主練習；在校園推廣時，這種遊戲式的推廣方式能讓年輕人接受與增加使用觸擊率。 我們使用攝像頭搭配螢幕串流鏡像，模擬出類似學員在有鏡子的舞蹈教室中練習身段和曲調演唱，螢幕實時顯示出：歌仔戲老師的指定動作圖像或影片&透過鏡頭拍攝學員練習時的姿態和Mediapipe辨識到的骨架。身段辨識系統會辨識骨架支點是否符合正確的身段姿勢，並會給予動作調整的建議。本互動系統在學員練習演唱時，透過麥克風收音後會將錄下的音訊經過曲調辨識系統進行辨識、評分，最後輸出相似度分書和音高、響度、音色的差異可視圖。興趣班學員在家中練習時，可以選擇身段和曲調同時練習，也可以選擇單純身段或曲調進行練習。我們選擇一般歌仔戲推廣中最常用的橋段：身騎白馬，是非常經典的歌仔戲中板七字調演唱，並且身段有使用到道具馬鞭，是很適合作為初學者練習和推廣的選擇；也有其他單個身段可供練習選擇。

視覺無人搬運自走車

GOGOROBOT

本團隊利用參與各大競賽所累積的經驗與能力，再透過AI視覺偵測，可以连接到Arduino、LattePanda、micro:bit等主流控制器，讓我們的程式技術能力能夠跨平台展示。作品為本團隊原創，市面上的搬運自走車通常是需要靠人工放置與搬移，本作品是透過車上的機械手臂與履帶裝置，可自動搜尋物體後並透過影像辨識定位，自動的將物品裝載至自走車上，移動過程中也可選擇遙控或是自主跟隨模式，而自主跟隨模式的程式設計是結合PID速度控制與機器學習技術，使自走車能夠識別臉部和物體，進而達成設定的任務 本系統目的將多項功能整合於自走車平台上， 並且可以因應實際狀況調整機器人車身結構: a.將模擬工廠內機器人視覺循跡結合QRcode條碼， 透過條碼取得物品要放置的位置。 b.利用機械手臂取物，再透過影像偵測將物品放置指定位置。 c.自走車行走過程有高低起伏、障礙、甚至是有人員走動，本作品會透過定速控制、障礙物偵測與閃避、緩加速緩減速等功能，讓自走車平台順利通過。 d.自走車有跟隨移動功能，透過影像辨識讓自走車可以跟隨工作人員，而工 作人員可以將雙手空出來應變或是確認路況安全，提供快速便利的搬運效率。

手勢識別同步控制仿生機械手指

晚餐要吃什麼呢

由於投入仿生類型的研究人員日益漸多，因此在研究初期有參考了許多市面上已出現過之機械式韌帶設計，目前常見的有氣壓式、齒輪式、線拉式及螺桿式。比較各類優缺點後，發現存在一個共同問題，在手指的結構上經常使用剛性固定結構，容易因為碰撞而造成損壞，因此本研究希望可減少因碰撞造成機械結構上損壞，因此研發柔性固定機構。 因要避免因為碰撞而造成機構損壞，手指控制採用類似人體肌肉拉伸的線拉式設計，並配合機構的角度設計使其進行自然彎曲，有著成本低、易維修等優點，在遇到碰撞時，也因此設計關節移動時有較大容錯率，可減少損壞機率。 本作品另一想法為傳統控制手指動作經常使用穿戴式輔具進行控制，但因為近年來資訊的發展，電腦性能的增強，可實現更多的功能，因此本作品將嘗試使用電腦視覺搭配深度學習，實現辨識手部關節點辨識，將空間中手部關節點辨識出來後，將動作同步至仿生機械手指，以此控制仿生機械手指動作。 為了瞭解機械手指設計的效果，將使用3D列印的方式將作品列印出來，經由組裝實際作動後，找出容易出問題的地方。比較了多種列印技術優缺點之後，本作品決定採用FDM熔融層積成型技術列印。FDM熔融層積成型技術是在將線狀的熱熔性材料加熱融化成絲狀後，同時在計算機的控制下移動三維噴頭，根據輪廓橫截面形狀，將熱熔後絲狀材料選擇性地噴塗在工作平檯上，快速冷卻後凝固成一層截面。成型一層後，工作平檯下降一層分層厚度後，再成型至下一層，直至成型整個實體造型。

AI影像辨識自動電阻分類機

你知道這是什麼嗎？

電阻器是電子電路領域中最常見的電子元件之一，可以說在每個電子實驗都能看見其蹤影，然而因受限於其體積大小的設計，導致只能以色碼環的形式標記電阻值。使用者需對照或事前背下顏色電阻值轉換表，並進行一些運算，才能使用；再加上各廠規格不一導致的些微色差、色碼環太小難以看清等問題，造成大多數人在識別電阻值時會耗費大量的眼力與時間，此外，對於色盲、色弱以及老花族群更是極度不友善。有鑑於此，我們決定製作一款既能令使用者免於耗時傷眼來識別電阻，又能邀請色弱及色盲的患者們一同踏入電子的領域中來集思廣益的機器。 本作品研究以機器學習為核心概念，使用TensorFlow和大量的電阻圖像，以此訓練出能成功分辨色碼電阻電阻值的AI模型，並以自行設計的3D列印機械結構，讓大量電阻能自動逐一輸入給攝影機進行電阻色碼辨識。當AI影像微處理機計算出電阻值後，會將數據傳給控制馬達的微處理機，微處理機便會依照電阻值讓下方相關的15顆伺服馬達自行轉動至剛好的角度，形成相對的通道，使電阻以二分法的形式從上方自行掉落，通道末端設置有儲存抽屜，以便下次需要使用時能直接拿取。以上設計希望能夠讓裝置有能力對電阻進行自動辨識、分類與儲存的功能，以達到讓所有的使用者皆可免於耗費眼力、時間來分辨和分類儲存電阻的目的。

金鯧智慧分魚養殖規劃系統

我不知道

現今臺灣養殖漁業快速發展，擁有優良的養殖技術，但養殖魚隻在出貨階段時依然使用人工的方式進行出貨，此方式需要大量培訓後的魚隻出貨人員才能順利完成出貨任務，導致出貨時養殖業者人力成本過高，若魚隻出貨時能以自動化、智慧化的方式進行出貨，不僅能改善魚隻出貨人力不足的問題，還能夠提高魚隻出貨的效率，除此之外，若能將魚隻出貨資訊數據化，業者就可推估當前這批出貨魚隻所帶來的經濟價值，也可讓業者對於養殖規劃有參考的依據。 本作品使用輸送帶為魚隻運送裝置，以影像辨識、數據分析等技術來取得魚隻測量資訊同時將測量結果上傳至雲端網頁，並以PLC裝置完成魚隻出貨分類任務，希望藉此來解決養殖業者在魚隻出貨時所遇到的問題。 在實際與養殖業者了解魚隻出貨情形後，得知魚隻的出貨方式一般是以人力進行分類出貨，出貨人員將魚隻放置於手中利用自身的經驗感覺魚隻的大小進行分類並完成出貨任務，此方式出貨人員需要接受長時間的訓練才可順利完成出貨任務，但目前臺灣養殖出貨人員有高齡化的趨勢，造成人力短缺情形發生。 對於養殖業者在魚隻出貨時所遇到的問題，本作品自行開發金鯧智慧養殖規劃系統，系統包含非侵入式魚隻資訊測量系統以及魚隻大小分類模組的分魚機與雲端網頁。非侵入式魚隻資訊測量系統使用影像辨識的方式快速取得金鯧魚隻的體長、體高與體重，並且依據自行設計之體重標準來制定分級規格，進而判斷出魚隻分級通道，魚隻資訊測量結果會進行魚隻總數與總重的累積計算，並將魚隻資訊即時上傳至雲端網頁，魚隻大小分類模組會根據魚隻分級通道結果進行實體大小分類，並可依照使用者需求送至指定的分類通道。

輪圈外觀自動化品質檢測

大家來找碴

隨著經濟的發展，外觀的良否成為消費者在購買意願的重要指標，也成為產品品質檢測的重要項目。在傳統輪圈的外觀檢測上，大多數依賴的是人工作業，因此，也常因為人為因素導致檢測誤判，因而研發輪圈外觀自動化檢測系統。針對輪圈產品表面可能產生的瑕疵，開發影像檢驗技術，並同時規劃自動化檢測流程。透過本系統檢測技術的創新，以利於不同規格之輪圈進行檢測，並藉由自動化的方式完成檢測。 在此作品中，藉由光度立方法之概念加以修改，本方法與光度立方法不同，光度立方法主要是將多向打光之影像所計算出法向量進行相加運算，雖然能夠有效將瑕疵影像區域凸顯出來，但對於反光與陰影等區塊適應性較低，容易產生誤判。利用二值化、光度立方法修正、影像對比以及影像增強等方式，最終完成瑕疵檢測。 首先，使用線性滑軌與Arduino Uno控制器所組成之滑動平台將待檢測區之輪圈送入暗房內部，阻擋外在的光線干擾，藉由機械手臂夾持影像與燈光裝置，通過多向打光技術，將取得之影像依Otsu演算法分別進行二值化處理，利用雙閥值二值化後之八張影像，能夠有效解決反光以及陰影等所帶來的誤判。通過多項打光結合機械手臂移動燈具，達成分區檢測之效果，最後能夠抓取瑕疵，匡列出瑕疵區域，並且輸出檢測瑕疵之影像於電腦。

久坐及多坐姿偵測智慧座椅系統

Siteam

長時間坐著是現代人最常見的狀態，而正確的坐姿是指背部挺直、肩膀向後拉，並保持頸部和頭部直立，同時將膝蓋彎曲成90度角，腳掌平放於地板上。根據臨床研究，長時間坐著會增加肥胖和代謝疾病的風險。不良的坐姿會影響頸部和胸部肌肉的活動，並導致肌肉骨骼疾病，如頸椎位置改變、肌肉和肌腱結締組織的疼痛。 針對上述長時間坐著，以及坐姿不良的問題，已有許多相關的研究，開發坐姿識別系統，以進行坐姿的分類。這些研究可以根據感測器的類型主要分為壓力感測器(force sensing resistor, FSR)、視覺感測器以及加速度感測器製成的智慧座椅系統。使用FSR的智慧座椅需要在感測的受力範圍與硬度之間作取捨，並且感測的方式通常是使用大型陣列感測器，加劇了處理資料上的複雜性和硬體的資源消耗。基於視覺影像分析的研究，如使用網路攝影機(webcam)和Microsoft Kinect，都會具有隱私外洩的風險。基於加速度感測器所開發的智慧座椅系統，如使用慣性測量單元(inertial measurement unit, IMU)，需將裝置直接黏貼於身上，會造成使用者的不適。並且，以往的研究可判斷的坐姿種類很少，也大多是使用電腦去達到坐姿的偵測，在使用上會有諸多不便。 因此，我們改善以往系統的問題，開發出一種使用2台深度相機(Onion Tau LiDAR Camera, Onion, Boston, MA, USA)的多坐姿偵測智慧座椅，可辨別7種背部姿勢和6種腳部姿勢，故總共可辨別多達42種坐姿。採用的深度相機是透過色塊去顯示深度的影像資料，具有不易辨識出物品真實樣貌的特性，可避免以往基於視覺影像的研究會拍攝出清晰的臉部及身體特徵，造成個人隱私外洩的問題。透過我們開發的手機應用程式，使用藍芽與智慧座椅上的樹莓派嵌入式板子(Raspberry Pi 4 Model B, Raspberry Pi Ltd., Cambridge, UK)連接，可將坐姿判斷結果即時傳送至使用者，以達到坐姿的即時偵測。並且在適當時機給予使用者回饋，使其維持良好坐姿，避免因高風險姿勢所帶來的不適及疾病。

無人支援

無人支援

家人在家跌倒暈倒怎麼辦？無人救援協助通報怎麼辦？本計畫致力於解決居家安全照護之議題，整合智慧手環、迷你空拍機、影像辨識、機器學習、深度學習等相關技術，提出一套『無人支援』之整合型居家人身安全偵測與通報系統方案。整套系統運作流程與情境為： （1）家人平日所使用的智慧手機，本系統使用感測器資料自動偵測家人是否發生跌倒的危急狀態。 （2）若發生危急狀態，空拍機即自動起飛，並自動定位飛至家人上空盤旋。 （3）空拍機拍攝家人影像，並透過辨識機制確認詳細的跌倒、骨折狀況。 （4）若是家人有持續移動位置，空拍機亦會自動跟拍目標家人。 （5）若是家人自覺有意識且無大礙，可雙手合力做叉手勢『X』，空拍機可辨識人身是安全狀態。並自動降落。 （6）若是系統辨識有危急狀態，則透過APP傳遞受傷家人影像與危急辨識資訊給其他家人。 本計畫主要的創新技術研發包含：人身危急狀態辨識模組、空拍機室內定位與迴避障礙物模組、空拍機自動跟拍模組、緊急通報模組。而本作品名稱的命名意境即為：無人協助時，無人機來支援，無人式支援系統。  實用功能描述 將空拍機當作居家照護的機械管家，同一個空間只須讓空拍機進行 一次自動掃描就可自動建立內部地圖，以便未來自動飛行所用，同時 透過穿戴式裝置，時時監測家庭成員的居家安全。 當配戴者跌倒時，空拍機將自動即時定位配戴者位置前往察看並同 時透過 APP 即時聯絡家庭成員或醫療消防單位等，家人可透過 APP 查 看回傳影像並使用空拍機內的麥克風與傷患溝通，判斷是否需要撥打 緊急連絡電話。 本系統整合空拍機鏡頭與自行研發之影像辨識系統，當傷患無法與 家庭成員透過麥克風溝通時，空拍機會自動飛到適當位置，並與傷患 保持一公尺的範圍進行盤旋與影像追蹤，當傷患移動時可自動調整距 離，將拍攝範圍最佳化，並且取得更清楚的影像以便家庭成員進行判 斷。 當傷患無法直接透過語言與空拍機進行溝通時，傷患可透過簡易手 勢來與空拍機溝通讓其進行相關指令。

具敵我辨識能力的追蹤及射擊系統

ZAWARUDO

隨著人工智慧與電腦視覺技術的進步和蓬勃發展，目前許多產業， 包括：金融業、製造業、醫療業、電商等，都已陸續導入 AI 相關技 術的應用。然而，我們發現員警、維安或保全人員卻鮮少能從這一 波人工智慧熱潮中受益。在文獻調查中發現：為了協助警務人員於 執行勤務過程中減少其生命所遭受的威脅或傷害，全美所有員警學 院遵循一項教條「21 英呎法則」。而所謂的 21 英呎法論述到：21 英 呎範圍是員警與嫌疑犯可保持的最短距離；而在此最短距離下，員 警才來得及拔槍、射擊與制伏嫌疑犯。因此，本專題致力發展一套 防衛設備，藉由此防衛設備來協助執法人員。更具體地說，本專題 製作之雙軸旋轉台搭載高解析度景深攝影機，並結合電腦視覺技 術，主動地尋找進入 21 英呎範圍之嫌疑犯，並偵測其肢體部位與距 離，即時地控制雙軸旋轉台進行瞄準與擊發防衛性武器(如空氣槍) 之扳機，以達到牽制目標嫌疑犯的目的。同時，本作品具備基於人 臉辨識之敵友辨別系統，能夠偵測進入拍攝範圍內之人物是否為敵 方或己方人員，以降低誤傷非相關人員或己方人員之風險。而輪型 機器人可以主動地跟隨嫌犯，或與嫌犯保持固定距離，避免遭到破 壞。透過這套軟硬體系統的實現，在面對持有打擊或戳刺型武器之 嫌疑犯；或遇到威脅性較高的嫌疑犯時，能擁有多一層防衛措施並 減少不必要的傷亡。