| 作品介紹 |
本作品建置一套以RGB-T雙光譜影像為核心的多模態自走式巡檢機器人系統。系統整合自製雙光譜鏡頭、距離與深度量測，以及邊緣運算平台 NVIDIA Jetson Orin Nano Super，在裝置端完成影像理解、體溫量測、行為辨識、自主導航與即時通報，並提供瀏覽器式監控與LINE Bot事件通知。針對現場巡邏長期仰賴人力、固定監視器在低光與逆光及強反射下易失效且存在死角、溫度量測受環境與距離影響不易準確等痛點，系統特別強化對光線攻擊情境的韌性，例如手電筒直射、玻璃反光與燈具過曝，目標是在嚴苛光照與動態環境中，長時間維持穩定識別並能即時完成從偵測到通報的閉環。
方法部分，首先自製雙光譜鏡頭同步擷取可見光與熱影像，先行完成空間對位校準與時間、幀同步。而熱影像再經非均勻性與基準溫度校正，結合距離與視角資訊實施自動溫度補償，以抑制漂移與環境干擾。對齊後的雙模態影像輸入自改良型Pi-fast模型進行目標偵測，並以姿態估計擷取骨架關鍵點，形成人員與設備邊界、像素級溫度圖與骨架序列等特徵識別輸出。系統依據這些特徵與決策規則判定跌倒、肢體衝突與奔跑等行為，以及人體發燒與設備過熱等溫度異常。導航層整合超音波與光達建立環境模型以進行路徑規劃與動態避障，遇到高風險區域時可自動減速、停留或改道。事件成立後，端側立即觸發語音或聲光提示並由LINE推送告警，所有影像與遙測以標準化格式在端側落盤，以供歷史查詢與稽核。在校園走廊、實驗室與半開放空間的實測顯示，系統於夜間、逆光、強反射與局部煙霧等情境，可透過熱像儀特徵補強，而能穩定完成人員與設備偵測、姿態解析與體表或部件溫度量測。對於跌倒、衝突與可疑徘徊，可即時標註位置並完成通報。對於發燒人員與過熱機台，能提供可追溯的量測曲線與影像證據。整體巡檢流程由人工巡視提升為自動化任務，異常處置時效與覆蓋率明顯改善，且系統可不中斷長時間穩定運行任務。
綜合上述，本研究提出一個可落地的多模態巡檢機器人，以RGB-T為核心並以邊緣嵌入式系統進行即時推論，對光照極端變化與光線攻擊具經驗證的魯棒性，同時具備自動化巡檢、精準溫度量測與可追溯通報等作業能力。未來可銜接安全監控與企業資訊系統擴大營運場景，並依需求掛載協作手臂以支援輕量操作。在資料治理上持續累積去識別化樣本以支持模型迭代與跨場域擴張，進一步拓展至智慧工廠、人群分析、服務型與看護型機器人等應用。 |