Page 11 - 智慧邊緣運算實現更環保、更安全與高效的社會

視覺的模型，降低了完全(或幾乎 完全)使用機器學習以滿足機器視 覺用例需求的障礙。
• 影像和影像處理，從Linux核 心驅動程式到實際標準媒體 流框架GStreamer。這些軟 體元件支援本地和遠端攝影 機擷取、本地和遠端視訊流 和圖片呈現，以及經硬體加 速的單張圖片處理(縮放、旋 轉和色彩空間轉換);
圖4:邊緣設備優化的機器學習流水線。
SPOTLIGHT
9
首先必須選擇一個功能強大 的邊緣SoC，可在此應用中實現機 器學習處理，該SoC擁有實現複雜 的基於機器學習的視覺用例所需 的所有硬體元素。
軟體必須支援硬體元件。圖5 顯示了一個邊緣設備軟體架構示 例，可支援優化的邊緣機器學習， 該軟體包括:
•對主要深度學習 框架(TensorFlow Lite、ONNX、ArmNN和 Glow)進行適配和優化，以便 在SoC的NPU、GPU和DSP上 高效運作;
圖5:NXP eIQ ML開發環境支持優化的邊緣機器學習。
• GStreamer外掛程式提供不 受供應商限制的神經網路整 合框架，可簡化機器視覺用例 中涉及的不同硬體和軟體元 件的整合和連接。該框架(即 NNStreamer)是一項開源技 術，支援主要的機器學習框架 (TensorFlow Lite、ArmNN 和Caffe2);
網路模型建構媒體流的方 法。GStreamer使用者可以 應用神經網路模型，就好像 這些模型只是另一個媒體篩 檢程式一樣。神經網路開發 人員可以輕鬆高效地管理媒 體 流; 整個管道的即時性能剖析 (CPU、GPU、NPU、DSP和記 憶體剖析); 透過在單個SoC上進行機器
學習演算法的並行處理，可以 進一步擴展這一概念。 總之，在邊緣執行機器學習需
• 基於媒體框架的事實標準 GStreamer，利用神經
• •
要瞭解可用的運算和記憶體資源， 它還需要修改機器學習模型和處 理流程，以適應資源狀況。在邊緣 運做機器學習也會帶來許多優勢， 例如改善隱私、減少或不依賴網路 連接、降低功耗以及能夠做出即時 低延遲決策。
(本文由NXP提供)
2022年5月 | www.eettaiwan.com