世界領先開放原始碼軟體解決方案供應商 Red Hat 日前宣布與日本電信電話公司（NTT）、NVIDIA 與富士通（Fujitsu）合作，作為創新全光和無線網路（Innovative Optical and Wireless Network，IOWN）計劃的一部份，共同開發出一套增強與擴大即時人工智慧（AI）邊緣數據分析潛力的解決方案。
隨著 AI、感測技術與網路創新不斷加速，尤其是資料來源幾乎每天都在擴張的情況下，使用 AI 分析來評估與分診（triage）從網路邊緣輸入的資料將變得至關重要。然而，大規模地以 AI 進行分析既緩慢又複雜，且可能因引入新的 AI 模型與額外硬體而導致更高的維修成本與軟體維護費用。隨著偏遠地點的邊緣運算功能逐漸崛起，AI 分析可設置於更靠近感測器的位置，進而減少延遲並提高頻寬。
該解決方案包含 IOWN 全光網路（All-Photonics Network，APN）以及 IOWN 以資料為中心之基礎設施（Data-Centric Infrastructure，DCI）的資料管道（data pipeline）加速技術。NTT 的 AI 加速資料管道採用 APN 之遠端直接記憶體存取功能（Remote Direct Memory Access，RDMA），在邊緣高效收集並處理大量感測器資料。Red Hat OpenShift 的容器調度技術提供了更大的靈活性，能夠在跨地理分佈之遠端資料中心的加速資料管道內操作工作負載。NTT 與 Red Hat 已成功證明該解決方案在邊緣保持即時 AI 分析低延遲的同時，能夠有效降低能耗。
概念驗證評估了即時 AI 分析平台，以日本的橫須賀市作為感測器安裝基地、武藏野市作為遠端資料中心，兩地則藉由 APN 連接；結果指出，即使搭載大量攝影機，整合感測器資料進行 AI 分析所需的延遲時間依然較傳統 AI 推論工作負載少了 60%。此外，IOWN 的概念驗證測試顯示，每個在邊緣的攝影機進行 AI 分析所需的能耗與傳統技術相比，可以降低 40%。此即時 AI 分析平台允許 GPU 擴充以容納更多攝影機，而不讓 CPU 成為瓶頸。根據試算，搭載 1,000 個攝影機，預計能進一步降低 60% 的能耗。此解決方案的概念驗證亮點如下：
- NTT 提供的 AI 推論加速資料管道可運用遠端直接記憶體存取功能，在 APN 直接從當地位置獲取大規模感測器資料，並傳送到遠端資料中心加速器的記憶體中，進而降低傳統網路中協定處理的額外負擔。接著在加速器內完成 AI 推論的資料處理，以較少 CPU 控制的額外負擔，提高 AI 推論的能耗效率。
- Red Hat OpenShift 支援的大規模 AI 資料即時分析可以協助 Kubernetes 營運商簡化以硬體為基礎之加速器（例如 GPU、DPU 等）的複雜性，從而提升靈活性，並且更易於在分散的環境（包括遠端資料中心）進行部署。
- 此概念驗證採用 NVIDIA A100 Tensor Core GPU 與 NVIDIA ConnectX-6 NIC 進行 AI 推論。
該解決方案有助於為 AI 賦能的智慧技術奠定基礎，進而協助企業持續地擴大規模。透過此解決方案，企業可受益於：
- 減少因收集大量資料所產生的營運費用；
- 強化能在都會區及偏遠資料中心之間共享以加速 AI 分析的資料收集；
- 使用當地既有及潛在的再生能源之能力，例如太陽能或風力；
- 以攝影機作為感測裝置提升區域管理安全性。
留言列表
