DIGITIMES Research：邊緣推論硬體市場破碎化 處理器與雲端業者投入端到端軟體方案以擴大領先優勢

DIGITIMES Research表示，5G、AI及IoT等技術與應用持續擴展，邊緣推論市場面臨爆發性成長，然多元的邊緣應用情境雖為不同硬體方案帶來機會，也同時造成市場破碎化，為掌握競爭逐漸白熱化的邊緣推論商機，處理器及雲端平台業者如NVIDIA、英特爾(Intel)及Google皆投入端到端的邊緣推論軟體方案如TessorRT、OpenVINO及TensorFlow Lite，以維持各自的競爭優勢。

近年來，由於人工智慧及5G相關技術快速演進，加上雲端與IoT的基礎架構不斷完善，不論是個人、家庭等使用的消費性裝置，或是製造、醫療及安防等垂直領域，都在積極進行數位轉型及創新智慧應用。DIGITIMES Research分析師蕭聖倫指出，達成此目標的關鍵能力之一，是如何快速並有效的將人工智慧落地到各式各樣的邊緣裝置上。

然而，邊緣應用導入人工智慧推論面臨許多挑戰。首先，深度學習演算法不斷推陳出新，對計算能力的要求也越來越高，然邊緣運算裝置資源有限，人工智慧推論能力遠不如雲端運算。此外，不同邊緣應用情境對性能(performance)及效率(efficiency)的要求不同，連帶影響業者對推論硬體(主要是NVIDIA、ARM、英特爾、高通、華為等業者)的設計思維，也造成今日硬體市場的破碎化。

欲主導邊緣推論發展，須掌握訓練後模型(trained model)、推論硬體及推論軟體工具等三大關鍵要素，其中，主導訓練模型發展的深度學習訓練框架(deep learning training framework)發展已進入成熟階段；邊緣推論硬體市場則極為破碎，不同處理器雖帶來更大的應用彈性，但因異構優化方式不同，也為訓練後模型在邊緣裝置的部署帶來重大挑戰。

至於推論軟體工具，業者漸漸了解，要確保邊緣推論的最終效果，必須掌握從訓練後模型到可執行推論產品間的種種環節，於是能接收訓練後模型，對模型進行最佳化，並將模型部署到邊緣設備上的完整端到端(end to end)邊緣推論軟體方案漸成市場共識。