如何在QNAP NAS 上快速使用 Intel OpenVINO ?
如何在QNAP NAS 上快速使用 Intel OpenVINO ?
OpenVINO 是 Intel 推出針對 AI (inference) 的軟體工具，
Intel OpenVINO https://software.intel.com/en-us/openvino-toolkit
Develop applications and solutions that emulate human vision with the Intel® Distribution of OpenVINO™ toolkit.
Based on convolutional neural networks (CNN), the toolkit extends workloads across Intel® hardware (including accelerators) and maximizes performance.
Enables CNN-based deep learning inference at the edge Supports heterogeneous execution across computer vision accelerators—CPU, GPU, Intel® Movidius™ Neural Compute Stick, and FPGA—using a common API Speeds up time to market via a library of functions and preoptimized kernels Includes optimized calls for OpenCV and OpenVX*
相關新聞報導：英特爾推出OpenVINO開發工具包，布局電腦視覺深度學習應用
這次CES 2019，QNAP 也推出基於OpenVINO的軟體工具 - OWCT。
先來看看 CES 2019 新聞稿上的介紹
QNAP 以運算、網通及儲存方案創新者現身 CES 2019，一站式 AI 解決方案與邊緣運算 PoE 網路交換器新品競出
QNAP 更首次亮相OpenVINO Workflow Consolidation Tool應用程式，其採用了Intel OpenVINO開發工具包技術，可將訓練好的AI模型部署到目標平台上進行推論操作。現場將以一台安裝PCIe FPGA加速卡的TVS-872XT NAS實機展示QNAP NAS作為推論伺服器的影像辨識應用，展現QNAP協助企業組織快速建立專屬AI推論系統的實力。
QNAP 的 OpenVINO™ Workflow Consolidation Tool (簡稱OWCT) 為融合 OpenVINO™ 執行流程的協同工具。此應用程式採用 Intel® OpenVINO™ 開發工具包技術，專為深度學習應用打造，可將訓練好的 AI 模型部署到目標平台上進行推論操作，協助企業組織以經濟、效率的方式快速部署電腦視覺 (Computer Vision) 和深度學習解決方案。
目前這個qpkg 已經可以下載，TVS-872XT的下載中心可以看到是TVS-872XT是使用QTS 4.4.0
TVS-872XT的下載中心
https://www.qnap.com/zh-tw/download?model=tvs-872xt&category=firmware
而這個qpkg的下載可以從TVS-872XT對應的app center
https://www.qnap.com/zh-tw/app_center/?II=357
Intel x QNAP OpenVINO case study https://www.intel.com.tw/content/dam/www/public/apac/tw/zh/documents/solution-briefs/openvino-qnap-solution-brief.pdf
OpenVINO 是 Intel 推出針對 AI (inference) 的軟體工具，
Intel OpenVINO https://software.intel.com/en-us/openvino-toolkit
Develop applications and solutions that emulate human vision with the Intel® Distribution of OpenVINO™ toolkit.
Based on convolutional neural networks (CNN), the toolkit extends workloads across Intel® hardware (including accelerators) and maximizes performance.
Enables CNN-based deep learning inference at the edge Supports heterogeneous execution across computer vision accelerators—CPU, GPU, Intel® Movidius™ Neural Compute Stick, and FPGA—using a common API Speeds up time to market via a library of functions and preoptimized kernels Includes optimized calls for OpenCV and OpenVX*
相關新聞報導：英特爾推出OpenVINO開發工具包，布局電腦視覺深度學習應用
這次CES 2019，QNAP 也推出基於OpenVINO的軟體工具 - OWCT。
先來看看 CES 2019 新聞稿上的介紹
QNAP 以運算、網通及儲存方案創新者現身 CES 2019，一站式 AI 解決方案與邊緣運算 PoE 網路交換器新品競出
QNAP 更首次亮相OpenVINO Workflow Consolidation Tool應用程式，其採用了Intel OpenVINO開發工具包技術，可將訓練好的AI模型部署到目標平台上進行推論操作。現場將以一台安裝PCIe FPGA加速卡的TVS-872XT NAS實機展示QNAP NAS作為推論伺服器的影像辨識應用，展現QNAP協助企業組織快速建立專屬AI推論系統的實力。
QNAP 的 OpenVINO™ Workflow Consolidation Tool (簡稱OWCT) 為融合 OpenVINO™ 執行流程的協同工具。此應用程式採用 Intel® OpenVINO™ 開發工具包技術，專為深度學習應用打造，可將訓練好的 AI 模型部署到目標平台上進行推論操作，協助企業組織以經濟、效率的方式快速部署電腦視覺 (Computer Vision) 和深度學習解決方案。
目前這個qpkg 已經可以下載，TVS-872XT的下載中心可以看到是TVS-872XT是使用QTS 4.4.0
TVS-872XT的下載中心
https://www.qnap.com/zh-tw/download?model=tvs-872xt&category=firmware
https://www.qnap.com/zh-tw/app_center/?II=357
可以看到OWCT 還在Beta 實驗室：
裡面已經有打包OpenVINO，包含sample model。
以下來一一介紹：
首先是首頁Home，可以看到正中間可以顯示目前使用硬體例如CPU / IGD (integrated graphics) / FPGA 等 OpenVINO 支援的硬體狀態。
操作上主要由左上角的 + OpenVINO 來作為啟動
如圖所示可以選擇pre-trained好的 model
從圖中可以看到目前選擇的model，在Intel OpenVINO網站上也有做介紹：
Pre-trained models
(補一篇SSD普及文 SSD: Single Shot MultiBox Detector 介紹)
選完就可以會到前一頁選擇 Inference event
點擊進去會看到 這個project頁面，目前為空，需要從右邊按upload 會打開 /share/OpenVINO 這個目錄，所以可以先把影片放在這裡。
在右下角會產生 inference 結果，主要呈現是 .db 檔案 會先存在NAS，要用File Station 來做下載
可以用SQLite DB browser打開，結果如下：
這樣就可以呈現結果。
前面也有提到也可以上傳自己的model 如TensorFlow / Caffe
可以看Intel OpenVINO教學文：
其中在TensorFlow 章節有一個特別的地方：--reverse_input_channels
Inference Engine samples load input images in BGR channels order. But the model may be trained on images loaded with the RGB channels order. In this case, inference results using the Inference Engine samples will be incorrect. The solution is to provide --reverse_input_channels command-line parameter. Then the Model Optimizer performs first convolution or other channel dependent operation weights modification so these operations output will be like the image is passed with RGB channels order.
針對OWCT的使用上，主要是可以在Settings -> Arguments 加上參數
--reverse_input_channels
QNAP 官方詳細介紹教學文：
OWCT Tutorial https://www.qnap.com/en/how-to/tutorial/article/openvino-workflow-consolidation-tool-tutorial
相關介紹影片：加速影像 AI 推論流程 - OpenVINO™ 工作流整合工具解析
投影片請至：
其他OpenVINO資源
- OpenVINO Toolkit下載位置 https://software.seek.intel.com/openvino-toolkit
- Installation Steps https://software.intel.com/en-us/articles/OpenVINO-Install-Linux
- Inference Engine Developer Guide https://software.intel.com/en-us/articles/OpenVINO-InferEngine
- OpenVINO Toolkit提供的 Code Samples https://software.intel.com/en-us/openvino-toolkit/documentation/code-samples
Intel x QNAP OpenVINO case study https://www.intel.com.tw/content/dam/www/public/apac/tw/zh/documents/solution-briefs/openvino-qnap-solution-brief.pdf
留言
張貼留言
歡迎留言一起討論