目錄
前言
1 認識AI晶元
1.1 AI晶元概述
1.2 AI晶元分類
1.2.1 傳統中央微處理器——MPU
1.2.2 通用晶元——GPU
1.2.3 半定製化晶元——FPGA
1.3 AI晶元開發的通用流程
1.3.1 選擇AI晶元開發平台
1.3.2 數據預處理
1.3.3 模型訓練與模型的輕量化
1.3.4 框架選擇與模型推理
1.3.5 晶元環境配置與模型部署
1.4 AI晶元常用功能加速模塊
1.4.1 功能加速模塊概述
1.4.2 視覺處理加速器——VPAC
1.4.3 深度和運動感知加速器——DMPAC
1.4.4 深度學習加速器——DLA
1.4.5 視覺加速器——PVA
1.5 本章小結
1.6 本章習題
2 AI晶元開發平台
2.1 AI晶元硬體平台的分類
2.1.1 同構AI晶元硬體平台
2.1.2 異構AI晶元硬體平台
2.2 AI晶元開發平台的常用外設
2.2.1 網路設備
2.2.2 顯示模塊和攝像頭模塊
2.2.3 模數轉換器模塊ADC
2.2.4 通用輸入/輸出模塊GPIO
2.2.5 IIC控制器
2.3 本章小結
2.4 本章習題
3 數據預處理
3.1 深度學習數據預處理概述
3.2 常用的數據預處理方法
3.2.1 零均值化（中心化）
3.2.2 歸一化（標準化）
3.2.3 主成分分析（PCA）
3.2.4 白化（Whitening）
3.3 視頻數據預處理——基於GStreamer
3.3.1 GStreamer概述
3.3.2 GStreamer工具
3.3.3 GStreamer的使用方法
3.3.4 編寫GStreamer的插件
3.4 本章小結
3.5 本章習題
4 AI晶元應用開發框架
4.1 AI晶元應用開發框架概述
4.2 常用的AI晶元應用開發框架
4.2.1 基於NVIDIA的開發框架TensorRT
4.2.2 Google Research的開發框架MediaPipe
4.2.3 英特爾的開發框架OpenVINO
4.2.4 針對手機端的開發框架NCNN
4.3 開發框架應用示例：車牌識別
4.3.1 數據集
4.3.2 車牌區域檢測
4.3.3 車牌識別演算法
4.3.4 模型訓練
4.3.5 模型部署
4.4 本章小結
4.5 本章習題
5 AI晶元常用模型的訓練與輕量化
5.1 常用的網路模型
5.1.1 深度神經網路（DNN）
5.1.2 卷積神經網路（CNN）
5.1.3 殘差網路（ResNet）
5.1.4 生成對抗網路（GAN）
5.1.5 循環神經網路（RNN）
5.1.6 長短記憶網路（LSTM）
5.1.7 Transformer
5.1.8 大語言模型GPT
5.2 常用的模型學習類型
5.2.1 監督學習
5.2.2 半監督學習
5.2.3 無監督學習
5.2.4 強化學習
5.3 模型的輕量化方法
5.3.1 模型輕量化的概念與作用
5.3.2 基於結構優化的輕量化方法
5.3.3 基於參數量化的輕量化方法
5.3.4 基於網路剪枝的輕量化方法
5.3.5 基於知識蒸餾技術的輕量化方法
5.4 輕量化模型設計實例：YOLO?Fire目標檢測演算法
5.4.1 YOLO?Fire檢測演算法設計
5.4.2 網路整體結構
5.4.3 基於相關性的損失函數
5.4.4 模型訓練
5.4.5 實驗過程與結果
5.5 本章小結
5.6 本章習題
6 模型的推理框架——ONNX Runtime
6.1 ONNX Runtime概述
6.2 ONNX Runtime推理流程
6.2.1 安裝環境
6.2.2 訓練模型
6.2.3 將模型轉換導出為ONNX格式
6.2.4 使用ONNX Runtime載入運行模型
6.3 ONNX格式轉換工具
6.3.1 MXNet轉換成ONNX
6.3.2 TensorFlow轉換成ONNX
6.3.3 PyTorch轉換成ONNX
6.4 ONNX Runtime示例：邏輯回歸演算法（基於scikit?learn的實現）
6.4.1 ONNX Runtime模型運行過程
6.4.2 訓練模型
6.4.3 將模型轉換導出為ONNX格式
6.4.4 使用ONNX Runtime載入運行模型
6.4.5 ONNX Runtime中實現邏輯回歸演算法實例
6.5 本章小結
6.6 本章習題
7 FPGA類AI晶元的開發實踐
7.1 開發工具Vitis AI概述
7.2 Vitis AI的常用參數化IP核
7.2.1 DPUCZDX8G概述
7.2.2 高性能通用CNN處理引擎DPUCVDX8G
7.2.3 高吞吐量通用CNN處理引擎DPUCVDX8H
7.2.4 包含最優化的深度學習模型的Vitis AI Model Zoo
7.3 Vitis AI開發工具包
7.3.1 Vitis AI量化器
7.3.2 Vitis AI優化器
7.3.3 Vitis AI編譯器
7.3.4 Vitis AI Profiler（分析器）
7.3.5 Vitis AI庫
7.4 Vitis AI應用開發示例：應用Zynq監測道路裂縫
7.5 本章小結
7.6 本章習題
8 同構智能晶元平台應用開發實踐
8.1 Jetson Nano開發者套件簡介
8.2 使用前的準備
8.2.1 安裝風扇
8.2.2 安裝無線網卡
8.2.3 安裝攝像頭
8.2.4 配置系統
8.3 開發實踐：行人識別
8.3.1 模型訓練
8.3.2 實驗環境
8.3.3 行人檢測功能測試
8.4 本章小結
8.5 本章習題
9 異構智能晶元平台應用開發實踐
9.1 多核晶元的核間通信機制
9.1.1 IPC概述
9.1.2 IPC在多核中的實現原理
9.1.3 核間通信協議
9.1.4 多核間的介面定義以及示例代碼
9.2 TDA4VM?SK平台簡介
9.3 SDK開發軟體簡介
9.3.1 PSDK Linux軟體包簡介
9.3.2 PSDK RTOS軟體包簡介
9.4 使用前的準備
9.4.1 TDA4VM?SK板SD卡燒錄
9.4.2 TDA4VM?SK板網路調試方�
[