深度學習系統設計(理論與實踐)

作者：人工智慧系統小組|責編:梁偉//韓飛
出版社：機械工業
ISBN：9787111759362

出版日期：2024/10/01
裝幀：平裝
頁數：479

人民幣：RMB 149 元售價：元

內容大鋼

近年來人工智慧特別是深度學習技術得到了飛速發展，這背後離不開電腦硬體和軟體系統的不斷進步。在可見的未來，人工智慧技術的發展仍將依賴於電腦系統和人工智慧相結合的共同創新模式。本書介紹了前沿的系統和人工智慧相結合的研究工作，包括AI for Systems和Systems for AI，以幫助讀者更好地尋找和定義有意義的研究問題。同時，本書從系統研究的角度出發設計實驗課程，通過操作和應用主流及最新的框架、平台和工具來鼓勵讀者動手實現和優化系統模塊，以提高解決實際問題的能力，而不僅僅是了解工具使用。
本書主要面向相關領域的本科生、研究生、教師、工程師和研究員，幫助他們完整地了解支持深度學習的電腦系統架構，並通過解決實際問題來學習深度學習完整生命周期下的系統設計。

作者介紹

人工智慧系統小組|責編:梁偉//韓飛

推薦序一
推薦序二
推薦序三
前言
致謝
第1章  人工智慧系統概述
  本章簡介
  內容概覽
  1.1  深度學習的歷史、現狀與發展
    1.1.1  深度學習的廣泛應用
    1.1.2  深度學習方法
    1.1.3  神經網路基本理論的奠定
    1.1.4  深度學習演算法、模型的現狀和趨勢
    1.1.5  小結與討論
    1.1.6  參考文獻
  1.2  演算法、框架、體系結構與算力的進步
    1.2.1  大數據和分散式系統
    1.2.2  深度學習演算法的進步
    1.2.3  電腦體系結構和計算能力的進步
    1.2.4  計算框架的進步
    1.2.5  小結與討論
    1.2.6  參考文獻
  1.3  深度學習系統的組成與生態
    1.3.1  深度學習系統的設計目標
    1.3.2  深度學習系統的大致組成
    1.3.3  深度學習系統的生態
    1.3.4  小結與討論
    1.3.5  參考文獻
  1.4  深度學習樣例背後的系統問題
    1.4.1  一個深度學習樣例與其中的系統問題
    1.4.2  模型運算元實現中的系統問題
    1.4.3  框架執行深度學習模型的生命周期
    1.4.4  更廣泛的人工智慧系統生態
    1.4.5  深度學習框架及工具入門實驗
    1.4.6  小結與討論
    1.4.7  參考文獻
  1.5  影響深度學習系統設計的理論、原則與假設
    1.5.1  抽象層次化表示與解釋
    1.5.2  摩爾定律與算力發展趨勢
    1.5.3  局部性原則與內存層次結構
    1.5.4  線性代數計算與模型缺陷容忍特性
    1.5.5  並行加速與阿姆達爾定律優化上限
    1.5.6  冗余與可靠性
    1.5.7  小結與討論
    1.5.8  參考文獻
第2章  神經網路基礎
  本章簡介
  內容概覽
  2.1  神經網路的基本概念
    2.1.1  神經元的數學模型

    2.1.2  神經網路的主要功能
    2.1.3  激活函數
    2.1.4  小結與討論
  2.2  神經網路訓練
    2.2.1  基本訓練流程
    2.2.2  損失函數
    2.2.3  梯度下降
    2.2.4  反向傳播
    2.2.5  小結與討論
  2.3  解決回歸問題
    2.3.1  提出問題
    2.3.2  萬能近似定理
    2.3.3  定義神經網路結構
    2.3.4  前向計算
    2.3.5  反向傳播
    2.3.6  運行結果
    2.3.7  小結與討論
  2.4  解決分類問題
    2.4.1  提出問題
    2.4.2  定義神經網路結構
    2.4.3  前向計算
    2.4.4  反向傳播
    2.4.5  運行結果
    2.4.6  小結與討論
  2.5  深度神經網路
    2.5.1  抽象與設計
    2.5.2  權重矩陣初始化
    2.5.3  批量歸一化
    2.5.4  過擬合
    2.5.5  小結與討論
  2.6  梯度下降優化演算法
    2.6.1  隨機梯度下降演算法
    2.6.2  動量演算法
    2.6.3  Adam演算法
    2.6.4  小結與討論
  2.7  卷積神經網路
    2.7.1  卷積神經網路的能力
    2.7.2  卷積神經網路的典型結構
    2.7.3  卷積核的作用
    2.7.4  卷積後續的運算
    2.7.5  卷積神經網路的特性
    2.7.6  卷積類型
    2.7.7  小結與討論
  2.8  循環神經網路
    2.8.1  循環神經網路的發展簡史
    2.8.2  循環神經網路的結構和典型用途
    2.8.3  小結與討論
  2.9  Transformer模型
    2.9.1  序列到序列模型
    2.9.2  注意力機制

    2.9.3  Transformer
    2.9.4  小結與討論
第3章  深度學習框架基礎
  本章簡介
  內容概覽
  3.1  基於數據流圖的深度學習框架
    3.1.1  深度學習框架發展概述
    3.1.2  編程範式：聲明式和命令式
    3.1.3  數據流圖
    3.1.4  張量和張量操作
    3.1.5  自動微分基礎
    3.1.6  數據流圖上的自動微分
    3.1.7  數據流圖的調度與執行
    3.1.8  單設備運算元間調度
    3.1.9  圖切分與多設備執行
    3.1.10  小結與討論
    3.1.11  參考文獻
  3.2  神經網路計算中的控制流
    3.2.1  背景
    3.2.2  靜態圖：向數據流圖中添加控制流原語
    3.2.3  動態圖：復用宿主語言控制流語句
    3.2.4  動態圖轉換為靜態圖
    3.2.5  小結與討論
    3.2.6  參考文獻
第4章  矩陣運算與電腦體系結構
  本章簡介
  內容概覽
  4.1  深度學習的歷史、現狀與發展
    4.1.1  全連接層
    4.1.2  卷積層
    4.1.3  循環網路層
    4.1.4  注意力機制層
    4.1.5  小結與討論
    4.1.6  參考文獻
  4.2  電腦體系結構與矩陣運算
    4.2.1  CPU體系結構
    4.2.2  CPU實現高效計算矩陣乘
    4.2.3  在CPU上實現一個矩陣乘法運算元實驗
    4.2.4  小結與討論
  4.3  GPU體系結構與矩陣運算
    4.3.1  GPU體系結構
    4.3.2  GPU編程模型
    4.3.3  GPU實現一個簡單的計算
    4.3.4  在GPU上實現一個矩陣乘法運算元實驗
    4.3.5  小結與討論
  4.4  面向深度學習的專有硬體加速器與矩陣運算
    4.4.1  深度學習計算的特點與硬體優化方向
    4.4.2  脈動陣列與矩陣計算
    4.4.3  小結與討論
第5章  深度學習的編譯與優化

  本章簡介
  內容概覽
  5.1  深度神經網路編譯器
    5.1.1  前端
    5.1.2  後端
    5.1.3  中間表達
    5.1.4  優化過程
    5.1.5  小結與討論
  5.2  計算圖優化
    5.2.1  算術表達式化簡
    5.2.2  公共子表達式消除
    5.2.3  常數傳播
    5.2.4  矩陣乘自動融合
    5.2.5  運算元融合
    5.2.6  子圖替換和隨機子圖替換
    5.2.7  小結與討論
  5.3  內存優化
    5.3.1  基於拓撲序的最小內存分配
    5.3.2  張量換入換出
    5.3.3  張量重計算
    5.3.4  小結與討論
    5.3.5  參考文獻
  5.4  內核優化與生成
    5.4.1  運算元表達式
    5.4.2  運算元表示與調度邏輯的分離
    5.4.3  自動調度搜索與代碼生成
    5.4.4  白盒代碼生成
    5.4.5  小結與討論
    5.4.6  參考文獻
  5.5  跨運算元的全局調度優化
    5.5.1  任意運算元的融合
    5.5.2  編譯時全局運算元調度
    5.5.3  小結與討論
    5.5.4  參考文獻
第6章  分散式訓練演算法與系統
  本章簡介
  內容概覽
  6.1  分散式深度學習計算簡介
    6.1.1  串列計算到並行計算的演進
    6.1.2  並行計算加速定律
    6.1.3  深度學習的並行化訓練
    6.1.4  小結與討論
    6.1.5  參考文獻
  6.2  分散式訓練演算法分類
    6.2.1  數據並行
    6.2.2  模型並行
    6.2.3  流水並行
    6.2.4  並行方式的對比分析
    6.2.5  小結與討論
    6.2.6  參考文獻

  6.3  深度學習並行訓練同步方式
    6.3.1  同步並行
    6.3.2  非同步並行
    6.3.3  半同步並行
    6.3.4  小結與討論
    6.3.5  參考文獻
  6.4  分散式深度學習訓練系統簡介
    6.4.1  基於數據流圖的深度學習框架中的分散式支持
    6.4.2  PyTorch中的分散式支持
    6.4.3  通用的數據並行系統Horovod
    6.4.4  分散式訓練任務實驗
    6.4.5  小結與討論
    6.4.6  參考文獻
  6.5  分散式訓練的通信協調
    6.5.1  通信協調的硬體
    6.5.2  通信協調的軟體
    6.5.3  AllReduce的實現和優化實驗
    6.5.4  小結與討論
    6.5.5  參考文獻
第7章  異構計算集群調度與資源管理系統
  本章簡介
  內容概覽
  7.1  異構計算集群管理系統簡介
    7.1.1  多租環境運行的訓練作業
    7.1.2  作業生命周期
    7.1.3  集群管理系統架構
    7.1.4  小結與討論
    7.1.5  參考文獻
  7.2  訓練作業、鏡像與容器
    7.2.1  深度學習作業
    7.2.2  環境依賴：鏡像
    7.2.3  運行時資源隔離：容器
    7.2.4  從操作系統視角看GPU技術棧
    7.2.5  人工智慧作業開發體驗
    7.2.6  小結與討論
    7.2.7  參考文獻
  7.3  調度
    7.3.1  調度問題優化目標
    7.3.2  單作業調度——群調度
    7.3.3  作業間調度——主導資源公平DRF調度
    7.3.4  組間作業調度——容量調度
    7.3.5  虛擬集群機制
    7.3.6  搶佔式調度
    7.3.7  深度學習調度演算法實驗與模擬研究
    7.3.8  小結與討論
    7.3.9  參考文獻
  7.4  面向深度學習的集群管理系統
    7.4.1  深度學習工作負載的需求
    7.4.2  異構硬體的多樣性
    7.4.3  深度學習平台的管理與運維需求

    7.4.4  深度學習負載與異構硬體下的調度設計
    7.4.5  開源和雲異構集群管理系統簡介
    7.4.6  部署異構資源集群管理系統實驗
    7.4.7  小結與討論
    7.4.8  參考文獻
  7.5  存儲
    7.5.1  沿用大數據平台存儲路線
    7.5.2  沿用高性能計算平台存儲路線
    7.5.3  面向深度學習的存儲
    7.5.4  小結與討論
    7.5.5  參考文獻
  7.6  開發與運維
    7.6.1  平台功能模塊與敏捷開發
    7.6.2  監控體系構建
    7.6.3  測試
    7.6.4  平台DevOps
    7.6.5  平台運維
    7.6.6  小結與討論
    7.6.7  參考文獻
第8章  深度學習推理系統
  本章簡介
  內容概覽
  8.1  推理系統簡介
    8.1.1  對比推理與訓練過程
    8.1.2  推理系統的優化目標與約束
    8.1.3  小結與討論
    8.1.4  參考文獻
  8.2  模型推理的離線優化
    8.2.1  通過程序理解推理優化動機
    8.2.2  推理延遲
    8.2.3  層間與張量融合
    8.2.4  目標後端自動調優
    8.2.5  模型壓縮
    8.2.6  低精度推理
    8.2.7  小結與討論
    8.2.8  參考文獻
  8.3  部署
    8.3.1  可靠性和可擴展性
    8.3.2  部署靈活性
    8.3.3  模型轉換與開放協議
    8.3.4  移動端部署
    8.3.5  推理系統簡介
    8.3.6  配置鏡像與容器進行雲上訓練、推理與壓測實驗
    8.3.7  小結與討論
    8.3.8  參考文獻
  8.4  推理系統的運行期優化
    8.4.1  推理系統的吞吐量
    8.4.2  加速器模型併發執行
    8.4.3  動態批尺寸
    8.4.4  多模型裝箱

    8.4.5  內存分配策略調優
    8.4.6  深度學習模型內存分配演算法實驗與模擬研究
    8.4.7  小結與討論
    8.4.8  參考文獻
  8.5  開發、訓練與部署的全生命周期管理——MLOps
    8.5.1  MLOps的生命周期
    8.5.2  MLOps工具鏈
    8.5.3  線上發布與回滾策略
    8.5.4  MLOps的持續集成與持續交付
    8.5.5  MLOps工具與服務
    8.5.6  小結與討論
    8.5.7  參考文獻
  8.6  推理專有晶元
    8.6.1  推理晶元架構對比
    8.6.2  神經網路推理晶元的動機和由來
    8.6.3  數據中心推理晶元
    8.6.4  邊緣推理晶元
    8.6.5  晶元模擬器
    8.6.6  小結與討論
    8.6.7  參考文獻
第9章  自動機器學習系統
  本章簡介
  內容概覽
  9.1  自動機器學習
    9.1.1  超參數優化
    9.1.2  神經網路結構搜索
    9.1.3  小結與討論
    9.1.4  參考文獻
  9.2  自動機器學習系統與工具
    9.2.1  自動機器學習系統與工具概述
    9.2.2  探索式訓練過程
    9.2.3  自動機器學習編程範式
    9.2.4  自動機器學習系統優化前沿
    9.2.5  自動機器學習工具概述與實例分析
    9.2.6  自動機器學習系統實驗
    9.2.7  小結與討論
    9.2.8  參考文獻
第10章  強化學習系統
  本章簡介
  內容概覽
  10.1  強化學習概述
    10.1.1  強化學習的定義
    10.1.2  強化學習的基本概念
    10.1.3  強化學習的作用
    10.1.4  強化學習與傳統機器學習的區別
    10.1.5  強化學習與自動機器學習的區別
    10.1.6  小結與討論
    10.1.7  參考文獻
  10.2  分散式強化學習演算法
    10.2.1  分散式強化學習演算法的基本概念

    10.2.2  分散式強化學習演算法的發展
    10.2.3  小結與討論
    10.2.4  參考文獻
  10.3  分散式強化學習對系統提出的需求和挑戰
    10.3.1  強化學習系統面臨的挑戰和機器學習系統的區別
    10.3.2  強化學習對框架的需求
    10.3.3  小結與討論
    10.3.4  參考文獻
  10.4  分散式強化學習框架
    10.4.1  代表性分散式強化學習框架
    10.4.2  小結與討論
    10.4.3  參考文獻
第11章  模型壓縮與加速
  本章簡介
  內容概覽
  11.1  模型壓縮簡介
    11.1.1  模型壓縮的背景
    11.1.2  模型壓縮方法
    11.1.3  小結與討論
    11.1.4  參考文獻
  11.2  基於稀疏化的模型壓縮
    11.2.1  人類大腦的稀疏性
    11.2.2  深度神經網路的稀疏性
    11.2.3  小結與討論
    11.2.4  參考文獻
  11.3  模型壓縮與硬體加速
    11.3.1  深度學習專用硬體
    11.3.2  稀疏模型硬體加速
    11.3.3  量化模型硬體加速
    11.3.4  小結與討論
第12章  人工智慧安全與隱私
  本章簡介
  內容概覽
  12.1  人工智慧內在安全與隱私
    12.1.1  內在安全問題
    12.1.2  內在隱私問題
    12.1.3  小結與討論
    12.1.4  參考文獻
  12.2  人工智慧訓練安全與隱私
    12.2.1  訓練安全問題
    12.2.2  訓練隱私問題
    12.2.3  聯邦學習
    12.2.4  小結與討論
    12.2.5  參考文獻
  12.3  人工智慧服務安全與隱私
    12.3.1  服務時安全
    12.3.2  服務時的用戶隱私
    12.3.3  服務時的模型隱私
    12.3.4  小結與討論
    12.3.5  參考文獻

第13章  人工智慧優化電腦系統
  本章簡介
  內容概覽
  13.1  系統設計的範式轉移
    13.1.1  學習增強系統
    13.1.2  小結與討論
  13.2  學習增強系統的應用
    13.2.1  流媒體系統
    13.2.2  資料庫索引
    13.2.3  系統性能和參數調優
    13.2.4  晶元設計
    13.2.5  預測性資源調度
    13.2.6  小結與討論
    13.2.7  參考文獻
  13.3  學習增強系統的落地挑戰
    13.3.1  系統數據
    13.3.2  系統模型
    13.3.3  系統動態性
    13.3.4  系統正確性
    13.3.5  小結與討論
    13.3.6  參考文獻

同類熱銷排行榜

最近瀏覽的商品

深度學習系統設計(理論與實踐)