幫助中心 | 我的帳號 | 關於我們
進階搜尋
car

同類熱銷排行榜

最近瀏覽的商品

高效深度學習(模型壓縮與設計)/通用智能與大模型叢書

  • 作者：汪玉//寧雪妃|責編:鄭柳潔
  • 出版社：電子工業
  • ISBN：9787121480591
  • 出版日期：2024/07/01
  • 裝幀：平裝
  • 頁數：252
人民幣：RMB 119 元      售價：元
放入購物車
加入收藏夾
內容大鋼
    本書系統地介紹了高效模型壓縮和模型設計的方法，在編寫上兼顧理論和實踐。本書主體部分詳細介紹了模型壓縮的方法論，包括高效模塊設計、模型剪枝、模型量化、模型二值化、神經網路架構搜索、知識蒸餾幾大部分。另外，簡要介紹了定製化硬體加速器的設計及大語言模型的加速和壓縮。
作者介紹
汪玉//寧雪妃|責編:鄭柳潔
目錄
第1部分  基礎
  1  緒論
    1.1  神經網路技術的發展
    1.2  神經網路的高效化需求
    1.3  神經網路的高效化路徑
    1.4  本書主要內容
  2  基礎知識
    2.1  優化問題
      2.1.1  優化問題的定義和分類
      2.1.2  優化方法的分類
    2.2  卷積神經網路模型
      2.2.1  基礎模塊
      2.2.2  代表性模型介紹
    2.3  視覺Transformer模型
      2.3.1  基礎模塊
      2.3.2  模型分類與總結
第2部分  高效模型壓縮方法論
  3  高效模塊設計
    3.1  概述
    3.2  代表性模型介紹
      3.2.1  SqueezeNet
      3.2.2  MobileNet系列
      3.2.3  ShuffleNet系列
      3.2.4  GhostNet
      3.2.5  ConvNeXt
      3.2.6  VoVNet系列
      3.2.7  RepVGG
    3.3  高效模塊的5個設計維度
    3.4  本章小結
  4  模型剪枝
    4.1  模型剪枝的定義和分類
    4.2  模型敏感度分析方法
      4.2.1  層內和層間敏感度分析
      4.2.2  層內敏感度分析指標
    4.3  結構化剪枝方法
      4.3.1  基於權重正則的結構化剪枝方法
      4.3.2  基於搜索的結構化剪枝方法
      4.3.3  給定資源限制的條件下的結構化剪枝方法
    4.4  近似低秩分解方法
    4.5  非結構化剪枝方法
    4.6  半結構化剪枝方法
    4.7  針對激活值的剪枝方法
    4.8  剪枝方法的經驗性選擇
      4.8.1  剪枝流程的選擇
      4.8.2  剪枝稀疏模式的選擇
      4.8.3  關於任務性能的經驗
    4.9  GroupLasso結構化剪枝的實踐案例
    4.10  本章小結
  5  模型量化
    5.1  模型量化的定義和分類

    5.2  模型量化過程和量化推理過程
    5.3  量化格式和操作
      5.3.1  均勻量化格式
      5.3.2  非均勻量化格式
      5.3.3  三種量化操作
    5.4  量化參數
      5.4.1  縮放係數
      5.4.2  零點位置
      5.4.3  量化位寬
    5.5  訓練后量化
      5.5.1  訓練后量化的流程
      5.5.2  重參數化
      5.5.3  縮放係數的選取方法
      5.5.4  量化值調整
    5.6  量化感知訓練
      5.6.1  基礎與流程
      5.6.2  調整模型架構的方法
      5.6.3  量化器設計的技巧
      5.6.4  常用的訓練技巧
    5.7  混合位寬量化
      5.7.1  基於敏感度指標的混合位寬量化
      5.7.2  基於搜索的混合位寬量化
    5.8  量化方法的經驗性選擇
      5.8.1  量化流程的選擇
      5.8.2  數據表示的設計和決定
      5.8.3  運算元的選擇與處理和計算圖的調整
      5.8.4  關於任務性能的經驗
    5.9  拓展：低比特推理硬體實現
      5.9.1  定點計算的硬體效率
      5.9.2  浮點計算轉定點計算的原理
      5.9.3  非均勻量化格式的計算
      5.9.4  典型的計算單元和加速器架構
    5.10  拓展：低比特訓練簡介
      5.10.1  應用背景
      5.10.2  挑戰分析
      5.10.3  相關工作
    5.11  本章小結
  6  模型二值化
    6.1  模型二值化的定義和分類
    6.2  模型二值化的基礎：以XNOR-Net為例
    6.3  二值化方式
      6.3.1  樸素二值化方式
      6.3.2  間接二值化方式
    6.4  訓練技巧
      6.4.1  修改損失函數
      6.4.2  降低梯度估計誤差
      6.4.3  多階段的訓練方法
      6.4.4  訓練經驗
    6.5  架構設計
      6.5.1  模型架構的調整

      6.5.2  模型架構搜索
      6.5.3  集成方法與動態模型
    6.6  模型二值化在其他任務與架構中的應用
    6.7  本章小結
  7  神經網路架構搜索
    7.1  神經網路架構搜索的定義和分類
    7.2  搜索空間
      7.2.1  人工設計搜索空間
      7.2.2  自動設計搜索空間
      7.2.3  總結
    7.3  搜索策略
      7.3.1  基於強化學習的搜索策略
      7.3.2  基於進化演算法的搜索策略
      7.3.3  隨機搜索策略
      7.3.4  基於架構性能預測器的搜索策略
      7.3.5  總結
    7.4  評估策略
      7.4.1  獨立訓練策略
      7.4.2  基於權重共享的單次評估策略
      7.4.3  基於權重生成的單次評估策略
      7.4.4  零次評估策略
    7.5  可微分神經網路架構搜索
      7.5.1  連續鬆弛方法
      7.5.2  優化方法
      7.5.3  搜索坍縮問題
      7.5.4  更高效的可微分搜索演算法
    7.6  考慮硬體效率的神經網路架構搜索
      7.6.1  考慮硬體效率的搜索空間設計
      7.6.2  硬體效率指標的加速評估方法
      7.6.3  考慮多種硬體效率目標的搜索策略
      7.6.4  面向多種硬體設備及約束的神經網路架構搜索方法
    7.7  本章小結
  8  知識蒸餾
    8.1  知識蒸餾的定義和分類
    8.2  知識類型和知識分量：「學什麼」
      8.2.1  基於響應的知識
      8.2.2  基於特徵的知識
      8.2.3  基於關係的知識
    8.3  知識來源：「向誰學」
      8.3.1  離線蒸餾
      8.3.2  互學習
      8.3.3  自蒸餾
    8.4  本章小結
第3部分  拓展和前沿
  9  相關領域：高效靈活的AI推理硬體和系統
    9.1  概述
    9.2  硬體加速器設計和軟硬體協同優化
      9.2.1  從CPU到硬體加速器
      9.2.2  AI加速器中的軟硬體協同優化
      9.2.3  Roofline分析模型

      9.2.4  基於指令集的AI加速器
    9.3  神經網路計算資源虛擬化
      9.3.1  虛擬化的概念
      9.3.2  AI加速器的時分復用與空分復用虛擬化
      9.3.3  相關工作簡介
    9.4  本章小結
  10  前沿應用：大語言模型的加速和壓縮
    10.1  大語言模型的發展
    10.2  大語言模型的架構和推理過程
    10.3  大語言模型的高效性分析
      10.3.1  效率瓶頸
      10.3.2  優化路徑
    10.4  典型的大語言模型的壓縮方法：量化
    10.5  本章小結
後記
參考文獻

  • 商品搜索：
  • | 高級搜索
首頁│ 新手上路│ 客服中心│ 關於我們│ 聯絡我們│ Top↑│
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話：02-2381-2033 02-2381-1863　時間：週一-週五 10:00-17:00
　服務信箱：bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證：浙B2-20060032