幫助中心 | 我的帳號 | 關於我們
進階搜尋
car

同類熱銷排行榜

最近瀏覽的商品

從零構建大模型(演算法訓練與微調)

  • 作者：梁楠|責編:王金柱//秦山玉
  • 出版社：清華大學
  • ISBN：9787302685616
  • 出版日期：2025/04/01
  • 裝幀：平裝
  • 頁數：284
人民幣：RMB 99 元      售價：元
放入購物車
加入收藏夾
內容大鋼
    本書是一本系統且實用的大模型構建指南，旨在引領讀者從基礎知識起步，逐步深入探索大模型的演算法原理、訓練方法及微調技術。本書共12章，涵蓋了Transformer模型的基礎理論，如Seq2Seq模型、分詞、嵌入層和自注意力機制等關鍵概念；並深入剖析了GPT模型的核心實現與文本生成過程，以及BERT模型的預訓練和微調技術。同時，也對ViT（視覺Transformer）模型的架構、訓練方法，以及高階微調策略如Adapter Tuning和P-Tuning進行了詳盡講解。此外，還系統地介紹了數據處理、數據增強、模型性能優化（包括混合精度訓練和分散式訓練）、對比學習、對抗訓練、自適應優化器、動態學習率調度，以及模型蒸餾與剪枝技術等多個方面。最後，通過應用案例，展示了模型訓練和微調的完整流程，助力讀者將理論知識轉化為實踐技能。
    全書注重理論與實踐的結合，適合希望系統掌握大模型構建、訓練和優化的研發人員、高校學生，也適合對自然語言處理、電腦視覺等領域的大模型開發有興趣的讀者。還可作為培訓機構和高校相關課程的教學用書。
作者介紹
梁楠|責編:王金柱//秦山玉
    梁楠，博士，畢業於北京航空航天大學，高級職稱，長期從事模式識別、機器學習、統計理論的研究與應用，負責或參與科研項目多項，專註於人工智能、大語言模型的應用與開發，對深度學習、數據分析與預測等有獨到見解。
目錄
引言
  一、大模型技術的發展歷史
    1.基於規則和統計學習的早期階段
    2.神經網路與深度學習的崛起
    3.Transformer的誕生與自注意力機制的崛起
    4.預訓練模型的興起：BERT、GPT和T
    5.超大規模模型與多模態應用
  二、開發環境配置基礎
    1.硬體配置要求
    2.軟體依賴與環境搭建
    3.常見問題與解決方案
第1章  Transformer模型基礎
  1.1  Seq2Seq模型
    1.1.1  編碼器-解碼器工作原理
    1.1.2  Seq2Seq結構實現
  1.2  分詞與嵌入層
    1.2.1  分詞器：將文本轉換為嵌入向量
    1.2.2  PyTorch實現嵌入層（將分詞后的結果輸入模型）
  1.3  自注意力與多頭注意力機制
    1.3.1  自注意力機制計算過程（QKV矩陣生成和點積運算）
    1.3.2  多頭注意力機制與Transformer
  1.4  殘差連接與層歸一化
    1.4.1  殘差連接層的實現
    1.4.2  層歸一化與訓練穩定性
  1.5  位置編碼器
    1.5.1  位置編碼的計算與實現
    1.5.2  位置編碼在無序文本數據中的作用
  1.6  本章小結
  1.7  思考題
第2章  GPT模型文本生成核心原理與實現
  2.1  GPT-2核心模塊
    2.1.1  層堆疊
    2.1.2  GPT-2中的注意力機制
  2.2  GPT模型的文本生成過程
    2.2.1  詳解GPT-2文本生成過程
    2.2.2  Greedy Search和Beam Search演算法的實現與對比
  2.3  模型效果評估與調優
    2.3.1  模型常見評估方法
    2.3.2  基於困惑度的評估過程
  2.4  本章小結
  2.5  思考題
第3章  BERT模型核心實現與預訓練
  3.1  BERT模型的核心實現
    3.1.1  編碼器堆疊
    3.1.2  BERT的自注意力機制與掩碼任務
  3.2  預訓練任務：掩碼語言模型（MLM）
    3.2.1  MLM任務實現過程
    3.2.2  如何對輸入數據進行隨機遮掩並預測
  3.3  BERT模型的微調與分類任務應用
  3.4  本章小結

  3.5  思考題
第4章  ViT模型
  4.1  圖像分塊與嵌入
  4.2  ViT模型的核心架構實現
    4.2.1  ViT模型的基礎結構
    4.2.2  自注意力和多頭注意力在圖像處理中的應用
  4.3  訓練與評估ViT模型
  4.4  ViT模型與注意力嚴格量化分析
  4.5  本章小結
  4.6  思考題
第5章  高階微調策略：Adapter Tuning與P-Tuning
  5.1  Adapter Tuning的實現
  5.2  LoRA Tuning實現
  5.3  Prompt Tuning與P-Tuning的應用
    5.3.1  Prompt Tuning
    5.3.2  P-Tuning
    5.3.3  Prompt Tuning和P-Tuning組合微調
    5.3.4  長文本情感分類模型的微調與驗證
  5.4  本章小結
  5.5  思考題
第6章  數據處理與數據增強
  6.1  數據預處理與清洗
    6.1.1  文本數據預處理
    6.1.2  文本數據清洗
  6.2  文本數據增強
    6.2.1  同義詞替換
    6.2.2  隨機插入
    6.2.3  其他類型的文本數據增強方法
  6.3  分詞與嵌入層的應用
    6.3.1  深度理解分詞技術
    6.3.2  嵌入向量的生成與優化
    6.3.3  文本預處理與數據增強綜合案例
  6.4  本章小結
  6.5  思考題
第7章  模型性能優化：混合精度訓練與分散式訓練
  7.1  混合精度訓練的實現
  7.2  多GPU並行與分散式訓練的實現
    7.2.1  分散式訓練流程與常規配置方案
    7.2.2  Data Parallel方案
    7.2.3  Model Parallel方案
  7.3  梯度累積的實現
    7.3.1  梯度累積初步實現
    7.3.2  小批量訓練中的梯度累積
    7.3.3  梯度累積處理文本分類任務
  7.4  本章小結
  7.5  思考題
第8章  對比學習與對抗訓練
  8.1  對比學習
    8.1.1  構建正負樣本對及損失函數
    8.1.2  SimCLR的實現與初步應用

  8.2  基於對比學習的預訓練與微調
    8.2.1  通過對比學習進行自監督預訓練
    8.2.2  對比學習在分類、聚類等任務中的表現
  8.3  生成式對抗網路的實現與優化
  8.4  對抗訓練在大模型中的應用
  8.5  本章小結
  8.6  思考題
第9章  自適應優化器與動態學習率調度
  9.1  AdamW優化器與LAMB優化器的實現
    9.1.1  AdamW優化器
    9.1.2  LAMB優化器
  9.2  基於梯度累積的優化技巧
    9.2.1  大批量內存受限環境
    9.2.2  梯度累積的應用場景和參數調整對訓練效果的影響
  9.3  動態學習率調度
    9.3.1  線性衰減
    9.3.2  餘弦退火
  9.4  Warmup與循環學習率調度
    9.4.1  Warmup策略實現
    9.4.2  循環學習率調度
    9.4.3  其他幾種常見的動態學習調度器
  9.5  本章小結
  9.6  思考題
第10章  模型蒸餾與剪枝
  10.1  知識蒸餾：教師-學生模型
    10.1.1  知識蒸餾核心過程
    10.1.2  教師-學生模型
    10.1.3  蒸餾損失
  10.2  知識蒸餾在文本模型中的應用
    10.2.1  知識蒸餾在文本分類模型中的應用
    10.2.2  模型蒸餾效率分析
    10.2.3  文本情感分析任務中的知識蒸餾效率對比
  10.3  模型剪枝技術
    10.3.1  權重剪枝
    10.3.2  結構化剪枝
    10.3.3  在嵌入式設備上部署手寫數字識別模型
    10.3.4  BERT模型的多頭注意力剪枝
  10.4  本章小結
  10.5  思考題
第11章  模型訓練實戰
  11.1  數據預處理與Tokenization細節
    11.1.1  大規模文本數據清洗
    11.1.2  常用分詞器的使用
  11.2  大規模預訓練模型的設置與啟動
  11.3  預訓練過程中的監控與中間結果保存
  11.4  訓練中斷與恢復機制
  11.5  綜合案例：IMDB文本分類訓練全流程
    11.5.1  數據預處理與Tokenization
    11.5.2  多GPU與分散式訓練設置
    11.5.3  訓練過程中的監控與中間結果保存

    11.5.4  訓練中斷與恢復
    11.5.5  測試模型性能
  11.6  本章小結
  11.7  思考題
第12章  模型微調實戰
  12.1  微調數據集的選擇與準備
    12.1.1  數據集準備與清洗
    12.1.2  數據集分割
    12.1.3  數據增強
  12.2  層級凍結與部分解凍策略
  12.3  模型參數調整與優化技巧
  12.4  微調后的模型評估與推理優化
  12.5  綜合微調應用案例
  12.6  本章小結
  12.7  思考題

  • 商品搜索：
  • | 高級搜索
首頁│ 新手上路│ 客服中心│ 關於我們│ 聯絡我們│ Top↑│
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話：02-2381-2033 02-2381-1863　時間：週一-週五 10:00-17:00
　服務信箱：bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證：浙B2-20060032