幫助中心 | 我的帳號 | 關於我們
進階搜尋
car

同類熱銷排行榜

最近瀏覽的商品

大規模語言模型(從理論到實踐)/通用智能與大模型叢書

  • 作者：張奇//桂韜//鄭銳//黃萱菁|責編:鄭柳潔
  • 出版社：電子工業
  • ISBN：9787121467059
  • 出版日期：2024/01/01
  • 裝幀：平裝
  • 頁數：306
人民幣：RMB 109 元      售價：元
放入購物車
加入收藏夾
內容大鋼
    本書詳細介紹了構建大語言模型的四個主要階段：預訓練、有監督微調、獎勵建模和強化學習。每個階段都有演算法、代碼、數據、難點及實踐經驗的詳細討論。
    本書以大語言模型的基礎理論開篇，探討了大語言模型預訓練數據的構建方法，以及大語言模型如何理解並服從人類指令，介紹了大語言模型的擴展應用和評估方法，為讀者提供了更全面的視野。
    本書旨在為對大語言模型感興趣的讀者提供入門指南，也可作為高年級本科生和研究生自然語言處理相關課程的補充教材。
作者介紹
張奇//桂韜//鄭銳//黃萱菁|責編:鄭柳潔
目錄
第1章  緒論
  1.1  大語言模型的基本概念
  1.2  大語言模型的發展歷程
  1.3  大語言模型的構建流程
  1.4  本書的內容安排
第2章  大語言模型基礎
  2.1  Transformer結構
    2.1.1  嵌入表示層
    2.1.2  注意力層
    2.1.3  前饋層
    2.1.4  殘差連接與層歸一化
    2.1.5  編碼器和解碼器結構
  2.2  生成式預訓練語言模型GPT
    2.2.1  無監督預訓練
    2.2.2  有監督下游任務微調
    2.2.3  基於HuggingFace的預訓練語言模型實踐
  2.3  大語言模型的結構
    2.3.1  LLaMA的模型結構
    2.3.2  注意力機制優化
  2.4  實踐思考
第3章  大語言模型預訓練數據
  3.1  數據來源
    3.1.1  通用數據
    3.1.2  專業數據
  3.2  數據處理
    3.2.1  質量過濾
    3.2.2  冗余去除
    3.2.3  隱私消除
    3.2.4  詞元切分
  3.3  數據影響分析
    3.3.1  數據規模
    3.3.2  數據質量
    3.3.3  數據多樣性
  3.4  開源數據集
    3.4.1  Pile
    3.4.2  ROOTS
    3.4.3  RefinedWeb
    3.4.4  SlimPajama
  3.5  實踐思考
第4章  分散式訓練
  4.1  分散式訓練概述
  4.2  分散式訓練的並行策略
    4.2.1  數據並行
    4.2.2  模型並行
    4.2.3  混合併行
    4.2.4  計算設備內存優化
  4.3  分散式訓練的集群架構
    4.3.1  高性能計算集群的典型硬體組成
    4.3.2  參數伺服器架構
    4.3.3  去中心化架構

  4.4  DeepSpeed實踐
    4.4.1  基礎概念
    4.4.2  LLaMA分散式訓練實踐
  4.5  實踐思考
第5章  有監督微調
  5.1  提示學習和語境學習
    5.1.1  提示學習
    5.1.2  語境學習
  5.2  高效模型微調
    5.2.1  LoRA
    5.2.2  LoRA的變體
  5.3  模型上下文窗口擴展
    5.3.1  具有外推能力的位置編碼
    5.3.2  插值法
  5.4  指令數據的構建
    5.4.1  手動構建指令
    5.4.2  自動構建指令
    5.4.3  開源指令數據集
  5.5  DeepSpeed-Chat SFT實踐
    5.5.1  代碼結構
    5.5.2  數據預處理
    5.5.3  自定義模型
    5.5.4  模型訓練
    5.5.5  模型推理
  5.6  實踐思考
第6章  強化學習
  6.1  基於人類反饋的強化學習
    6.1.1  強化學習概述
    6.1.2  強化學習與有監督學習的區別
    6.1.3  基於人類反饋的強化學習流程
  6.2  獎勵模型
    6.2.1  數據收集
    6.2.2  模型訓練
    6.2.3  開源數據
  6.3  近端策略優化
    6.3.1  策略梯度
    6.3.2  廣義優勢估計
    6.3.3  近端策略優化演算法
  6.4  MOSS-RLHF實踐
    6.4.1  獎勵模型訓練
    6.4.2  PPO微調
  6.5  實踐思考
第7章  大語言模型應用
  7.1  推理規劃
    7.1.1  思維鏈提示
    7.1.2  由少至多提示
  7.2  綜合應用框架
    7.2.1  LangChain框架核心模塊
    7.2.2  知識庫問答系統實踐
  7.3  智能代理

    7.3.1  智能代理的組成
    7.3.2  智能代理的應用實例
  7.4  多模態大語言模型
    7.4.1  模型架構
    7.4.2  數據收集與訓練策略
    7.4.3  多模態能力示例
  7.5  大語言模型推理優化
    7.5.1  FastServe框架
    7.5.2  vLLM推理框架實踐
  7.6  實踐思考
第8章  大語言模型評估
  8.1  模型評估概述
  8.2  大語言模型評估體系
    8.2.1  知識與能力
    8.2.2  倫理與安全
    8.2.3  垂直領域評估
  8.3  大語言模型評估方法
    8.3.1  評估指標
    8.3.2  評估方法
  8.4  大語言模型評估實踐
    8.4.1  基礎模型評估
    8.4.2  SFT模型和RL模型評估
  8.5  實踐思考
參考文獻
索引

  • 商品搜索：
  • | 高級搜索
首頁│ 新手上路│ 客服中心│ 關於我們│ 聯絡我們│ Top↑│
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話：02-2381-2033 02-2381-1863　時間：週一-週五 10:00-17:00
　服務信箱：bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證：浙B2-20060032