幫助中心 | 我的帳號 | 關於我們
進階搜尋
car

同類熱銷排行榜

最近瀏覽的商品

ChatGPT原理與架構(大模型的預訓練遷移和中間件編程)/智能系統與技術叢書

  • 作者：程戈|責編:楊福川//陳潔
  • 出版社：機械工業
  • ISBN：9787111739562
  • 出版日期：2023/12/01
  • 裝幀：平裝
  • 頁數：210
人民幣：RMB 99 元      售價：元
放入購物車
加入收藏夾
內容大鋼
    這是一本深入闡述ChatGPT等大模型的工作原理、運行機制、架構設計和底層技術，以及預訓練、遷移、微調和中間件編程的著作。它將幫助我們從理論角度全面理解大模型，從實踐角度更好地應用大模型，是作者成功訓練並部署大模型的過程復盤和經驗總結。
    第1章介紹了ChatGPT等大模型的發展歷程、技術演化和技術棧等基礎知識；
    第2?5章深入講解了Transformer的架構原理，並從GPT-1的生成式預訓練到GPT-3的稀疏注意力機制詳細描述了GPT系列的架構演進；
    第6?8章從底層技術實現的角度講解了大語言模型的訓練策略、數據處理方法，以及如何利用策略優化和人類反饋來進一步提升模型的表現；
    第9?10章首先詳細講解了大語言模型在垂直領域的低算力遷移方法，並給出了醫療和司法領域的遷移案例，然後講解了大模型的中間件編程；
    第11章對GPT的未來發展趨勢進行預測，探討數據資源、自回歸模型的局限性，以及大語言模型時代具身智能的可行路線。
作者介紹
程戈|責編:楊福川//陳潔
    程戈，博士生導師，湘潭大學電腦學院·網路空間安全學院教授，湘潭大學技術轉移中心副主任，湘潭市京東智能城市與大數據研究院副院長，智慧司法與數字治理湖南省重點實驗室副主任，CCF計演算法學會執委。大模型領域技術專家和布道者，作為兩項科技部國家重點研發子課題的負責人，與成都數之聯等多家企業合作推動人工智慧在司法領域的落地，帶領團隊開發了JusticeGPT司法大模型，不同於其他的以提升司法領域知識問答能力為核心的司法大模型，該大模型致力於提升司法文獻檢索增強生成以及司法文檔的多跳信息聚合能力，並通過特定的多任務表徵與控制指令生成框架重構司法信息化系統的業務中台，實現司法業務編排以及工作流自動化。
目錄
前言
第1章  人工智慧的新里程碑——ChatGPT
  1.1  ChatGPT的發展歷程
  1.2  ChatGPT的能力
  1.3  大語言模型的技術演化
    1.3.1  從符號主義到連接主義
    1.3.2  Transformer模型
    1.3.3  無監督預訓練
    1.3.4  有監督微調
    1.3.5  人類反饋強化學習
  1.4  大語言模型的技術棧
  1.5  大語言模型帶來的影響
  1.6  大語言模型復現的壁壘
    1.6.1  算力瓶頸
    1.6.2  數據瓶頸
    1.6.3  工程瓶頸
  1.7  大語言模型的局限性
  1.8  小結
第2章  深入理解Transformer模型
  2.1  Transformer模型簡介
  2.2  自注意力機制
    2.2.1  自注意力機制的計算過程
    2.2.2  自注意力機制的本質
    2.2.3  自注意力機制的優勢與局限性
  2.3  多頭注意力機制
    2.3.1  多頭注意力機制的實現
    2.3.2  多頭注意力機制的作用
    2.3.3  多頭注意力機制的優化
  2.4  前饋神經網路
  2.5  殘差連接
  2.6  層歸一化
  2.7  位置編碼
    2.7.1  位置編碼的設計與實現
    2.7.2  位置編碼的變體
    2.7.3  位置編碼的優勢與局限性
  2.8  訓練與優化
    2.8.1  損失函數
    2.8.2  優化器
    2.8.3  學習率調整策略
    2.8.4  正則化
    2.8.5  其他訓練與優化技巧
  2.9  小結
第3章  生成式預訓練
  3.1  生成式預訓練簡介
  3.2  GPT的模型架構
  3.3  生成式預訓練過程
    3.3.1  生成式預訓練的目標
    3.3.2  生成式預訓練的誤差反向傳播過程
  3.4  有監督微調
    3.4.1  有監督微調的原理

    3.4.2  有監督微調的特定任務
    3.4.3  有監督微調的步驟
  3.5  小結
第4章  無監督多任務與零樣本學習
  4.1  編碼器與解碼器
  4.2  GPT-2的模型架構
    4.2.1  層歸一化
    4.2.2  正交初始化
    4.2.3  可逆的分詞方法
    4.2.4  可學習的相對位置編碼
  4.3  無監督多任務
  4.4  多任務學習與零樣本學習的關係
  4.5  GPT-2的自回歸生成過程
    4.5.1  子詞單元嵌入
    4.5.2  自回歸過程
  4.6  小結
第5章  稀疏注意力與基於內容的學習
  5.1  GPT-3的模型架構
  5.2  稀疏注意力模式
    5.2.1  Sparse Transformer的特點
    5.2.2  局部帶狀注意力
    5.2.3  跨層稀疏連接
  5.3  元學習和基於內容的學習
    5.3.1  元學習
    5.3.2  基於內容的學習
  5.4  概念分佈的貝葉斯推斷
    5.4.1  隱式微調
    5.4.2  貝葉斯推斷
  5.5  思維鏈的推理能力
  5.6  小結
第6章  大語言模型的預訓練策略
  6.1  預訓練數據集
  6.2  預訓練數據的處理
  6.3  分散式訓練模式
    6.3.1  數據並行
    6.3.2  模型並行
  6.4  分散式訓練的技術路線
    6.4.1  Pathways
    6.4.2  Megatron-LM
    6.4.3  ZeRO
  6.5  訓練策略案例
    6.5.1  訓練框架
    6.5.2  參數穩定性
    6.5.3  訓練設置的調整
    6.5.4  BF16優化
    6.5.5  其他因素
  6.6  小結
第7章  近端策略優化演算法
  7.1  傳統的策略梯度方法
    7.1.1  策略梯度方法的基本原理

    7.1.2  重要性採樣
    7.1.3  優勢函數
  7.2  Actor-Critic演算法
    7.2.1  Actor-Critic演算法的基本步驟
    7.2.2  值函數與策略更新
    7.2.3  Actor-Critic演算法的問題與挑戰
  7.3  信任域策略優化演算法
    7.3.1  TRPO演算法的目標
    7.3.2  TRPO演算法的局限性
  7.4  PPO演算法的原理
  7.5  小結
第8章  人類反饋強化學習
  8.1  強化學習在ChatGPT迭代中的作用
  8.2  InstructGPT訓練數據集
    8.2.1  微調數據集的來源
    8.2.2  標註標准
    8.2.3  數據分析
  8.3  人類反饋強化學習的訓練階段
    8.3.1  有監督微調階段
    8.3.2  獎勵建模階段
    8.3.3  強化學習階段
  8.4  獎勵建模演算法
    8.4.1  演算法思想
    8.4.2  損失函數
  8.5  PPO演算法在InstructGPT中的應用
  8.6  多輪對話能力
  8.7  人類反饋強化學習的必要性
  8.8  小結
第9章  大語言模型的低算力領域遷移
  9.1  指令自舉標注
  9.2  人工智慧反饋
  9.3  低秩自適應
    9.3.1  模型訓練與部署
    9.3.2  秩的選擇
  9.4  量化：降低部署的算力要求
  9.5  SparseGPT剪枝演算法
  9.6  開源大語言模型的低算力遷移案例
    9.6.1  基座模型
    9.6.2  自舉指令微調的羊駝系列
    9.6.3  中文解決方案
    9.6.4  醫療領域的遷移實例
    9.6.5  司法領域的遷移實例
  9.7  小結
第10章  中間件編程
  10.1  補齊短板—LangChain恰逢其時
  10.2  多模態融合中間件
    10.2.1  任務規劃
    10.2.2  模型選擇
    10.2.3  任務執行
    10.2.4  響應生成

  10.3  AutoGPT自主代理與任務規劃
  10.4  中間件框架的競品
  10.5  小結
第11章  大語言模型的未來之路
  11.1  強人工智慧之路
  11.2  數據資源枯竭
  11.3  自回歸模型的局限性
  11.4  具身智能
    11.4.1  具身智能的挑戰
    11.4.2  PaLM-E
    11.4.3  ChatGPT for Robotics
  11.5  小結

  • 商品搜索：
  • | 高級搜索
首頁│ 新手上路│ 客服中心│ 關於我們│ 聯絡我們│ Top↑│
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話：02-2381-2033 02-2381-1863　時間：週一-週五 10:00-17:00
　服務信箱：bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證：浙B2-20060032