幫助中心 | 我的帳號 | 關於我們

GPT圖解(大模型是怎樣構建的)

  • 作者:黃佳|責編:蔣艷
  • 出版社:人民郵電
  • ISBN:9787115623683
  • 出版日期:2023/12/01
  • 裝幀:平裝
  • 頁數:254
人民幣:RMB 79.8 元      售價:
放入購物車
加入收藏夾

內容大鋼
    人工智慧(AI),尤其是生成式語言模型和生成式人工智慧(AIGC)模型,正以驚人的速度改變著我們的世界。駕馭這股潮流的關鍵,莫過於探究自然語言處理(NLP)技術的深奧秘境。本書將帶領讀者踏上一段扣人心弦的探索之旅,讓其親身感受,並動手搭建語言模型。本書主要內容包括N-Gram,詞袋模型(BoW),Word2Vec(W2V),神經概率語言模型(NPLM),循環神經網路(RNN),Seq2Seq(S2S),注意力機制,Transformer,從初代GPT到ChatGPT再到GPT-4等一系列突破性技術的誕生與演進。
    本書將以生動活潑的筆觸,將枯燥的技術細節化作輕鬆幽默的故事和繽紛多彩的圖畫,引領讀者穿梭于不同技術的時空,見證自然語言處理技術的傳承、演進與蛻變。在這場不斷攀登技術新峰的奇妙之旅中,讀者不僅能深入理解自然語言處理技術的核心原理,還能自己動手,從零開始搭建起一個又一個語言模型。
    無論你是在校學生還是人工智慧從業者,這本書都將成為一盞明燈,照亮你探索人工智慧無限奧秘的道路。

作者介紹
黃佳|責編:蔣艷
    黃佳,人稱咖哥,埃森哲公司資深顧問,在IT界耕耘近二十載,自詡為一朵有「後浪」心態的「前浪」。為人謙虛,好學,有時也好為人師。曾撰寫一系列SAPERP書籍,啟蒙了大批中國早期ABAP技術人才。近年來投身數據科學、人工智慧及雲計算領域,願將自己的所學所感與大家分享。

目錄
序章  看似尋常最奇崛,成如容易卻艱辛
  GPT-4:點亮人工通用智能的火花
  人工智慧演進之路:神經網路兩落三起
  現代自然語言處理:從規則到統計
    何為語言?信息又如何傳播?
    NLP是人類和電腦溝通的橋樑
    NLP技術的演進史
  大規模預訓練語言模型:BERT與GPT爭鋒
    語言模型的誕生和進化
    統計語言模型的發展歷程
    基於Transformer架構的預訓練模型
    「預訓練+微調大模型」的模式
    以提示指令模式直接使用大模型
  從初代GPT到ChatGPT,再到GPT-
    GPT作為生成式模型的天然優勢
    ChatGPT背後的推手——OpenAI
    從初代GPT到ChatGPT,再到GPT-4的進化史
第1課  高樓萬丈平地起:語言模型的雛形N-Gram和簡單文本表示Bag-of-Words
  1.1  N-Gram模型
  1.2  「詞」是什麼,如何「分詞」
  1.3  創建一個Bigram字元預測模型
  1.4  詞袋模型
  1.5  用詞袋模型計算文本相似度
  小結
  思考
第2課  問君文本何所似:詞的向量表示Word2Vec和Embedding
  2.1  詞向量?詞嵌入
  2.2  Word2Vec:CBOW模型和Skip-Gram模型
  2.3  Skip-Gram模型的代碼實現
  2.4  CBOW模型的代碼實現
  2.5  通過nn.Embedding來實現詞嵌入
  小結
  思考
第3課  山重水復疑無路:神經概率語言模型和循環神經網路
  3.1  NPLM的起源
  3.2  NPLM的實現
  3.3  循環神經網路的結構
  3.4  循環神經網路實戰
  小結
  思考
第4課  柳暗花明又一村:Seq2Seq編碼器-解碼器架構
  4.1  Seq2Seq架構
  4.2  構建簡單Seq2Seq架構
  小結
  思考
第5課  見微知著開慧眼:引入注意力機制
  5.1  點積注意力
  5.2  縮放點積注意力
  5.3  編碼器-解碼器注意力
  5.4  注意力機制中的Q、K、V

  5.5  自注意力
  5.6  多頭自注意力
  5.7  注意力掩碼
  5.8  其他類型的注意力
  小結
  思考
第6課  層巒疊翠上青天:搭建GPT核心組件Transformer
  6.1  Transformer架構剖析
    6.1.1  編碼器-解碼器架構
    6.1.2  各種注意力的應用
    6.1.3  編碼器的輸入和位置編碼
    6.1.4  編碼器的內部結構
    6.1.5  編碼器的輸出和編碼器-解碼器的連接
    6.1.6  解碼器的輸入和位置編碼
    6.1.7  解碼器的內部結構
    6.1.8  解碼器的輸出和Transformer的輸出頭
  6.2  Transformer代碼實現
  6.3  完成翻譯任務
    6.3.1  數據準備
    6.3.2  訓練Transformer模型
    6.3.3  測試Transformer模型
  小結
  思考
第7課  芳林新葉催陳葉:訓練出你的簡版生成式GPT
  7.1  BERT與GPT爭鋒
  7.2  GPT:生成式自回歸模型
  7.3  構建GPT模型並完成文本生成任務
    7.3.1  搭建GPT模型(解碼器)
    7.3.2  構建文本生成任務的數據集
    7.3.3  訓練過程中的自回歸
    7.3.4  文本生成中的自回歸(貪婪搜索)
  7.4  使用WikiText2數據集訓練Wiki-GPT模型
    7.4.1  用WikiText2構建Dataset和DataLoader
    7.4.2  用DataLoader提供的數據進行訓練
    7.4.3  用Evaluation Dataset評估訓練過程
    7.4.4  文本生成中的自回歸(集束搜索)
  小結
  思考
第8課  流水后波推前波:ChatGPT基於人類反饋的強化學習
  8.1  從GPT到ChatGPT
  8.2  在Wiki-GPT基礎上訓練自己的簡版ChatGPT
  8.3  用Hugging Face預訓練GPT微調ChatGPT
  8.4  ChatGPT的RLHF實戰
    8.4.1  強化學習基礎知識
    8.4.2  簡單RLHF實戰
  小結
  思考
第9課  生生不息的循環:使用強大的GPT-4 API
  9.1  強大的OpenAI API
  9.2  使用GPT-4 API

  小結
  思考
後記  莫等閑,白了少年頭

  • 商品搜索:
  • | 高級搜索
首頁新手上路客服中心關於我們聯絡我們Top↑
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話:02-2381-2033 02-2381-1863 時間:週一-週五 10:00-17:00
 服務信箱:bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證:浙B2-20060032