幫助中心 | 我的帳號 | 關於我們

精通Transformer(從零開始構建最先進的NLP模型)

  • 作者:(土)薩瓦斯·伊爾蒂利姆//(伊朗)梅薩姆·阿斯加里-切納格盧|責編:鍾博|譯者:江紅//余青松//余靖
  • 出版社:北京理工大學
  • ISBN:9787576322279
  • 出版日期:2023/04/01
  • 裝幀:平裝
  • 頁數:266
人民幣:RMB 99 元      售價:
放入購物車
加入收藏夾

內容大鋼
    本書涵蓋了Transformer深度學習體系結構的理論知識和實踐指南。借助Hugging Face社區的Transformer庫,本書循序漸進地提供了各種自然語言處理問題的解決方案。本書採用理論和實踐相結合的方式,系統地闡述了自然語言處理的相關理論和技術,詳細介紹了使用Transformer訓練、微調和部署自然語言處理解決方案的流程。
    本書的讀者對象主要包括深度學習研究人員、自然語言處理從業人員、教師和學生。本書要求讀者具有良好的Python基礎知識以及機器學習和深度學習的基本知識。

作者介紹
(土)薩瓦斯·伊爾蒂利姆//(伊朗)梅薩姆·阿斯加里-切納格盧|責編:鍾博|譯者:江紅//余青松//余靖

目錄
第1部分  導論:相關領域的最新發展概述、環境安裝和Hello World應用程序
  第1章  從詞袋到Transformer
    1.1  技術需求
    1.2  自然語言處理到Transformer的演變歷程
    1.3  理解分散式語義
      1.3.1  詞袋技術的實現
      1.3.2  克服維度問題
      1.3.3  語言建模與生成
    1.4  利用深度學習
      1.4.1  學習單詞嵌入
      1.4.2  循環神經網路概述
      1.4.3  長短期記憶網路和門控循環單元
      1.4.4  卷積神經網路概述
    1.5  Transformer體系結構概述
      1.5.1  注意力機制
      1.5.2  多頭注意力機制
    1.6  在遷移學習中結合使用Transformer
    1.7  本章小結
  第2章  Transformer的實踐操作入門
    2.1  技術需求
    2.2  使用Anaconda安裝Transformer
      2.2.1  在Linux操作系統中安裝Anaconda
      2.2.2  在Windows操作系統中安裝Anaconda
      2.2.3  在macOS操作系統中安裝Anaconda
      2.2.4  安裝TensorFlow、PyTorch和Transformer
      2.2.5  使用GoogleColab安裝環境
    2.3  使用語言模型和分詞器
    2.4  使用社區提供的模型
    2.5  使用基準測試和數據集
      2.5.1  重要的基準測試
      2.5.2  使用應用程序編程介面訪問數據集
    2.6  速度和內存的基準測試
    2.7  本章小結
第2部分  Transformer模型:從自編碼模型到自回歸模型
  第3章  自編碼語言模型
    3.1  技術需求
    3.2  BERT:一種自編碼語言模型
      3.2.1  BERT語言模型預訓練任務
      3.2.2  對BERT語言模型的深入研究
    3.3  適用於任何語言的自編碼語言模型訓練
    3.4  與社區共享模型
    3.5  了解其他自編碼模型
      3.5.1  Albert模型概述
      3.5.2  RoBERTa模型
      3.5.3  ELECTRA模型
    3.6  使用分詞演算法
      3.6.1  位元組對編碼
      3.6.2  WordPiece分詞演算法
      3.6.3  SentencePiece分詞演算法
      3.6.4  tokenizers庫

    3.7  本章小結
  第4章  自回歸和其他語言模型
    4.1  技術需求
    4.2  使用自回歸語言模型
      4.2.1  生成式預訓練模型的介紹與訓練
      4.2.2  Transformer-XL模型
      4.2.3  XLNet模型
    4.3  使用序列到序列模型
      4.3.1  T5模型
      4.3.2  BART概述
    4.4  自回歸語言模型訓練
    4.5  使用自回歸模型的自然語言生成
    4.6  使用simpletransformers進行總結和機器翻譯微調
    4.7  本章小結
  第5章  微調文本分類語言模型
    5.1  技術需求
    5.2  文本分類導論
    5.3  微調BERT模型以適用於單句二元分類
    5.4  使用原生PyTorch訓練分類模型
    5.5  使用自定義數據集對多類別分類BERT模型進行微調
    5.6  微調BERT模型以適用於句子對回歸
    5.7  使用run_glue.py對模型進行微調
    5.8  本章小結
  第6章  微調標記分類語言模型
    6.1  技術需求
    6.2  標記分類概述
      6.2.1  理解命名實體識別
      6.2.2  理解詞性標注
      6.2.3  理解問題回答系統
    6.3  微調語言模型以適用於命名實體識別任務
    6.4  基於標記分類的問題回答系統
    6.5  本章小結
  第7章  文本表示
    7.1  技術需求
    7.2  句子嵌入概述
      7.2.1  交叉編碼器與雙向編碼器
      7.2.2  句子相似性模型的基準測試
      7.2.3  使用BART模型進行零樣本學習
    7.3  使用FLAIR進行語義相似性實驗
      7.3.1  平均詞嵌入
      7.3.2  基於循環神經網路的文檔嵌入
      7.3.3  基於Transformer的BERT嵌入
      7.3.4  Sentence-BERT嵌入
    7.4  基於Sentence-BERT的文本聚類
      7.4.1  基於paraphrase-distilroberta-base-vl的主題建模
      7.4.2  基於BERTopic的主題建模
    7.5  基於Sentence-BERT的語義搜索
    7.6  本章小結
第3部分  高級主題
  第8章  使用高效的Transformer

    8.1  技術需求
    8.2  高效、輕便、快速的Transformer概述
    8.3  模型規模縮減的實現
      8.3.1  使用DistilBERT進行知識提煉
      8.3.2  剪枝
      8.3.3  量化
    8.4  使用高效的自注意力機制
      8.4.1  固定模式下的稀疏注意力機制
      8.4.2  可學習的模式
      8.4.3  低秩因子分解、核函數和其他方法
    8.5  本章小結
  第9章  跨語言和多語言建模
    9.1  技術需求
    9.2  翻譯語言建模與跨語言知識共享
    9.3  跨語言的語言模型和來自Transformer的多語言雙向編碼器表示
      9.3.1  mBERT
      9.3.2  XLM
    9.4  跨語言相似性任務
      9.4.1  跨語言文本相似性
      9.4.2  可視化跨語言文本相似性
    9.5  跨語言分類
    9.6  跨語言零樣本學習
    9.7  多語言模型的基本局限性
    9.8  微調多語言模型的性能
    9.9  本章小結
  第10章  部署Transformer模型
    10.1  技術需求
    10.2  FastAPI Transformer模型服務
    10.3  容器化API
    10.4  使用TFX提供更快的Transformer模型服務
    10.5  使用Locust進行負載測試
    10.6  本章小結
  第11章  注意力可視化與實驗跟蹤
    11.1  技術需求
    11.2  解讀注意力頭
      11.2.1  使用exBERT對注意力頭進行可視化
      11.2.2  使用BertViz實現注意力頭的多尺度可視化
      11.2.3  使用探測分類器理解BERT的內部結構
    11.3  跟蹤模型度量指標
      11.3.1  使用TensorBoard跟蹤模型訓練過程
      11.3.2  使用W&B及時跟蹤模型訓練過程
    11.4  本章小結

  • 商品搜索:
  • | 高級搜索
首頁新手上路客服中心關於我們聯絡我們Top↑
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話:02-2381-2033 02-2381-1863 時間:週一-週五 10:00-17:00
 服務信箱:bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證:浙B2-20060032