幫助中心 | 我的帳號 | 關於我們
進階搜尋
car

同類熱銷排行榜

最近瀏覽的商品

Transformer深度解析與NLP應用開發

  • 作者：梁志遠//韓曉晨|責編:王金柱//秦山玉
  • 出版社：清華大學
  • ISBN：9787302685623
  • 出版日期：2025/04/01
  • 裝幀：平裝
  • 頁數：340
人民幣：RMB 119 元      售價：元
放入購物車
加入收藏夾
內容大鋼
    本書系統解析Transformer的核心原理，從理論到實踐，幫助讀者全面掌握其在語言模型中的應用，並通過豐富案例剖析技術細節。本書共12章，內容涵蓋Transformer模型的架構原理、自注意力機制及其相對於傳統方法的優勢，並詳細剖析BERT、GPT等經典衍生模型的應用。書中圍繞數據預處理、文本分類、序列標注、文本生成、多語言模型等核心任務，結合遷移學習、微調與優化技術，展示Transformer在語義匹配、問答系統和文本聚類等場景中的實際應用。針對企業級開發需求，還特別介紹了ONNX與TensorRT優化推理性能的最佳實踐，為大規模數據處理及低資源部署提供了解決方案。
    本書兼具理論深度與實際應用價值，內容系統，案例豐富，適合大模型及NLP研發人員、工程師、數據科學研究人員以及高校師生閱讀與參考。
作者介紹
梁志遠//韓曉晨|責編:王金柱//秦山玉
目錄
引言
  一、從統計學習到Transformer崛起
  二、開發環境配置：構建高效的Transformer開發平台
第1章  Transformer與自然語言處理概述
  1.1  Transformer的基礎架構與原理
    1.1.1  多頭注意力機制的核心計算
    1.1.2  位置編碼與網路穩定性的設計
  1.2  深度學習經典架構CNN和RNN的局限性
    1.2.1  CNN在自然語言處理中的應用與局限
    1.2.2  RNN架構與長序列建模問題
  1.3  自注意力機制
    1.3.1  自注意力機制的矩陣計算原理
    1.3.2  計算複雜度與信息保持
  1.4  BERT雙向編碼器與GPT單向生成器
    1.4.1  BERT架構與雙向信息編碼
    1.4.2  GPT架構與單向生成能力
  1.5  基於Transformer的遷移學習
    1.5.1  遷移學習方法與特定任務適應性
    1.5.2  遷移學習的實際應用與優化策略
  1.6  Hugging Face平台開發基礎
    1.6.1  關於Hugging Face
    1.6.2  環境準備
    1.6.3  快速上手：使用預訓練模型
    1.6.4  數據預處理與分詞
    1.6.5  使用自定義數據集進行推理
    1.6.6  微調預訓練模型
    1.6.7  保存與載入模型
    1.6.8  部署模型到Hugging Face Hub
  1.7  本章小結
  1.8  思考題
第2章  文本預處理與數據增強
  2.1  文本數據清洗與標準化
    2.1.1  正則表達式在文本清洗中的應用
    2.1.2  詞幹提取與詞形還原技術
  2.2  分詞與嵌入技術
    2.2.1  n-gram分詞與BERT分詞原理
    2.2.2  Word2Vec與BERT詞嵌入的動態表示
  2.3  字元級別與詞級別的嵌入方法
    2.3.1  字元級嵌入模型的實現與優勢
    2.3.2  FastText在細粒度信息捕捉中的應用
  2.4  數據集格式與標籤處理
    2.4.1  JSON和CSV格式的數據讀取與處理
    2.4.2  多標籤分類的標籤編碼與存儲優化
  2.5  數據增強方法
    2.5.1  同義詞替換與句子反轉的增強策略
    2.5.2  EDA方法在數據擴充中的應用
  2.6  本章小結
  2.7  思考題
第3章  基於Transformer的文本分類
  3.1  傳統的規則與機器學習的文本分類對比

    3.1.1  基於邏輯樹和正則表達式的關鍵詞分類
    3.1.2  TF-IDF與詞嵌入在傳統分類演算法中的應用
  3.2  BERT模型在文本分類中的應用
    3.2.1  BERT特徵提取與分類頭的實現
    3.2.2  BERT在二分類與多分類任務中的微調
  3.3  數據集載入與預處理
    3.3.1  使用Hugging Face datasets庫載入數據集
    3.3.2  數據清洗與DataLoader的批處理優化
  3.4  文本分類中的微調技巧
    3.4.1  學習率調度器與參數凍結
    3.4.2  Warmup Scheduler與線性衰減
  3.5  本章小結
  3.6  思考題
第4章  依存句法與語義解析
  4.1  依存句法的基本概念
    4.1.1  依存關係術語解析：主謂賓結構與修飾關係
    4.1.2  使用SpaCy構建依存關係樹與句法提取
  4.2  基於Tree-LSTM的依存句法打分方法
    4.2.1  Tree-LSTM處理依存樹結構的實現
    4.2.2  句法結構的打分與信息傳遞機制
  4.3  使用GNN實現依存關係
    4.3.1  圖神經網路在依存結構建模中的應用
    4.3.2  節點特徵與邊權重的依存關係表示
  4.4  Transformer在依存解析中的應用
    4.4.1  BERT上下文嵌入與GNN模型的結合
    4.4.2  混合模型在依存關係建模中的應用
  4.5  依存句法與語義角色標注的結合
    4.5.1  語義角色標注的定義與依存關係融合
    4.5.2  使用AllenNLP實現句法結構與語義角色標注的結合
  4.6  本章小結
  4.7  思考題
第5章  序列標注與命名實體識別
  5.1  序列標注任務與常用方法
    5.1.1  BIO編碼與標籤平滑技術
    5.1.2  條件隨機場層的數學原理與實現
  5.2  雙向LSTM與CRF的結合
    5.2.1  雙向LSTM的結構與工作原理
    5.2.2  ELMo模型的上下文嵌入與序列標注
  5.3  BERT在命名實體識別中的應用
    5.3.1  BERT的CLS標記與Token向量在NER中的作用
    5.3.2  NER任務的微調流程與代碼實現
  5.4  實體識別任務的模型評估
    5.4.1  NER評估標準：準確率、召回率與F1分數
    5.4.2  各類實體的性能評估與代碼實現
  5.5  結合Gazetteers與實體識別
    5.5.1  領域特定詞典的構建與應用
    5.5.2  結合詞典信息提升實體識別準確性
  5.6  本章小結
  5.7  思考題
第6章  文本生成任務的Transformer實現

  6.1  生成式文本任務的基本方法
    6.1.1  n-gram模型與馬爾可夫假設
    6.1.2  n-gram模型在長文本生成中的局限性
  6.2  優化生成策略
    6.2.1  Greedy Search與Beam Search演算法
    6.2.2  Top-K採樣與Top-P採樣
  6.3  T5模型在文本摘要中的應用
    6.3.1  T5編碼器-解碼器架構在文本摘要中的應用
    6.3.2  T5模型的任務指令化微調與應用優化
  6.4  生成式Transformer模型的比較
    6.4.1  GPT-2、T5和BART的架構區別與生成任務適配
    6.4.2  生成式模型在文本摘要和對話生成中的對比應用
  6.5  Transformer在對話生成中的應用
    6.5.1  對話生成模型的上下文保持與一致性
    6.5.2  使用GPT-2與DialoGPT構建多輪對話生成系統
  6.6  文本生成的端到端實現
    6.6.1  新聞摘要任務的文本生成流程
    6.6.2  多種生成方式結合：提升生成質量
  6.7  本章小結
  6.8  思考題
第7章  多語言模型與跨語言任務
  7.1  多語言詞嵌入與對齊技術
    7.1.1  對抗訓練在詞嵌入對齊中的應用
    7.1.2  跨語言文本相似度計算的投影矩陣方法
  7.2  XLM與XLM-R的實現
    7.2.1  XLM與XLM-RoBERTa在多語言任務中的模型結構
    7.2.2  多語言文本分類與翻譯任務中的應用實例
  7.3  使用XLM-RoBERTa進行多語言文本分類
    7.3.1  XLM-RoBERTa的載入與微調流程
    7.3.2  標籤不均衡與語言分佈不平衡的處理技巧
  7.4  跨語言模型中的翻譯任務
    7.4.1  XLM-RoBERTa在翻譯任務中的應用
    7.4.2  翻譯任務的模型微調與質量提升策略
  7.5  多語言模型的代碼實現與評估
    7.5.1  多語言模型的數據載入與訓練實現
    7.5.2  BLEU與F1分數在跨語言任務中的評估應用
    7.5.3  多語言模型綜合應用示例
  7.6  本章小結
  7.7  思考題
第8章  深度剖析注意力機制
  8.1  Scaled Dot-Product Attention的實現
    8.1.1  查詢、鍵和值的矩陣計算與縮放
    8.1.2  softmax歸一化與注意力權重的提取與分析
  8.2  多頭注意力的實現細節與優化
    8.2.1  多頭注意力的並行計算與輸出拼接
    8.2.2  初始化方法與正則化技巧防止過擬合
  8.3  層歸一化與殘差連接在注意力模型中的作用
    8.3.1  層歸一化的標準化與穩定性提升
    8.3.2  殘差連接在信息流動與收斂性中的作用
  8.4  注意力機制在不同任務中的應用

    8.4.1  機器翻譯與摘要生成中的注意力應用實例
    8.4.2  注意力權重可行性解釋
  8.5  Attention Is All You Need論文中的代碼實現
    8.5.1  多頭注意力與前饋神經網路的分步實現
    8.5.2  位置編碼的實現與代碼逐行解析
  8.6  本章小結
  8.7  思考題
第9章  文本聚類與BERT主題建模
  9.1  文本聚類任務概述
    9.1.1  K-means演算法在文本聚類中的應用
    9.1.2  層次聚類演算法的實現與潛在類別發現
  9.2  使用Sentence-BERT進行聚類
    9.2.1  Sentence-BERT的文本嵌入表示
    9.2.2  短文本與長文本聚類的相似度分析
  9.3  BERT在主題建模中的應用
    9.3.1  BERT與LDA結合實現主題模型
    9.3.2  動態嵌入生成語義化主題表示
  9.4  本章小結
  9.5  思考題
第10章  基於語義匹配的問答系統
  10.1  使用Sentence-BERT進行語義相似度計算
    10.1.1  句子嵌入在語義相似度中的應用
    10.1.2  餘弦相似度的計算與代碼實現
  10.2  語義匹配任務中的數據標注與處理
    10.2.1  數據標注格式設計
    10.2.2  數據不平衡問題：重採樣與加權
  10.3  基於BERT的問答系統
    10.3.1  BERT在SQuAD數據集上的微調流程
    10.3.2  CLS與SEP標記在問答任務中的作用
  10.4  使用DistilBERT進行MRC優化
    10.4.1  DistilBERT的蒸餾過程與模型簡化
    10.4.2  DistilBERT在問答系統中的高效應用
  10.5  本章小結
  10.6  思考題
第11章  常用模型微調技術
  11.1  微調基礎概念
    11.1.1  凍結層與解凍策略的應用場景
    11.1.2  微調中的參數不對稱更新
  11.2  使用領域數據微調BERT模型
    11.2.1  金融與醫學領域數據的預處理與標籤平衡
    11.2.2  BERT微調過程中的參數初始化與學習率設置
  11.3  參數高效微調（PEFT）進階
    11.3.1  LoRA、Prefix Tuning的實現與應用
    11.3.2  Adapter Tuning的工作原理與代碼實現
  11.4  本章小結
  11.5  思考題
第12章  高級應用：企業級系統開發實戰
  12.1  基於Transformer的情感分析綜合案例
    12.1.1  基於BERT的情感分類：數據預處理與模型訓練
    12.1.2  Sentence-BERT文本嵌入

    12.1.3  情感分類結果綜合分析
  12.2  使用ONNX和TensorRT優化推理性能
    12.2.1  Transformer模型的ONNX轉換步驟
    12.2.2  TensorRT量化與裁剪技術的推理加速
    12.2.3  ONNX Runtime的多線程推理優化與分散式部署
    12.2.4  TensorRT動態批量大小支持與自定義運算元優化
  12.3  構建NLP企業問答系統
    12.3.1  清洗、增強和格式化數據
    12.3.2  模型訓練、微調及推理服務支持
    12.3.3  RESTful API介面
    12.3.4  系統狀態記錄與異常監控
    12.3.5  系統開發總結
  12.4  本章小結
  12.5  思考題

  • 商品搜索：
  • | 高級搜索
首頁│ 新手上路│ 客服中心│ 關於我們│ 聯絡我們│ Top↑│
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話：02-2381-2033 02-2381-1863　時間：週一-週五 10:00-17:00
　服務信箱：bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證：浙B2-20060032