目錄
第1章 緒論
1.1 什麼是自然語言處理
1.2 自然語言處理的知識體系
1.3 自然語言處理的發展
1.4 本書安排
1.5 本章習題
第2章 語言單元獲取
2.1 語料
2.2 漢語切分
2.2.1 漢語切分任務分析
2.2.2 漢語切分技術
2.3 子詞切分
2.4 本章小結
2.5 本章習題
第3章 詞的表示
3.1 基於形符的詞表示
3.2 基於共現的詞表示
3.2.1 共現矩陣
3.2.2 GloVe模型
3.3 基於預測的詞表示
3.3.1 C&W模型
3.3.2 CBOW模型
3.3.3 Skip-gram模型
3.3.4 詞嵌入模型優化
3.4 詞向量的評價與應用
3.4.1 詞向量的評價
3.4.2 詞向量的應用
3.5 拓展閱讀
3.6 本章小結
3.7 本章習題
第4章 N-gram語言模型
4.1 N元語法
4.2 參數估計與平滑
4.2.1 n的影響
4.2.2 條件概率的估計
4.2.3 回退技術
4.2.4 平滑技術
4.3 語言模型的評估
4.3.1 N-gram模型存在的問題
4.3.2 基於詞聚類的語言模型
4.4 本章小結
4.5 本章習題
第5章 神經網路語言模型
5.1 前饋神經網路語言模型
5.1.1 模型結構
5.1.2 模型訓練
5.1.3 特別的考慮
5.2 循環神經網路語言模型
5.2.1 網路結構
5.2.2 模型訓練
5.2.3 特別的考慮
5.3 語言序列編解碼
5.3.1 序列到序列結構
5.3.2 引入注意力機制
5.3.3 其他的結構設計
5.4 語言模型與動態詞表示
5.5 本章小結
5.6 本章習題
第6章 預訓練語言模型
6.1 注意力機制
6.1.1 簡單注意力
6.1.2 多頭注意力
6.1.3 一般注意力模型
6.1.4 多頭自注意力模型
6.2 Transformer模型
6.2.1 輸入表示
6.2.2 編碼器
6.2.3 解碼器
6.2.4 模型輸出及訓練
6.3 預訓練語言模型
6.3.1 GPT模型
6.3.2 BERT模型
6.3.3 T5模型
6.4 預訓練-微調範式
6.5 拓展閱讀
6.5.1 ALBERT模型
6.5.2 RoBERTa模型
6.5.3 GLM模型
6.6 本章小結
6.7 本章習題
第7章 大語言模型
7.1 預訓練
7.1.1 模型結構
7.1.2 預訓練目標
7.1.3 預訓練數據
7.1.4 預訓練策略
7.2 指令微調
7.2.1 指令微調的概念
7.2.2 指令數據集
7.2.3 指令微調總結
7.3 人類對齊
7.3.1 微調預訓練
7.3.2 訓練獎勵模型
7.3.3 PPO優化策略
7.4 提示工程
7.4.1 提示詞的組成
7.4.2 提示工程方法
7.4.3 參數高效微調
7.5 拓展閱讀
7.5.1 GPT系列大語言模型
7.5.2 LLaMA系列大語言模型
7.6 本章小結
7.7 本章習題
第8章 大語言模型評測
8.1 評測的能力
8.2 評測任務
8.2.1 面向綜合學科能力評測的任務
8.2.2 面向理解能力評測的任務
8.2.3 面向推理能力評測的任務
8.2.4 面向安全能力評測的任務
8.2.5 面向生成能力評測的任務
8.3 評測數據集
8.3.1 綜合學科能力
8.3.2 理解能力
8.3.3 推理能力
8.3.4 安全能力
8.3.5 生成能力
8.3.6 其他一些數據集
8.4 評測指標和方法
8.5 本章小結
8.6 本章習題
第9章 大語言模型上下文長度拓展
9.1 基於注意力的上下文長度拓展方法
9.1.1 段級循環注意力
9.1.2 窗口注意力
9.1.3 雙塊注意力
9.2 基於位置編碼的上下文長度拓展方法
9.2.1 旋轉式位置編碼
9.2.2 位置插值
9.2.3 神經正切核感知插值
9.2.4 YaRN
9.3 本章小結
9.4 本章習題
第10章 大語言模型知識增強
10.1 非結構化知識增強方法
10.1.1 獲取非結構化知識的檢索技術
10.1.2 利用非結構化知識的生成方法
10.2 結構化知識增強方法
10.2.1 資料庫
10.2.2 表格
10.2.3 知識圖譜
10.3 評估
10.3.1 評估任務
10.3.2 數據集
10.3.3 評價指標和工具
10.4 本章小結
10.5 本章習題
第11章 大語言模型智能體
11.1 大語言模型單智能體
11.1.1 智能體的感知
11.1.2 智能體的規劃
11.1.3 智能體的記憶
11.1.4 智能體的動作
11.1.5 智能體應用
11.2 大語言模型多智能體
11.2.1 大語言模型多智能體的應用
11.2.2 大語言模型多智能體的通信
11.2.3 大語言模型多智能體的人設
11.2.4 大語言模型多智能體的能力增強
11.3 本章小結
11.4 本章習題
第12章 融合視覺信息的自然語言處理
12.1 視覺語言多模態任務
12.2 多模態學習基礎技術
12.2.1 表示技術
12.2.2 對齊技術
12.2.3 融合技術
12.2.4 轉換技術
12.3 視覺語言多模態預訓練模型
12.3.1 總體框架
12.3.2 預訓練數據集
12.3.3 模型
[