自然語言處理(基於深度學習的理論和實踐微課視頻版)/跟我一起學人工智慧
內容大鋼
自然語言處理是人工智慧時代最為重要的技術之一,其應用廣泛,涵蓋大數據搜索、推薦系統、語言翻譯、智慧醫療等領域。在過去的十年裡,深度學習方法在自然語言處理任務中取得了巨大成功。ChatGPT和文心一言等一系列大型語言模型的成功應用充分展示了基於深度學習的自然語言處理的潛力。本書以理論基礎為核心,通過豐富的實例,系統地引導讀者學習基於深度學習的自然語言處理知識與技術。
本書包括基礎篇(第1?6章)和應用篇(第7?11章)兩篇。第1?4章介紹自然語言處理的基礎知識,Python編程基礎及相關的自然語言處理庫;第5章和第6章探討深度學習的相關知識和技術;第7?11章結合具體的自然語言處理任務,闡述深度學習技術在這些任務中的研究和應用。本書各章均配有相應的PPT課件資源,並提供了常用術語的中英文對照表,配有多個微視頻,有助於讀者高效地學習相關知識。本書可作為高等院校和培訓機構相關專業的教材及教學參考書,也可作為對該領域感興趣的讀者的入門指南。
作者介紹
編者:楊華|責編:趙佳霓
楊華,博士,專註於人工智能研究,專業領域涵蓋自然語言處理和智能檢索等方面。博士后研究期間積累了豐富的理論和實踐經驗。曾在多個國際項目中擔任研發實施負責人,為項目的理論研究與應用實現做出了重大貢獻。多次率隊參加國際學術和測評會議,取得了優異成績,積累了豐富的比賽經驗和自然語言處理相關任務的實戰經驗。目前主要致力於人工智慧領域的科研和教學工作,擔任碩士生導師,講授本科生和研究生課程,包括「自然語言處理」和「數據科學與工程」等。
目錄
基礎篇
第1章 從ChatGPT談起
1.1 ChatGPT概述
1.1.1 認識ChatGPT
1.1.2 ChatGPT的主要功能
1.1.3 其他大語言模型
1.2 ChatGPT和自然語言處理
1.2.1 ChatGPT用到的自然語言處理技術
1.2.2 預訓練模型
1.2.3 ChatGPT技術架構淺談
1.2.4 ChatGPT在自然語言處理中的優勢和創新之處
1.2.5 ChatGPT與其他自然語言處理技術的結合與拓展
1.3 ChatGPT的應用領域
1.4 ChatGPT的重要意義
1.5 ChatGPT發展展望
1.6 ChatGPT的倫理問題
1.7 本章小結
第2章 自然語言處理基礎
2.1 自然語言概述
2.2 自然語言處理的發展歷程
2.3 自然語言處理與人工智慧
2.4 自然語言處理相關研究內容
2.4.1 詞法分析
2.4.2 句法分析
2.4.3 語義分析
2.4.4 信息抽取
2.5 自然語言處理相關應用
2.5.1 文本檢索
2.5.2 問答系統
2.5.3 機器翻譯
2.5.4 推薦系統
2.5.5 其他應用
2.6 本章小結
第3章 Python編程語言基礎
3.1 Python集成開發環境
3.1.1 Anaconda的下載與安裝
3.1.2 Spyder的使用
3.1.3 Jupyter Notebook的使用
3.2 Python程序設計
3.2.1 變數與數據類型
3.2.2 運算和函數
3.3 本章小結
第4章 自然語言處理相關工具庫
4.1 Scikit-learn
4.2 NumPy
4.3 Pandas
4.4 NLTK
4.5 Matplotlib
4.5.1 Matplotlib的主要對象
4.5.2 圖形繪製流程
4.6 TensorFlow
4.7 PyTorch
4.8 飛槳
4.9 本章小結
第5章 深度學習基礎
5.1 感知機
5.2 簡單神經網路
5.2.1 簡單神經網路框梨
5.2.2 激活函數
5.2.3 損失函數
5.2.4 梯度法
5.2.5 神經網路構建線性回歸模型
5.2.6 神經網路構建邏輯回歸模型
5.3 三層神經網路
5.4 深度學習與自然語言處理
5.5 本章小結
第6章 卷積神經網路
6.1 卷積神經網路概念
6.2 卷積神經網路模型結構
6.3 卷積層
6.4 池化層
6.5 代表性卷積神經網路
6.5.1 LeNet
6.5.2 AlexNet
6.5.3 VGGNet
6.5.4 GoogLeNet
6.5.5 ResNet
6.6 本章小結
應用篇
第7章 文本的局部式表示
7.1 向量空間模型
7.2 One-Hot Encoding
7.2.1 One-Hot Encoding簡介
7.2.2 One-Hot Encoding示例
7.2.3 One-Hot Encoding的Python實現
7.2.4 One-Hot Encoding的特點
7.3 BoW模型
7.3.1 BoW模型簡介
7.3.2 基本BoW模型
7.3.3 基本BoW模型的Python實現
7.3.4 基本BoW模型的特點
7.4 TF-IDF模型
7.4.1 TF-IDF模型簡介
7.4.2 TF-IDF的計算
7.4.3 TF-IDF模型的Python實現
7.4.4 TF-IDF模型的特點
7.4.5 TF-IDF模型的應用
7.5 N-Gram模型
7.5.1 N-Gram模型簡介
7.5.2 N-Gram模型的Python實現
7.5.3 N-Gram模型的應用
7.5.4 N-Gram模型的特點
7.6 本章小結
第8章 深度學習和詞嵌入模型
8.1 靜態詞嵌入模型
8.1.1 Word2 Vec模型
8.1.2 GloVe模型
8.1.3 FastText模型
8.2 動態詞嵌入模型
8.2.1 ELMO模型
8.2.2 OpenAI-GPT模型
8.2.3 BERT模型
8.3 深度學習中的詞嵌入
8.3.1 RNN與詞嵌入
8.3.2 CNN與詞嵌入
8.3.3 Transformer與詞嵌入
8.3.4 預訓練大模型的詞嵌入
8.4 詞嵌入的評估
8.4.1 外在評估
8.4.2 內在評估
8.5 詞嵌入的應用
8.6 未來發展和趨勢
8.7 本章小結
第9章 基於深度學習的文本語義計算
9.1 相似度任務場景
9.2 文本蘊含
9.3 文本重複
9.4 文本衝突
9.5 文本矛盾
9.6 距離函數
9.6.1 歐氏距離
9.6.2 餘弦距離
9.6.3 馬氏距離
9.6.4 曼哈頓距離
9.6.5 切比雪夫距離
9.7 基於深度學習的相似度模型
9.7.1 Siamese Networks
9.7.2 Triplet Networks
9.7.3 文本嵌入
9.8 相似度問題實例
9.8.1 文本相似度
9.8.2 圖像相似度
9.8.3 音頻相似度
9.9 本章小結
第10章 基於深度學習的文本分類
10.1 文本分類概述
10.1.1 文本分類任務背景
10.1 ,2文本分類理論思想
10.1.3 文本數據預處理
10.1 ,4文本特徵處理
10.1.5 文本分類的形式化定義
10.1.6 文本分類的評測與評價
10.2 神經網路模型的文本分類
10.2.1 CNN的文本分類
10.2.2 RNN的文本分類
10.2.3 LSTM的文本分類
10.3 Transformer的文本分類
10.3.1 人類的視覺注意力
10.3.2 Attention的本質思想
10.3.3 Attention的工作原理和應用
10.3.4 Transformer的文本分類
10.4 預訓練模型的文本分類
10.4.1 GPT模型
10.4.2 BERT模型
10.5 本章小結
第11章 基於深度學習的文本檢索
11.1 文本檢索相關概念
11.2 文本檢索模型
11.2.1 經典檢索模型
11.2.2 文本的排序
11.3 文本檢索的評估
11.3.