深度學習/中國科學院大學研究生教材系列/人工智慧技術叢書
內容大鋼
深度學習是人工智慧的重要分支，在多個應用領域取得了突破性成果。本書作為深度學習的入門教材，基本涵蓋了深度學習的各個方面。全書共8章，第1章概要介紹了深度學習的基本概念、典型演算法及應用；第2?5章是本書的核心內容，詳細介紹了卷積神經網路、循環神經網路、Transformer和生成對抗網路的基本原理、典型演算法以及主要應用；第6章介紹了一些典型的深度生成模型以及近期比較流行的擴散模型；第7章介紹了深度學習中常用的正則化與優化方法；第8章介紹了TensorFlow、PyTorch和飛槳三個常用的深度學習框架。本書每章都附有複習題，中間各章還附有實驗題，便於讀者複習知識點和進行實踐鍛煉。此外，附錄中還給出了一些數學基礎知識和中英文術語對照。
本書可作為高等院校電腦科學與技術、智能科學與技術、自動化、電子科學與技術等相關專業的研究生或本科生教材，也可作為深度學習研究人員與演算法工程師的參考書。
作者介紹
徐俊剛|責編:李永泉
徐俊剛
中國科學院大學電腦科學與技術學院教授，博士生導師，雲計算與智能信息處理實驗室(Cloud Computing & Intelligent Information Processing Lab, CCIP實驗室)主任，中國科學院大學第六屆學位評定委員會電腦與控制學位評定委員會委員，電腦科學與技術學院教學委員會委員，電腦科學與技術學院「深度學習」課程首席教授。2003年博士畢業於中國科學院軟體研究所，2005年清華大學電腦科學與技術系博士后出站。研究領域包括深度學習、自動機器學習和多模態智能分析等，主持國家科技支撐計劃課題、國家自然科學基金面上項目、北京市科技計劃課題、北京市自然科學基金面上項目等科研項目多項，發表論文100余篇。現為國家科技專家庫專家，北京市科學技術委員會、中關村科技園區管理委員會專家。目前任中國人工智慧學會智能服務專業委員會常務委員，中國電腦學會人工智慧與模式識別專業委員會執行委員、資料庫專業委員會執行委員和自然語言處理專業委員會執行委員。講授的「深度學習」課程被評為2021年中國科學院大學「校級優秀研究生課程」，個人榮獲2016年「中國科學院朱李月華優秀教師獎」
目錄
序
前言
主要符號表
第1章 引言
1.1 深度學習的起源與發展
1.1.1 深度學習的起源
1.1.2 深度學習的發展
1.2 深度學習與機器學習、人工智慧的關係
1.2.1 人工智慧
1.2.2 機器學習
1.2.3 深度學習
1.3 深度學習的基本概念和典型演算法
1.3.1 深度學習的基本概念
1.3.2 典型深度學習演算法
1.4 深度學習的主要應用概述
1.4.1 深度學習在電腦視覺領域的應用
1.4.2 深度學習在語音處理領域的應用
1.4.3 深度學習在自然語言處理領域的應用
1.4.4 深度學習在多模態處理領域的應用
1.5 本書的組織結構
複習題
參考文獻
本章人物：Geoffrey Hinton教授
第2章 卷積神經網路
2.1 卷積神經網路的起源與發展
2.1.1 卷積神經網路的起源
2.1.2 卷積神經網路的發展
2.2 卷積神經網路的基本結構
2.2.1 卷積層
2.2.2 激活函數
2.2.3 池化層
2.2.4 全連接層
2.2.5 輸出層
2.3 卷積神經網路的訓練
2.3.1 卷積神經網路的訓練過程
2.3.2 池化層的訓練
2.3.3 卷積層的訓練
2.4 典型卷積神經網路
2.4.1 LeNet
2.4.2 AlexNet
2.4.3 VGGNet
2.4.4 GoogleNet
2.4.5 ResNet
2.5 卷積神經網路的主要應用
2.5.1 目標檢測
2.5.2 圖像分割
2.5.3 姿態估計
2.5.4 人臉識別
複習題
實驗題
參考文獻
本章人物：Yann LeCun教授
第3章 循環神經網路
3.1 循環神經網路的起源與發展
3.2 循環神經網路的訓練
3.3 長短期記憶網路
3.4 循環神經網路的變種
3.4.1 GRU
3.4.2 雙向RNN
3.4.3 堆疊RNN
3.5 循環神經網路的典型應用
3.5.1 語言模型
3.5.2 自動文本摘要
3.5.3 機器閱讀理解
複習題
實驗題
參考文獻
本章人物：J?rgen Schmidhuber教授
第4章 Transformer
4.1 注意力機制
4.1.1 注意力機制的Encoder-Decoder結構
4.1.2 注意力機制的分類
4.2 Transformer概述
4.2.1 Transformer的結構
4.2.2 Transformer的輸入編碼
4.2.3 Transformer中的自注意力機制
4.2.4 Transformer中的其他細節
4.2.5 基於Transformer的大規模預訓練模型
4.3 GPT系列模型
4.3.1 GPT
4.3.2 GPT
4.3.3 GPT
4.3.4 InstructGPT和ChatGPT
4.4 BERT系列模型
4.4.1 與其他大規模預訓練模型的區別
4.4.2 BERT的架構與參數
4.4.3 BERT的輸入表示
4.4.4 BERT的訓練
4.4.5 BERT的變種
4.5 Swin Transformer
4.5.1 Swin Transformer的提出
4.5.2 Swin Transformer結構
4.5.3 Swin Transformer的滑動窗口機制
4.6 Transformer的主要應用
4.6.1 自然語言處理領域
4.6.2 電腦視覺領域
4.6.3 多模態領域
複習題
實驗題
參考文獻
本章人物：Yoshua Bengio教授
第5章 生成對抗網路
5.1 GAN的基本原理
5.1.1 零和博弈
5.1.2 GAN的基本結構
5.1.3 GAN的目標函數
5.1.4 GAN的訓練
5.2 GAN的優化與改進
5.2.1 限定條件優化
5.2.2 迭代式生成優化
5.2.3 結構優化
5.3 GAN的主要應用
5.3.1 圖像生成
5.3.2 圖像轉換
5.3.3 圖像超解析度重建
5.3.4 音樂生成
5.3.5 異常檢測
複習題
實驗題
參考文獻
本章人物：Ian Goodfellow博士
第6章 深度生成模型
6.1 深度生成模型概述
6.2 Hopfield神經網路
6.3 玻爾茲曼機與受限玻爾茲曼機
6.3.1 玻爾茲曼機
6.3.2 受限玻爾茲曼機
6.4 Sigmoid信念網路與深度信念網路
6.4.1 Sigmoid信念網路
6.4.2 深度信念網路
6.5 深度玻爾茲曼機
6.6 自編碼器及其變種
6.6.1 自編碼器
6.6.2 降噪自編碼器
6.6.3 稀疏自編碼器
6.6.4 深度自編碼器
6.7 擴散模型
6.7.1 前向過程
6.7.2 逆向過程
6.7.3 DDPM的訓練
6.8 深度生成模型的應用
複習題
實驗題
參考文獻
本章人物：David E.Rumelhart教授
第7章 正則化與優化
7.1 深度學習模型的訓練與測試
7.1.1 深度學習中的數據集劃分
7.1.2 過擬合與欠擬合
7.1.3 偏差、方差、雜訊與泛化誤差
7.1.4 深度學習模型的訓練與測試過程
7.2 參數范數正則化
7.2.1 L1參數正則化
7.2.2 L2正則化
7.3 數據增強
7.4 Bagging
7.5 提前終止
7.6 Dropout
7.7 歸一化
7.7.1 機器學習中的歸一化
7.7.2 深度學習中的歸一化
7.8 優化演算法
7.8.1 梯度下降法
7.8.2 基於動量的方法
複習題
實驗題
參考文獻
本章人物：Ilya Sutskever博士
第8章 深度學習框架
8.1 深度學習框架概述
8.2 TensorFlow
8.2.1 TensorFlow簡介
8.2.2 TensorFlow的主要功能
8.2.3 TensorFlow編程示例
8.3 PyTorch
8.3.1 PyTorch簡介
8.3.2 PyTorch的主要功能
8.3.3 PyTorch編程示例
8.4 飛槳
8.4.1 飛槳簡介
8.4.2 飛槳的主要功能
8.4.3 飛槳編程示例
複習題
參考文獻
本章人物：吳恩達教授
附錄A 數學基礎
附錄B 中英文術語對照
[