作者介紹
編者:呂欣//王夢寧|責編:方小麗|總主編:譚躍進//陳國青//呂欣
呂欣，中國人民解放軍國防科技大學系統工程學院首席專家,教授,博士生導師，「對抗性複雜系統智能決策」創新研究群體負責人。主要研究方向為大數據、複雜網路、應急管理等,研究成果廣泛應用在地震、颱風、疫情等國內外重大突發事件的應急響應中,關於應用移動大數據支撐應急救援的工作被《麻省理工科技評論》列為「全球十大突破性技術」,關於高風險人群網路抽樣和統計推斷的工作被命名為「呂-估計量」。研究成果發表在Nature、PNAS、Nature Microbiology Nature Communications、Physics Reports等高水平期刊上,得到《人民日報》、《解放軍報》《科技日報》、《紐約時報》、新華社、BBC等高度正面評價。多次入選全球前2%頂尖科學家榜單，獲全球移動大獎（The Global MobileAwards, GLOMOAwards）,國家級教學成果獎二等獎,湖南省高等教育教學成果獎特等獎，深圳市科技進步獎一等獎，教育部高等學校科學研究優秀成果獎（科學技術）二等獎，軍隊科學技術進步獎二等獎，霍英東教育基金會高等院校青年科學獎等。
目錄
第1章 緒論
1.1 大數據時代
1.2 大數據基本概念
1.2.1 大數據定義與內涵
1.2.2 大數據的主要特徵
1.3 大數據與數據挖掘
1.3.1 大數據挖掘相關概念
1.3.2 數據挖掘基本流程
1.3.3 數據挖掘技術體系
1.3.4 大數據時代的挑戰
1.4 大數據挖掘的典型應用
1.4.1 金融大數據
1.4.2 醫療大數據
1.4.3 製造業大數據
1.4.4 社交媒體大數據
1.5 大數據挖掘隱私與倫理問題
1.5.1 數據挖掘隱私問題
1.5.2 數據挖掘倫理問題
1.5.3 數據挖掘行為規範
本章小結
第2章 數據描述與統計指標
2.1 數據預處理
2.1.1 數據預處理概要
2.1.2 數據清洗
2.1.3 數據集成
2.1.4 數據獅
2.1.5 數據變換
2.1.6 實踐案例：線上零售交易數據預處理
2.2 數據屬性
2.2.1 標稱屬性
2.2.2 係數屬性
2.2.3 數值屬性
2.2.4 離散屬性與連續屬性
2.3 數據描述性統計
2.3.1 集中趨勢度量
2.3.2 離散程度度量
2.3.3 分佈形態度量
2.3.4 描述性統計常用工具
2.3.5 實踐案例：化妝品銷售數據描述性統計分析
2.4 數據可視化
2.4.1 條形圖
2.4.2 餅圖
2.4.3 箱線圖
2.4.4 直方圖
2.4.5 折線圖
2.4.6 散點圖
2.4.7 氣泡圖
2.4.8 數據可視化常用工具
2.4.9 實踐案例：鑽石屬性數據可視化分析
本章小結
第3章 相關分析
3.1 認識函數關係與相關關係
3.1.1 函數關係
3.1.2 相關關係
3.2 線性相關分析
3.2.1 相關分析的正態性檢驗
3.2.2 Pearson 相關係數
3.2.3 Spearman 秩相關係數
3.2.4 Kendall等級相關係數
3.2.5 實踐案例：網路直播大數據和亞馬遜評論數據相關分析
3.3 非線性相關分析
3.3.1 認識非線性相關性
3.3.2 互信息
3.3.3 最大信息緣
3.3.4 實踐案例：橋樑振動的相關分析
3.4 偏相關分析
3.4.1 偏相關分析概述
3.4.2 實踐案例：國內主要城市年度統計指標數據偏相關分析
3.5 距離相關分析
3.5.1 距離度量方法
3.5.2 實踐案例：用戶相似性度量
本章小結
第4章 回歸分析
4.1 回歸分析概論
4.1.1 高爾頓身高回歸研究
4.1.2 回歸分析概述
4.1.3 回歸模型的評價指標
4.2 線性回歸
4.2.1 一元線性回歸
4.2.2 實踐案例：直播平台觀眾數預測
4.2.3 多元線性回歸
4.2.4 實踐案例：基於多元線性回歸的汽車燃油效率預測
4.3 多重共線性
4.3.1 認識多重共線性
4.3.2 多重共線性的診斷
4.3.3 多重共線性的解決方案
4.4 嶺回歸
4.4.1 嶺回歸概述
4.4.2 嶺參數的選擇
4.4.3 實踐案例：基於嶺回歸的汽車燃油效率預測
4.5 LASSO 回歸
4.5.1 LASSO 回歸概述
4.5.2 坐標下降法
4.5.3 實踐案例：基於LASSO回歸的汽車燃油效率預測
4.6 非線性回歸
4.6.1 本質線性模型
4.6.2 本質非線性模型
4.6.3 實踐案例：基於工齡的月薪預測
本章小結
第5章 數據降維
5.1 降維的基本概念
5.1.1 降維的定義及原理
5.1.2 降維演算法分類
5.2 奇異值分解
5.2.1 奇異值分解基本原理
5.2.2 奇異值分解演算法評價
5.2.3 實踐案例：基於奇異值分解的圖像壓縮
5.3 主成分分析
5.3.1 主成分分析基本原理
5.3.2 主成分分析演算法評價
5.3.3 實踐案例：基於主成分分析的鳶尾花數據集分析
5.4 因子分析
5.4.1 因子分析基本原理
5.4.2 因子分析演算法評價
5.4.3 實踐案例：基於因子分析的人格特徵潛在因子挖掘
5.5 多維尺度變換
5.5.1 多維尺度變換基本原理
5.5.2 多維尺度變換演算法評價
5.5.3 實踐案例：基於多維尺度變換的人臉數據集降維
5.6 等距特徵映射
5.6.1 等距特徵映射基本原理
5.6.2 等距特徵映射演算法評價
5.6.3 實踐案例：基於等距特徵映射的S狀流形模型降維
5.7 線性判別分析
5.7.1 線性判別分析基本原理
5.7.2 線性判別分析演算法評價
5.7.3 實踐案例：基於線性判別分析的三維數據集降維
5.8 t-SNE
5.8.1 t-SNE基本原理
5.8.2 t-SNE演算法評價
5.8.3 實踐案例：基於t-SNE的手寫數字數據集降維
5.9 UMAP
5.9.1 UMAP演算法基本思想
5.9.2 UMAP演算法評價
5.9.3 實踐案例：基於UMAP的手寫數字數據集降維
本章小結
第6章 關聯規則挖掘
6.1 關聯規則挖掘概要
6.1.1 關聯規則的含義
6.1.2 頻繁項集
6.1.3 閉頻繁項集和極大頻繁項集
6.1.4 從頻繁項集到關聯規則
6.1.5 關聯模式的評估
6.2 Apriori 演算法
6.2.1 Apriori演算法基本原理
6.2.2 Apriori演算法應用與評價
6.2.3 Apriori演算法的優化
6.2.4 實踐案例：基於Apriori演算法的超市商品購買記錄關聯分析
6.3 FP-growth 演算法
6.3.1 FP-growth演算法基本原理
6.3.2 FP-growth演算法應用與評價
6.3.3 實踐案例：基於FP-growth演算法消費者購物時間偏好關聯分析
6.4 Eclat 演算法
6.4.1 Eclat演算法基本原理
6.4.2 Eclat演算法應用與評價
6.4.3 實踐案例：基於Eclat演算法的糖尿病癥狀關聯分析
6.5 H-mine 演算法
6.5.1 H-mine演算法基本原理
6.5.2 H-mine演算法應用與評價
6.5.3 實踐案例：基於H-mine演算法的新聞推薦
本章小結
第7章 分類
7.1 分類霞概要
7.1.1 分類定義及原理
7.1.2 常用分類演算法
7.1.3 分類演算法評價指標
7.2 K-近鄰
7.2.1 K-近鄰基本原理
7.2.2 K-近鄰主要參數
7.2.3 K-近鄰演算法應用與評價
7.2.4 實踐案例：基於K-近鄰的廣告點擊預測
7.3 樸素貝葉斯分類
7.3.1 貝葉斯分類基本原理
7.3.2 樸素貝葉斯分類原理
7.3.3 零頻現象的拉普拉斯修正
7.3.4 樸素貝葉斯演算法應用與評價
7.3.5 實踐案例：基於樸素貝葉斯預測恆星類型
7.4 決策樹
7.4.1 決策樹基本原理
7.4.2 ID
7.4.3 C4.
7.4.4 CART
7.4.5 決策樹演算法應用與評價
7.4.6 實踐案例：基於決策樹的旅遊業客戶流失預測
7.5 Logistic 回歸
7.5.1 從線性回歸到Logistic回歸
7.5.2 Logistic回歸的損失函數
7.5.3 通過梯度下降求解最優參數
7.5.4 OvR和OvO
7.5.5 Logistic回歸演算法應用與評價
7.5.6 實踐案例：基於Logistic回歸的肝病預測
7.6 支持向量機
7.6.1 支持向量機概述
7.6.2 線性可分支持向量機
7.6.3 線性支持向量機
7.6.4 非線性支持向量機
7.6.5 支持向量機演算法應用與評價
7.6.6 實踐案例：不良用戶識別
7.7 人工神經網路
7.7.1 感知機
7.7.2 XOR問題
7.7.3 多層感知樹莫型
7.7.4 誤差反向傳播演算法
7.7.5 深度神經網路
7.7.6 實踐案例：基於面部特徵的性別分類
本章小結
第8章 聚類
8.1 聚類演算法概要
8.1.1 聚類的基本原理
8.1.2 聚類演算法的分類
8.1.3 聚類演算法評價指標
8.1.4 簇數量的確定
8.2 層次聚類
8.2.1 層次聚類演算法基本原理
8.2.2 層次聚類演算法應用與評價
8.2.3 實踐案例：基於層次聚類的小麥種子聚類
8.3 K-means聚類
8.3.1 K-means演算法基本原理
8.3.2 質心的初始化
8.3.3 K-means演算法應用與評價
8.3.4 實踐案例：基於K-means消費者畫像構建
8.4 高斯混合聚類
8.4.1 高斯混合聚類基本原理
8.4.2 高斯混合聚類流程
8.4.3 高斯混合聚類應用與評價
8.4.4 實踐案例：基於高斯混合聚類的食品聚類
8.5 DBSCAN演算法
8.5.1 DBSCAN演算法基本原理
8.5.2 DBSCAN演算法應用與評價
8.5.3 實踐案例：基於DBSCAN的用戶信用卡數據聚類
8.6 OPTICS 演算法
8.6.1 OPTICS演算法基本原理
8.6.2 OPTICS演算法應用與評價
8.6.3 實踐案例：OPTICS與DBSCAN演算法對比
8.7 譜聚類演算法
8.7.1 譜聚類演算法基本原理
8.7.2 譜聚類演算法應用與評價
8.7.3 實踐案例：基於譜聚類的股票數據聚類
本章小結
第9章 異常檢測
9.1 異常檢測演算法概要
9.1.1 異常與異常檢測
9.1.2 異常檢測演算法的分類
9.1.3 異常檢測的常用數據集
9.2 基於統計理論的異常檢測
9.2.1 3*準則
9.2.2 箱線圖
9.2.3 基於直方圖的異常值得分
9.2.4 累積和法
9.2.5 實踐案例：基於箱線圖的wiki網路流量異常檢測
9.3 基於空間分佈的異常檢測
9.3.1 孤立森林
9.3.2 局部異常因子
9.3.3 實踐案例：基於局部異常因子的信用卡欺詐行為檢測
9.4 基於降維的異常檢測
9.4.1 主成分分析
9.4.2 自編碼器
9.4.3 實踐案例：基於主成分分析的飛機發動機異常狀態識別
9.5 基於預測的異常檢測
9.5.1 向量自回歸模型
9.5.2 自回歸差分移動平均模型
9.5.3 LSTM網路模型
9.5.4 實踐案例：基於LSTM的股票收盤價格異常檢測
9.6 延伸閱讀——WSARE
本章小結
第10章 集成學習
10.1 集成學習概要
10.1.1 集成學習的定義及原理
10.1.2 Bagging（裝袋）
10.1.3 Boosting（提升）
10.1.4 Stacking（堆疊)
10.1.5 集成學習的結合策略
10.2 隨機森林
10.2.1 隨機森林基本原理
10.2.2 隨機森林演算法應用與評價
10.2.3 實踐案例：基於隨機森林演算法的銀行危機預測
10.3 AdaBoost
10.3.1 加法模型
10.3.2 前向分佈演算法
10.3.3 AdaBoost求解步驟
10.3.4 AdaBoost演算法應用與評價
10.3.5 實踐案例：基於AdaBoost演算法的馬疝病預測
10.4 梯度提升樹
10.4.1 回歸樹基本原理
10.4.2 梯度提升樹基本原理
10.4.3 梯度提升樹演算法應用與評價
10.4.4 實踐案例：基於梯度提升樹演算法的充電樁故障狀態預測
10.5 XGBoost
10.5.1 XGBoost基本原理
10.5.2 XGBoost目標函數構建
10.5.3 XGBoost目標函數求解
10.5.4 XGBoost演算法應用與評價
10.5.5 實踐案例：基於XGBoost演算法的產品定價預測
10.6 LightGBM
10.6.1 LightGBM 的基本思想
10.6.2 直方圖演算法
10.6.3 梯度單邊採樣演算法
10.6.4 互斥特徵捆綁演算法
10.6.5 LightGBM演算法應用與評價
10.6.6 實踐案例：基於LightGBM演算法的中風預測
本章小結
[