雲計算與大數據技術/新工科建設大數據技術與數據分析系列

作者：編者:張冰峰|責編:劉瑀
出版社：電子工業
ISBN：9787121480225

出版日期：2024/06/01
裝幀：平裝
頁數：290

人民幣：RMB 69 元售價：元

內容大鋼

本書分為兩大部分，第一部分是雲計算及雲服務關鍵技術，第二部分是大數據應用開發實踐技術。第一部分介紹大數據應用的基礎——雲計算，其中第1章主要介紹雲計算的基礎知識；第2?4章介紹雲服務實現的關鍵技術，包括虛擬化技術、數據存儲與管理技術、網路虛擬化技術；第5章介紹開源的雲服務產品管理工具，重點介紹OpenStack。第二部分以大數據技術為主線，第6章介紹大數據的基礎知識；第7章以搭建開源大數據分析平台為需求，介紹大數據分析平台與技術棧；第8?15章以大數據應用實踐流程為主線，按分層技術棧介紹數據採集工具與消息隊列、Hadoop分散式系統基礎架構、Spark計算平台、Spark平台的安裝部署與實踐、Flink計算平台與實踐、NoSQL資料庫、Hive數據倉庫與實踐、數據可視化；第16章給出了綜合實踐的案例。
本書可作為本科和高職院校電腦、軟體、大數據相關專業的教材，也可為對雲計算與大數據技術感興趣的初學者提供參考。

作者介紹

編者:張冰峰|責編:劉瑀

第一部分  雲計算及雲服務關鍵技術
  第1章  雲計算概述
    1.1  雲計算簡介
      1.1.1  雲計算的定義
      1.1.2  雲計算的演進過程
      1.1.3  雲計算的特點
      1.1.4  雲計算的應用
      1.1.5  雲計算安全
    1.2  雲計算的產業生態
      1.2.1  雲服務的分類
      1.2.2  雲計算的產業鏈
      1.2.3  雲服務提供商及產品
    1.3  雲計算的關鍵技術
      1.3.1  分散式編程模型
      1.3.2  虛擬化技術
      1.3.3  數據存儲技術
      1.3.4  數據管理技術
      1.3.5  雲計算平台管理工具
  第2章  虛擬化概述
    2.1  虛擬化簡介
      2.1.1  什麼是虛擬化
      2.1.2  虛擬化技術的特點
      2.1.3  虛擬化與雲計算
    2.2  虛擬化模式
      2.2.1  虛擬機監控器
      2.2.2  虛擬化模式的分類
    2.3  伺服器虛擬化
      2.3.1  CPU虛擬化
      2.3.2  內存虛擬化
      2.3.3  I/O設備虛擬化
    2.4  存儲虛擬化
      2.4.1  存儲虛擬化的定義
      2.4.2  存儲虛擬化分類
    2.5  網路虛擬化
    2.6  虛擬化軟體
  第3章  數據存儲與管理技術
    3.1  集中式存儲與分散式存儲
      3.1.1  常見存儲分類
      3.1.2  集中式存儲
      3.1.3  分散式存儲
    3.2  分散式文件系統
      3.2.1  網路文件系統
      3.2.2  分散式文件系統的實現
    3.3  分散式對象存儲
      3.3.1  Swift對象存儲
      3.3.2  Haystack對象存儲
    3.4  分散式資料庫
      3.4.1  資料庫架構模型
      3.4.2  大規模並行處理資料庫
      3.4.3  分散式資料庫的發展和產品

    3.5  雲存儲
      3.5.1  雲存儲的實現
      3.5.2  公有雲存儲服務
      3.5.3  私有雲存儲服務
  第4章  網路虛擬化技術
    4.1  網路虛擬化概述
      4.1.1  常見的網路虛擬化
      4.1.2  虛擬化環境下的物理網路
      4.1.3  虛擬化環境下的虛擬網路
      4.1.4  虛擬交換機
    4.2  雲計算與網路虛擬化
      4.2.1  雲計算與網路虛擬化的關係
      4.2.2  SDN與NFV的關係
    4.3  SDN的系統架構與特點
      4.3.1  SDN的系統架構
      4.3.2  SDN的特點
    4.4  OpenFlow協議
      4.4.1  OpenFlow協議簡介
      4.4.2  OpenFlow協議架構
      4.4.3  OpenFlow交換機組成
    4.5  網路功能虛擬化
      4.5.1  網路功能虛擬化簡介
      4.5.2  NFV架構
      4.5.3  NFV管理和編排
    4.6  Overlay技術
      4.6.1  Overlay簡介
      4.6.2  Overlay構建
      4.6.3  Overlay主要技術標準
  第5章  雲服務產品管理工具
    5.1  雲服務產品IaaS雲方案
      5.1.1  IaaS雲需求
      5.1.2  IaaS雲方案的設計
      5.1.3  IaaS雲方案的實施部署
    5.2  雲計算組件
      5.2.1  VMware
      5.2.2  Citrix
      5.2.3  微軟
    5.3  雲計算管理工具
      5.3.1  SaaS雲計算管理工具
      5.3.2  PaaS雲計算管理工具
      5.3.3  IaaS雲計算管理工具
    5.4  OpenStack架構與組件
      5.4.1  OpenStack邏輯架構
      5.4.2  OpenStack物理架構
      5.4.3  OpenStack組件
第二部分  大數據應用開發實踐技術
  第6章  大數據概述
    6.1  認知大數據
      6.1.1  大數據的定義
      6.1.2  大數據的特點

      6.1.3  大數據系統架構
      6.1.4  大數據的應用
    6.2  大數據關鍵技術
    6.3  大數據與雲計算
      6.3.1  大數據與雲計算的關係
      6.3.2  雲服務平台上的大數據服務
    6.4  大數據與人工智慧
      6.4.1  大數據與人工智慧的關係
      6.4.2  雲服務平台上的人工智慧服務
    6.5  大數據與物聯網
      6.5.1  物聯網
      6.5.2  大數據與物聯網和雲計算的關係
      6.5.3  雲服務平台上的物聯網服務
  第7章  大數據分析平台與技術棧
    7.1  大數據分析平台
    7.2  大數據分析平台的選擇
    7.3  開源大數據分析平台的搭建
      7.3.1  底層操作系統
      7.3.2  分散式計算平台
      7.3.3  數據接入和預處理工具
      7.3.4  數據存儲工具
      7.3.5  數據分析和挖掘工具
      7.3.6  數據分析結果可視化及輸出
    7.4  大數據分析平台搭建可選擇的工具
  第8章  數據採集工具與消息隊列
    8.1  數據採集概述
      8.1.1  大數據來源
      8.1.2  數據採集途徑
    8.2  日誌採集工具Flume
      8.2.1  Flume簡介
      8.2.2  Flume NG的基本架構
    8.3  數據遷移工具Sqoop
      8.3.1  Sqoop簡介
      8.3.2  Sqoop架構
    8.4  流數據採集框架Kafka
      8.4.1  Kafka簡介
      8.4.2  Kafka架構
    8.5  消息隊列
      8.5.1  消息隊列簡介
      8.5.2  消息隊列的作用
      8.5.3  常見的消息隊列
  第9章  Hadoop分散式系統基礎架構
    9.1  Hadoop系統簡介
    9.2  Hadoop生態圈
      9.2.1  Hadoop生態系統
      9.2.2  Hadoop版本
    9.3  HDFS概述
      9.3.1  分散式文件系統
      9.3.2  HDFS簡介
      9.3.3  HDFS架構

      9.3.4  HDFS讀寫文件流程
      9.3.5  HDFS的Block副本放置策略和可靠性策略
    9.4  MapReduce計算框架
      9.4.1  MapReduce架構
      9.4.2  MapReduce的執行流程
      9.4.3  MapReduce的Shuffle機制
    9.5  YARN概述
      9.5.1  YARN簡介
      9.5.2  YARN的特點
      9.5.3  YARN的基本框架
      9.5.4  YARN的工作流程
    9.6  Hadoop的部署與實踐
      9.6.1  配置SSH免密碼登錄
      9.6.2  安裝Hadoop
      9.6.3  修改配置文件
      9.6.4  Hadoop的啟動和關閉
  第10章  Spark計算平台
    10.1  Spark概述
      10.1.1  Spark簡介
      10.1.2  Spark的特點
      10.1.3  Spark計算平台的生態
      10.1.4  Spark的應用場景
    10.2  Spark架構
    10.3  Spark的部署模式
    10.4  Spark的運行流程
      10.4.1  Spark的Job提交流程
      10.4.2  Spark任務調度
    10.5  Spark數據處理模型RDD
      10.5.1  RDD的概念與特點
      10.5.2  RDD分區的基本知識
      10.5.3  RDD基本操作
      10.5.4  RDD基本操作範例
      10.5.5  RDD運行過程
      10.5.6  WordCount詞頻統計案例
    10.6  Spark與Scala
  第11章  Spark平台的安裝部署與實踐
    11.1  Scala編程語言
      11.1.1  Scala簡介
      11.1.2  Scala下載與安裝
      11.1.3  Scala環境變數設置
      11.1.4  啟動Scala
      11.1.5  在IDEA中配置Scala
      11.1.6  Scala語言編程基礎
    11.2  Spark的安裝與部署
      11.2.1  Spark的安裝環境
      11.2.2  Spark Linux版本下載
      11.2.3  Scala Linux版本下載
      11.2.4  上傳Scala和Spark安裝包
      11.2.5  安裝與配置Scala和Spark
      11.2.6  啟動Spark服務

      11.2.7  Spark Web UI
    11.3  Spark編程實踐
      11.3.1  基於HDFS文件進行數據統計
      11.3.2  Spark SQL操作外部數據源
  第12章  Flink計算平台與實踐
    12.1  Flink簡介
      12.1.1  Flink及其特點
      12.1.2  Spark和Flink的比較
      12.1.3  Flink的分層抽象API
      12.1.4  Flink應用場景
    12.2  Flink軟體棧
    12.3  Flink程序
      12.3.1  Flink程序的執行流程
      12.3.2  Flink程序和數據流
      12.3.3  Flink程序流理解
    12.4  Flink運行時架構
      12.4.1  Flink運行時架構簡介
      12.4.2  Flink任務提交流程
    12.5  Flink時間處理機制
      12.5.1  Flink的3種時間
      12.5.2  Flink時間窗口
      12.5.3  Watermark
    12.6  Flink狀態和容錯機制
      12.6.1  Flink狀態
      12.6.2  Flink容錯機制
      12.6.3  Exactly-Once語義
    12.7  Flink的安裝、配置和啟動
      12.7.1  Flink的安裝和部署模式
      12.7.2  Flink安裝包的下載和上傳
      12.7.3  Flink的配置
      12.7.4  Flink的啟動
  第13章  NoSQL資料庫
    13.1  NoSQL資料庫簡介
      13.1.1  NoSQL資料庫的產生背景
      13.1.2  NoSQL資料庫的特點
      13.1.3  常見的NoSQL資料庫
    13.2  NoSQL資料庫的分類
      13.2.1  鍵值資料庫
      13.2.2  列式資料庫
      13.2.3  文檔資料庫
      13.2.4  圖資料庫
  第14章  Hive數據倉庫與實踐
    14.1  Hive數據倉庫
      14.1.1  Hive簡介
      14.1.2  Hive的工作流程
      14.1.3  Hive的數據模型
    14.2  Hive的安裝和部署
      14.2.1  Hive的安裝環境
      14.2.2  Hive安裝包的上傳與安裝
      14.2.3  配置環境變數

      14.2.4  在MySQL中創建hive資料庫
      14.2.5  配置Hive
      14.2.6  Jar包處理
      14.2.7  基於HDFS創建元數據目錄
      14.2.8  初始化Hive元數據
    14.3  Hive客戶端連接
      14.3.1  啟動Hadoop服務
      14.3.2  Hive CLI
      14.3.3  啟動HiveServer2
      14.3.4  使用beeline客戶端測試HiveServer2
      14.3.5  啟動Metastore服務
    14.4  Hive操作
      14.4.1  資料庫操作
      14.4.2  數據表操作
  第15章  數據可視化
    15.1  數據可視化簡介
      15.1.1  什麼是數據可視化
      15.1.2  數據可視化的特點
    15.2  數據可視化的常用工具
      15.2.1  零編程類
      15.2.2  開發工具類
      15.2.3  專業圖表類
    15.3  數據可視化的常用方式
      15.3.1  面積及尺寸可視化
      15.3.2  顏色可視化
      15.3.3  地域空間可視化
      15.3.4  圖形可視化
      15.3.5  概念可視化
  第16章  綜合實踐
    16.1  公開數據集網站和數據集
    16.2  MovieLens數據集介紹
    16.3  業務需求
    16.4  技術方案
    16.5  系統實現
      16.5.1  下載數據集
      16.5.2  上傳數據
      16.5.3  導入數據
      16.5.4  Spark數據分析
參考文獻

同類熱銷排行榜

最近瀏覽的商品

雲計算與大數據技術/新工科建設大數據技術與數據分析系列