幫助中心 | 我的帳號 | 關於我們

實戰大數據(分散式大數據分析處理系統開發與應用)

  • 作者:編者:井超//楊俊//喬鋼柱|責編:王斌//胡靜
  • 出版社:機械工業
  • ISBN:9787111720652
  • 出版日期:2023/01/01
  • 裝幀:平裝
  • 頁數:230
人民幣:RMB 79.9 元      售價:
放入購物車
加入收藏夾

內容大鋼
    本書從大數據技術基礎概念出發,介紹了大數據分析的流程和大數據分析處理系統的組成,以及大數據集群的搭建,並在此基礎上講解了多種不同技術構成的離線/實時數據分析系統實戰項目。全書共10章,包括大數據概述、大數據分析的基本流程與工具、分散式大數據分析處理系統概述、構建大數據集群環境、構建基於LayUI的集群管理系統、基於HBase的大數據離線分析系統、基於Hive+Hadoop+Spark的大數據離線分析系統、基於MySQL+Spark的大數據離線分析系統、基於Redis+Kafka+Spark的大數據實時分析系統、基於Flume+Kafka+Flink的大數據實時分析系統。
    本書適合從事大數據系統搭建與運維、大數據分析等崗位的技術人員閱讀,也適合高等院校大數據相關專業的學生使用。

作者介紹
編者:井超//楊俊//喬鋼柱|責編:王斌//胡靜

目錄
前言
第1章  大數據概述
  1.1  大數據的基本概念
    1.1.1  何謂大數據
    1.1.2  大數據的產生階段
    1.1.3  大數據的核心技術和計算模式
  1.2  大數據的應用
    1.2.1  大數據的應用場景
    1.2.2  大數據系統的作用
  1.3  大數據技術生態圈
    1.3.1  Linux操作系統
    1.3.2  Hadoop生態系統
    1.3.3  Spark對Hadoop的完善
  1.4  大數據技術的新發展
    1.4.1  Hadoop 3.0的新特性
    1.4.2  大數據引擎Flink
    1.4.3  智能化大數據分析處理
  本章小結
第2章  大數據分析的基本流程與工具
  2.1  數據採集
    2.1.1  網路爬蟲採集數據
    2.1.2  使用Excel爬取數據
  2.2  數據存儲
    2.2.1  關係型數據的存儲——基於MySQL
    2.2.2  非關係型數據的存儲——基於Redis、HBase
  2.3  數據分析與數據處理
    2.3.1  數據分析常用工具——pandas
    2.3.2  分散式計算框架
    2.3.3  分散式數據挖掘和深度學習
  2.4  數據可視化
    2.4.1  Python數據可視化庫Matplotlib
    2.4.2  Python數據可視化庫pyecharts
    2.4.3  數據可視化圖表庫ECharts
    2.4.4  數據可視化工具Apache Superset
  本章小結
第3章  分散式大數據分析處理系統概述
  3.1  什麼是分散式大數據分析處理系統
  3.2  分散式大數據分析處理系統的作用
  3.3  分散式大數據分析處理系統的應用場景
  3.4  分散式大數據分析處理系統的構成
    3.4.1  數據採集子系統
    3.4.2  數據存儲系統
    3.4.3  數據分析處理系統
    3.4.4  數據可視化系統
  3.5  分散式大數據分析處理系統的實現
    3.5.1  系統前端——HTML、CSS、jQuery
    3.5.2  系統後端——SpringBoot、SSM
    3.5.3  Web伺服器端——Tomcat
  本章小結
第4章  構建大數據集群環境

  4.1  部署大數據處理環境
    4.1.1  搭建Hadoop集群
    4.1.2  ZooKeeper的安裝部署
    4.1.3  Kafka的安裝部署
    4.1.4  Spark集群搭建
  4.2  部署大數據存儲環境
    4.2.1  MySQL的安裝部署
    4.2.2  Hive的安裝部署
    4.2.3  HBase的安裝部署
    4.2.4  Redis的安裝部署
  本章小結
第5章  構建基於LayUI的集群管理系統
  5.1  集群管理系統概述
    5.1.1  需求分析
    5.1.2  系統架構——系統+集群+UI
  5.2  系統開發的前期準備操作
    5.2.1  本機環境配置
    5.2.2  集群環境配置
    5.2.3  構建項目工程結構
  5.3  系統的代碼實現
    5.3.1  Controller層實現
    5.3.2  構造系統所需工具包
    5.3.3  核心類實現
  5.4  構造系統UI界面——基於LayUI
  本章小結
第6章  基於HBase的大數據離線分析系統
  6.1  系統架構概述
    6.1.1  需求分析
    6.1.2  系統架構——HBase+SpringBoot+ECharts
  6.2  採集股份轉讓數據
    6.2.1  使用爬蟲抓取數據
    6.2.2  數據採集模塊測試
  6.3  數據存儲和處理模塊實現
    6.3.1  資料庫設計
    6.3.2  使用HBase存儲並處理數據
    6.3.3  數據存儲和處理模塊測試
  6.4  數據可視化模塊實現
    6.4.1  數據可視化模塊後端設計——基於SpringBoot
    6.4.2  數據可視化模塊前端設計——基於ECharts
    6.4.3  數據可視化頁面展示
  本章小結
第7章  基於Hive+Hadoop+Spark的大數據離線分析系統
  7.1  系統架構概述
    7.1.1  需求分析
    7.1.2  數據存儲——Hive+Hadoop
    7.1.3  數據處理與可視化——Spark+SSM+ECharts
  7.2  採集旅遊相關數據
    7.2.1  使用爬蟲採集城市、景點數據
    7.2.2  數據採集模塊測試
  7.3  數據存儲模塊實現

    7.3.1  資料庫設計
    7.3.2  使用HDFS和Hive存儲數據
    7.3.3  數據存儲模塊測試
  7.4  數據分析處理模塊實現
    7.4.1  Spark處理數據
    7.4.2  分詞處理和情感分析——基於jieba+SnowNLP庫
    7.4.3  數據分析處理模塊測試
  7.5  數據可視化模塊實現
    7.5.1  數據可視化模塊後端設計——基於SSM
    7.5.2  數據可視化模塊前端設計——基於ECharts
    7.5.3  數據可視化頁面展示
  本章小結
第8章  基於MySQL+Spark的大數據離線分析系統
  8.1  系統架構概述
    8.1.1  需求分析
    8.1.2  數據存儲——MySQL
    8.1.3  數據處理與可視化——Spark Streaming+Apache Superset
  8.2  採集電商數據
    8.2.1  使用爬蟲爬取商品信息
    8.2.2  數據採集模塊測試
  8.3  數據分析處理模塊實現
    8.3.1  資料庫設計
    8.3.2  Spark處理商品數據
    8.3.3  數據分析處理模塊測試
  8.4  數據可視化模塊實現
    8.4.1  使用Apache Superset繪製數據可視化圖表
    8.4.2  數據可視化頁面展示
  本章小結
第9章  基於Redis+Kafka+Spark的大數據實時分析系統
  9.1  系統架構概述
    9.1.1  需求分析
    9.1.2  數據存儲——Redis
    9.1.3  數據處理與可視化——Kafka+Spark Streaming+SSM+ECharts
  9.2  採集汽車網站數據
    9.2.1  使用爬蟲獲取汽車和用戶數據
    9.2.2  數據採集模塊測試
  9.3  數據存儲模塊實現
    9.3.1  資料庫設計
    9.3.2  使用MySQL存儲汽車數據
    9.3.3  數據存儲模塊測試
  9.4  數據分析處理模塊實現
    9.4.1  實時發送數據至Kafka
    9.4.2  Spark處理汽車數據
    9.4.3  Redis資料庫存儲處理結果
    9.4.4  數據分析處理模塊測試
  9.5  數據可視化模塊
    9.5.1  數據可視化模塊後端設計——基於SSM
    9.5.2  數據可視化模塊前端設計——基於ECharts
    9.5.3  數據可視化頁面展示
  本章小結

第10章  基於Flume+Kafka+Flink的大數據實時分析系統
  10.1  系統架構概述
    10.1.1  需求分析
    10.1.2  數據存儲——MySQL
    10.1.3  數據處理與可視化——Kafka+Flink+SpringBoot+ECharts
  10.2  採集直播審計數據
    10.2.1  模擬直播審計數據
    10.2.2  使用Flume採集直播審計數據
    10.2.3  數據採集模塊測試
  10.3  數據分析處理模塊實現
    10.3.1  實時發送數據至Kafka
    10.3.2  Flink處理直播審計數據
    10.3.3  MySQL資料庫存儲處理結果
    10.3.4  數據分析處理模塊測試
  10.4  數據可視化模塊
    10.4.1  數據可視化模塊後端設計——基於SpringBoot
    10.4.2  數據可視化模塊前端設計——基於ECharts
    10.4.3  數據可視化頁面展示
  本章小結

  • 商品搜索:
  • | 高級搜索
首頁新手上路客服中心關於我們聯絡我們Top↑
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話:02-2381-2033 02-2381-1863 時間:週一-週五 10:00-17:00
 服務信箱:bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證:浙B2-20060032