幫助中心 | 我的帳號 | 關於我們

Hadoop大數據技術與項目實戰(大數據技術與應用專業國家雙高計劃高水平專業群建設成果系列教材)

  • 作者:編者:王小潔//豐澤//陳炯|責編:賀志洪
  • 出版社:電子工業
  • ISBN:9787121458965
  • 出版日期:2023/08/01
  • 裝幀:平裝
  • 頁數:305
人民幣:RMB 59 元      售價:
放入購物車
加入收藏夾

內容大鋼
    本書由校企「雙元」合作開發,以企業真實項目的實施流程為主線,通過「電商平台用戶行為數據分析」項目實戰,貫穿Hadoop大數據核心技術,包括項目需求、大數據平台部署、數據採集、離線數據倉庫設計與開發和項目數據可視化展示。
    本書內容主要涉及VMware、Xshell、IDEA等軟體的安裝配置;Hadoop分散式集群環境搭建;Flume、Kafka、Hive、Sqoop、ZooKeeper等Hadoop生態組件的基本工作原理、搭建及配置方法;使用Flume-Kafka-Flume架構實現數據採集;Hive離線數據倉庫的設計與開發;使用pyecharts工具進行數據可視化展示。
    本書可以作為高等職業院校大數據、雲計算、軟體技術等相關專業教材,也可以作為從事大數據平台運維、大數據分析、雲計算應用等技術人員的參考用書。

作者介紹
編者:王小潔//豐澤//陳炯|責編:賀志洪

目錄
緒論
  學習目標
  重點難點
  學習方法
  思考與練習
模塊1  項目需求
  學習目標
  項目概述
  1.1  項目業務背景
  1.2  項目實施計劃
    1.2.1  項目實施流程規劃
    1.2.2  技術選型及版本
    1.2.3  項目實施的教學路徑
  1.3  項目數據字典介紹
    1.3.1  數據源數據結構字典
    1.3.2  Hive表數據字典
  素養園地
  項目總結
  思考與練習
模塊2  大數據平台部署
  學習目標
  項目概述
  2.1  大數據相關開發軟體安裝
  2.2  Linux系統環境配置
    2.2.1  安裝虛擬機
    2.2.2  克隆虛擬機
    2.2.3  虛擬機免密碼登錄配置
    2.2.4  Linux項目路徑規劃
  2.3  Hadoop分散式集群環境搭建
    2.3.1  JDK安裝配置
    2.3.2  Hadoop框架介紹及組成
    2.3.3  HDFS集群配置
    2.3.4  YARN集群配置
    2.3.5  HDFS Shell命令行操作
    2.3.6  HDFS客戶端開發環境配置及測試
    2.3.7  HDFS API基本操作
    2.3.8  MapReduce原理
    2.3.9  MapReduce案例——詞頻統計
  2.4  Hive數據倉庫服務配置
    2.4.1  MySQL環境配置
    2.4.2  Hive環境配置
    2.4.3  Hive與MySQL整合操作及Hive服務啟動
    2.4.4  HQL語句基本操作
    2.4.5  HQL統計分析案例
  2.5  Flume原理及安裝部署
  2.6  Sqoop原理及應用
    2.6.1  Sqoop原理及安裝部署
    2.6.2  Sqoop數據遷移案例
  2.7  ZooKeeper集群環境搭建
  2.8  Kafka集群環境搭建及應用

    2.8.1  Kafka集群環境搭建
    2.8.2  Kafka常用命令及使用方法
  素養園地
  項目總結
  思考與練習
模塊3  數據採集
  學習目標
  項目概述
  3.1  項目數據源及產生方法
  3.2  Flume腳本設計
    3.2.1  Flume採集原理及流程
    3.2.2  Flume數據採集腳本設計
    3.2.3  攔截器鏈的創建流程
    3.2.4  ETL攔截器業務邏輯分析
    3.2.5  分流標記攔截器業務邏輯分析
    3.2.6  Flume數據採集執行腳本及實現
    3.2.7  Flume數據消費腳本設計
    3.2.8  Flume數據消費執行腳本及實現
  素養園地
  項目總結
  思考與練習
模塊4  離線數據倉庫設計與開發
  學習目標
  項目概述
  4.1  離線數據倉庫概述
  4.2  ODS層設計與開發
  4.3  DWD層設計與開發
    4.3.1  項目JSON解析函數及應用
    4.3.2  啟動日誌表設計及數據載入
  4.4  DWS層設計與開發
  4.5  DWT層設計與開發
    4.5.1  HQL關聯查詢(1)
    4.5.2  HQL關聯查詢(2)
    4.5.3  HQL關聯查詢(3)
    4.5.4  設備主題表設計及數據載入
  4.6  ADS層設計與開發
    4.6.1  活躍用戶數據表設計及數據載入
    4.6.2  每日新增用戶數據表設計及數據載入
    4.6.3  沉默用戶數據表設計及數據載入
    4.6.4  本周迴流用戶數據表設計及數據載入
    4.6.5  用戶留存率數據表設計及數據載入
  素養園地
  項目總結
  思考與練習
模塊5  項目數據可視化展示
  學習目標
  項目概述
  5.1  創建MySQL數據表
    5.1.1  大數據報表系統
    5.1.2  MySQL數據表的創建

  5.2  Sqoop數據遷移
  5.3  數據可視化
    5.3.1  pyecharts可視化工具介紹
    5.3.2  導入數據、繪製大屏標題
    5.3.3  繪製柱狀圖
    5.3.4  繪製象形柱狀圖、水球圖
    5.3.5  繪製柱狀圖與折線圖的疊加圖
    5.3.6  繪製輪播圖
    5.3.7  數據大屏展示
  素養園地
  項目總結
  思考與練習
課程學習成果評價
參考文獻

  • 商品搜索:
  • | 高級搜索
首頁新手上路客服中心關於我們聯絡我們Top↑
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話:02-2381-2033 02-2381-1863 時間:週一-週五 10:00-17:00
 服務信箱:bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證:浙B2-20060032