幫助中心 | 我的帳號 | 關於我們
進階搜尋
car

同類熱銷排行榜

最近瀏覽的商品

劍指大數據(企業級數據倉庫項目實戰在線教育版)/程序員硬核技術叢書

  • 作者：編者:尚矽谷教育|責編:李冰
  • 出版社：電子工業
  • ISBN：9787121459375
  • 出版日期：2023/08/01
  • 裝幀：平裝
  • 頁數：349
人民幣：RMB 105 元      售價：元
放入購物車
加入收藏夾
內容大鋼
    本書從需求規劃、需求實現到可視化展示等，遵循項目開發的主要流程，全景介紹了在線教育行業離線數據倉庫的搭建過程。在整個數據倉庫的搭建過程中，介紹了主要組件的安裝部署、需求實現的具體思路、問題的解決方案等，並在其中穿插了許多大數據和數據倉庫相關的理論知識，包括數據倉庫的概念介紹、在線教育業務概述、數據倉庫理論介紹和數據倉庫建模等。本書的第1章至第3章是項目前期準備階段，主要為讀者介紹了數據倉庫的概念、應用場景和搭建需求等，並初步搭建了數據倉庫項目所需的基本環境；第4章至第6章是數據倉庫搭建的核心部分，詳細講解了數據倉庫建模理論和數據從採集到分層搭建的全過程；第7章和第8章介紹了全流程調度和指標可視化。本書適合具有一定編程基礎的讀者學習。通過閱讀本書，讀者可以快速地了解數據倉庫，全面掌握數據倉庫的相關技術。
作者介紹
編者:尚矽谷教育|責編:李冰
目錄
第1章  大數據與數據倉庫概論
  1.1  什麼是數據倉庫
  1.2  數據倉庫的演歷史
  1.3  數據倉庫技術
  1.4  數據倉庫基本架構
  1.5  資料庫和數據倉庫的區別
  1.6  學前導讀
    1.6.1  學習的基礎要求
    1.6.2  你將學到什麼
  1.7  本章結
第2章  項目需求描述
  2.1  前期調研
  2.2  項目架構分析
    2.2.1  在線教育數據倉庫產品描述
    2.2.2  系統功能結構
    2.2.3  系統流程圖
  2.3  項目業務概述
    2.3.1  採集模塊業務描述
    2.3.2  數據倉庫需求業務描述
    2.3.3  數據可視化業務描述
  2.4  系統運行環境
    2.4.1  硬體環境
    2.4.2  軟體環境
  2.5  本章結
第3章  項目部署的環境準備
  3.1  Linux環境準備
    3.1.1  安裝VMware
    3.1.2  安裝CentOS
    3.1.3  遠程終端安裝
  3.2  Linux環境配置
    3.2.1  網路配置
    3.2.2  網路IP地址配置
    3.2.3  主機名配置
    3.2.4  防火牆配置
    3.2.5  一般用戶設置
  3.3  Hadoop環境搭建
    3.3.1  虛擬機環境準備
    3.3.2  安裝JDK
    3.3.3  安裝Hadoop
    3.3.4  Hadoop分散式集群部署
  3.4  本章結
第4章  用戶行為數據採集模塊
  4.1  日誌生成
    4.1.1  數據埋點
    4.1.2  用戶行為日誌格式
    4.1.3  安裝MySQL
    4.1.4  數據模擬
  4.2  消息隊列Kafka
    4.2.1  安裝ZooKeeper
    4.2.2  ZooKeeper集群啟動、停止腳本

    4.2.3  安裝Kafka
    4.2.4  Kafka集群啟動、停止腳本
    4.2.5  Kafka topic相關操作
  4.3  採集日誌的Flume
    4.3.1  Flume組件
    4.3.2  安裝Flume
    4.3.3  採集日誌Flume配置
    4.3.4  Flume的攔截器
    4.3.5  採集日誌Flume啟動、停止腳本
  4.4  消費Kafka日誌的Flume
    4.4.1  日誌消費層Flume配置
    4.4.2  時間戳攔截器
    4.4.3  日誌消費層Flume啟動、停止腳本
    4.4.4  數據通道測試
  4.5  採集通道啟動、停止腳本
  4.6  本章結
第5章  業務數據採集模塊
  5.1  在線教育業務概述
    5.1.1  在線教育業務流程
    5.1.2  在線教育表結構
    5.1.3  數據同步策略
    5.1.4  數據同步工具選擇
  5.2  業務數據採集
    5.2.1  業務數據模型梳理
    5.2.2  安裝DataX
    5.2.3  安裝Maxwell
    5.2.4  全量數據同步
    5.2.5  增量數據同步
  5.3  數據採集流程結
  5.4  本章結
第6章  數據倉庫搭建模塊
  6.1  數據倉庫理論準備
    6.1.1  數據建模概述
    6.1.2  關係模型與範式理論
    6.1.3  維度模型
    6.1.4  維度建模理論之事實表
    6.1.5  維度建模理論之維度表
    6.1.6  星形模型、雪花模型與星座模型
  6.2  數據倉庫建模實踐
    6.2.1  名詞概念
    6.2.2  為什麼要分層
    6.2.3  數據倉庫構建流程
    6.2.4  數據倉庫開發規範
  6.3  數據倉庫搭建環境準備
    6.3.1  安裝Hive
    6.3.2  Hive on Spark配置
    6.3.3  YARN容量調度器併發度問題
    6.3.4  數據倉庫開發環境配置
    6.3.5  模擬數據準備
    6.3.6  常用函數

    6.3.7  複雜數據類型
  6.4  數據倉庫搭建——ODS層
    6.4.1  用戶行為數據
    6.4.2  ODS層用戶行為數據導入腳本
    6.4.3  業務數據
    6.4.4  ODS層業務數據導入腳本
  6.5  數據倉庫搭建——DIM層
    6.5.1  章節維度表（全量）
    6.5.2  課程維度表（全量）
    6.5.3  視頻維度表（全量）
    6.5.4  試卷維度表（全量）
    6.5.5  來源維度表（全量）
    6.5.6  題目維度表（全量）
    6.5.7  地區維度表（全量）
    6.5.8  時間維度表（特殊）
    6.5.9  用戶維度表（拉鏈表）
    6.5.10  DIM層首日數據裝載腳本
    6.5.11  DIM層每日數據裝載腳本
  6.6  數據倉庫搭建——DWD層
    6.6.1  交易域加購事務事實表
    6.6.2  交易域加購周期快照事實表
    6.6.3  交易域試聽下單累積快照事實表
    6.6.4  交易域下單事務事實表
    6.6.5  交易域支付成功事務事實表
    6.6.6  流量域頁面瀏覽事務事實表
    6.6.7  流量域啟動事務事實表
    6.6.8  流量域動作事務事實表
    6.6.9  流量域曝光事務事實表
    6.6.10  流量域錯誤事務事實表
    6.6.11  互動域收藏事務事實表
    6.6.12  互動域章節評價事務事實表
    6.6.13  互動域課程評價事務事實表
    6.6.14  考試域答卷事務事實表
    6.6.15  考試域答題事務事實表
    6.6.16  學習域播放周期快照事實表
    6.6.17  學習域播放事務事實表
    6.6.18  用戶域用戶註冊事務事實表
    6.6.19  用戶域用戶登錄事務事實表
    6.6.20  DWD層首日數據裝載腳本
    6.6.21  DWD層每日數據裝載腳本
  6.7  數據倉庫搭建——DWS層
    6.7.1  第1日匯表
    6.7.2  第n日匯表
    6.7.3  歷史到今匯表
  6.8  數據倉庫搭建——ADS層
    6.8.1  流量主題指標
    6.8.2  用戶主題指標
    6.8.3  課程主題指標
    6.8.4  交易主題指標
    6.8.5  考試主題指標

    6.8.6  播放主題指標
    6.8.7  完課主題指標
    6.8.8  ADS層數據導入腳本
  6.9  數據模型評價及優化
  6.10  本章結
第7章  DolphinScheduler全流程調度
  7.1  DolphinScheduler概述與安裝
    7.1.1  DolphinScheduler概述
    7.1.2  DolphinScheduler安裝部署
  7.2  報表數據導出
    7.2.1  創建MySQL資料庫和表
    7.2.2  DataX數據導出
  7.3  全調度流程
    7.3.1  數據準備
    7.3.2  全流程調度配置
  7.4  郵件報警
    7.4.1  註冊郵箱
    7.4.2  配置郵件報警
  7.5  本章結
第8章  數據可視化模塊
  8.1  Superset部署
    8.1.1  環境準備
    8.1.2  Superset安裝
  8.2  Superset使用
    8.2.1  對接MySQL數據源
    8.2.2  製作儀錶盤
  8.3  Superset實戰
    8.3.1  製作餅狀圖
    8.3.2  製作折線圖
    8.3.3  製作桑基圖
    8.3.4  儀錶盤頁面
  8.4  ECharts可視化
  8.5  本章總結

  • 商品搜索：
  • | 高級搜索
首頁│ 新手上路│ 客服中心│ 關於我們│ 聯絡我們│ Top↑│
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話：02-2381-2033 02-2381-1863　時間：週一-週五 10:00-17:00
　服務信箱：bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證：浙B2-20060032