幫助中心 | 我的帳號 | 關於我們
進階搜尋
car

同類熱銷排行榜

最近瀏覽的商品

劍指大數據(Flink實時數據倉庫項目實戰電商版)/程序員硬核技術叢書

  • 作者：編者:尚矽谷教育|責編:李冰
  • 出版社：電子工業
  • ISBN：9787121463990
  • 出版日期：2023/10/01
  • 裝幀：平裝
  • 頁數：369
人民幣：RMB 108 元      售價：元
放入購物車
加入收藏夾
內容大鋼
    本書從需求規劃、需求實現到可視化展示等，遵循項目開發的主要流程，全景介紹了電商行業Flink實時數據倉庫的搭建過程。在整個項目的搭建過程中，介紹了主要組件的安裝部署、需求實現的具體思路、問題的解決方案等，並穿插了大數據和數據倉庫相關的理論知識，包括數據倉庫的概念介紹、電商業務概述、數據倉庫理論介紹和數據倉庫建模等。最核心的內容是代碼中對Flink的靈活應用，為讀者展示了Flink處理數據的多種可能性。本書最後還詳細講解了項目的性能調優技巧和實戰案例，幫助讀者掌握更多的實戰經驗。
    本書適合具有一定編程基礎的讀者學習或作為參考資料，通過本書，可以使你快速了解實時數據倉庫，全面掌握實時數據倉庫的相關技術。
作者介紹
編者:尚矽谷教育|責編:李冰
目錄
第1章  實時數據倉庫概論
  1.1  什麼是數據倉庫
  1.2  走進實時數據倉庫
    1.2.1  實時計算和離線計算
    1.2.2  實時數據倉庫的構建目的
    1.2.3  實時技術發展
    1.2.4  實時數據倉庫現狀分析
  1.3  學前導讀
    1.3.1  學習的基本要求
    1.3.2  你將學到什麼
  1.4  本章總結
第2章  需求分析與架構設計
  2.1  項目需求分析
    2.1.1  實時數據倉庫項目產品描述
    2.1.2  項目流程圖
    2.1.3  指標體系分析
  2.2  項目架構概述
    2.2.1  架構設計
    2.2.2  分層設計
  2.3  技術選型
  2.4  本章總結
第3章  項目部署與框架搭建
  3.1  集群規劃與伺服器配置
  3.2  JDK與Hadoop安裝
    3.2.1  虛擬機環境準備
    3.2.2  JDK安裝
    3.2.3  Hadoop安裝
    3.2.4  Hadoop分散式集群部署
  3.3  ZooKeeper與Kafka安裝
    3.3.1  安裝ZooKeeper
    3.3.2  Zookeeper集群啟動、停止腳本
    3.3.3  安裝Kafka
    3.3.4  Kafka集群啟動、停止腳本
    3.3.5  Kafka Topic相關操作
  3.4  Flink的安裝與部署
    3.4.1  YARN模式安裝
    3.4.2  任務部署
  3.5  本章總結
第4章  數據倉庫建模理論
  4.1  數據倉庫理論準備
    4.1.1  數據建模概述
    4.1.2  關係模型與範式理論
    4.1.3  維度模型
    4.1.4  維度建模理論之事實表
    4.1.5  維度建模理論之維度表
  4.2  數據倉庫建模實踐
    4.2.1  名詞概念
    4.2.2  為什麼要分層
    4.2.3  數據倉庫構建流程
  4.3  本章總結

第5章  構建ODS層之用戶行為數據採集
  5.1  日誌生成
    5.1.1  數據埋點
    5.1.2  目標數據
    5.1.3  數據模擬
  5.2  採集日誌的Flume
    5.2.1  Flume組件
    5.2.2  Flume安裝
    5.2.3  採集日誌Flume配置
    5.2.4  Flume的攔截器
    5.2.5  採集日誌Flume啟動、停止腳本
  5.3  本章總結
第6章  構建ODS層之業務數據採集
  6.1  電商業務概述
    6.1.1  電商業務流程
    6.1.2  電商常識
    6.1.3  電商表結構
  6.2  數據同步概述
    6.2.1  數據同步策略
    6.2.2  數據同步工具選擇
  6.3  業務數據模擬
    6.3.1  MySQL安裝
    6.3.2  數據模擬流程
  6.4  Maxwell數據採集
    6.4.1  MySQL中的binlog
    6.4.2  Maxwell工作原理
    6.4.3  業務數據採集
    6.4.4  首日全量同步
  6.5  本章總結
第7章  構建DIM層
  7.1  開發環境準備
    7.1.1  IDEA開發環境準備
    7.1.2  HBase與Phoenix
  7.2  關鍵技術解讀
    7.2.1  Flink CDC
    7.2.2  配置表設計
  7.3  DIM層代碼編寫
    7.3.1  接收Kafka數據過濾臟數據
    7.3.2  動態拆分維度表數據
    7.3.3  將流中的數據保存至Phoenix
    7.3.4  測試
  7.4  本章總結
第8章  構建DWD層
  8.1  概述
  8.2  流量域五大事務事實表
    8.2.1  思路梳理
    8.2.2  代碼編寫
  8.3  交易域加購事務事實表
    8.3.1  思路梳理
    8.3.2  編寫代碼

  8.4  交易域下單事務事實表
    8.4.1  思路梳理
    8.4.2  代碼編寫
  8.5  交易域取消訂單事務事實表
    8.5.1  思路梳理
    8.5.2  代碼編寫
  8.6  交易域支付成功事務事實表
    8.6.1  思路梳理
    8.6.2  代碼編寫
  8.7  交易域退單事務事實表
    8.7.1  思路梳理
    8.7.2  代碼編寫
  8.8  交易域退款成功事務事實表
    8.8.1  思路梳理
    8.8.2  代碼編寫
  8.9  事實表動態分流
    8.9.1  思路梳理
    8.9.2  代碼編寫
  8.10  本章總結
第9章  構建DWS層
  9.1  概述
  9.2  環境準備
    9.2.1  安裝Redis
    9.2.2  安裝ClickHouse
  9.3  流量域關鍵詞粒度頁面瀏覽各窗口匯總表
    9.3.1  思路梳理
    9.3.2  代碼編寫
  9.4  流量域版本—渠道—地區—訪客類別粒度頁面瀏覽各窗口匯總表
    9.4.1  思路梳理
    9.4.2  代碼編寫
  9.5  流量域頁面瀏覽各窗口匯總表
    9.5.1  思路梳理
    9.5.2  代碼編寫
  9.6  用戶域用戶登錄各窗口匯總表
    9.6.1  思路梳理
    9.6.2  代碼編寫
  9.7  用戶域用戶註冊各窗口匯總表
    9.7.1  思路梳理
    9.7.2  代碼編寫
  9.8  交易域加購各窗口匯總表
    9.8.1  思路梳理
    9.8.2  代碼編寫
  9.9  交易域支付各窗口匯總表
    9.9.1  思路梳理
    9.9.2  代碼編寫
  9.10  交易域下單各窗口匯總表
    9.10.1  思路梳理
    9.10.2  代碼編寫
  9.11  交易域SKU粒度下單各窗口匯總表
    9.11.1  思路梳理

    9.11.2  代碼編寫
  9.12  交易域省份粒度下單各窗口匯總表
    9.12.1  思路梳理
    9.12.2  代碼編寫
  9.13  交易域品牌—分類—用戶粒度退單各窗口匯總表
    9.13.1  思路梳理
    9.13.2  代碼編寫
  9.14  本章總結
第10章  數據可視化大屏
  10.1  需求分析
  10.2  Sugar BI介紹
    10.2.1  簡介
    10.2.2  使用入門
    10.2.3  效果展示
  10.3  本章總結
第11章  性能調優理論與實踐
  11.1  項目環境概述
    11.1.1  集群環境
    11.1.2  任務提交測試
  11.2  YARN調優策略
    11.2.1  YARN內存調優
    11.2.2  YARN CPU調優
  11.3  Flink內存模型
    11.3.1  TaskManager內存模型
    11.3.2  JobManager內存模型
  11.4  並行度與slot
    11.4.1  Flink的並行度配置
    11.4.2  TaskManager slot個數配置
  11.5  狀態調優
    11.5.1  Flink的狀態編程概述
    11.5.2  檢查點相關配置
    11.5.3  開啟狀態訪問性能監控
    11.5.4  RocksDB狀態後端的性能優化手段
    11.5.5  開啟分區索引和過濾器功能
    11.5.6  調整預定義選項
    11.5.7  手動調整參數
  11.6  反壓
    11.6.1  反壓概述
    11.6.2  如何定位反壓
    11.6.3  反壓的原因及解決辦法
  11.7  數據傾斜
    11.7.1  判斷數據傾斜
    11.7.2  解決數據傾斜
  11.8  Job優化
    11.8.1  為運算元指定UUID
    11.8.2  鏈路延遲監控
    11.8.3  開啟對象重用
    11.8.4  細粒度滑動窗口優化
    11.8.5  提前計算滾動窗口
  11.9  Flink SQL優化

    11.9.1  設置空閑狀態保留時間
    11.9.2  開啟MiniBatch功能
    11.9.3  開啟LocalGlobal優化
    11.9.4  開啟Split Distinct優化
    11.9.5  使用FILTER語法
  11.10  Flink對接Kafka優化
    11.10.1  Flink並行度與Kafka主題分區數
    11.10.2  指定Watermark空閑等待
    11.10.3  動態發現Kafka分區
  11.11  DIM層調優實操
    11.11.1  YARN資源配置分析
    11.11.2  Flink內存分配分析
    11.11.3  並行度與slot個數配置分析
    11.11.4  狀態相關配置分析
    11.11.5  DIM層任務初次提交測試
    11.11.6  反壓情況分析
    11.11.7  數據傾斜情況分析
    11.11.8  與Kakfa對接的相關優化措施
    11.11.9  任務重啟
    11.11.10  最終提交命令
  11.12  DWD層調優實操
    11.12.1  DWD層任務初次提交測試
    11.12.2  反壓情況分析
    11.12.3  數據傾斜情況分析
    11.12.4  最終提交命令
  11.13  本章總結

  • 商品搜索：
  • | 高級搜索
首頁│ 新手上路│ 客服中心│ 關於我們│ 聯絡我們│ Top↑│
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話：02-2381-2033 02-2381-1863　時間：週一-週五 10:00-17:00
　服務信箱：bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證：浙B2-20060032