幫助中心 | 我的帳號 | 關於我們

Hadoop HDFS深度剖析與實踐/大數據科學叢書

  • 作者:編者:祝江華|責編:張淑謙
  • 出版社:機械工業
  • ISBN:9787111724797
  • 出版日期:2023/05/01
  • 裝幀:平裝
  • 頁數:264
人民幣:RMB 99 元      售價:
放入購物車
加入收藏夾

內容大鋼
    本書以Hadoop HDFS為載體,介紹了構建一款分散式系統(尤其是存儲方向)所需的核心技術,所有內容均基於當前較新的3.3.x/3.4.x版本,分別從理論和實踐兩個維度逐一闡述。本書主要包括兩篇:核心原理篇介紹了HDFS的誕生歷史、元數據及Block管理、節點間通信機制、讀寫數據流程和高可用實現原理等;拓展與實踐篇從實際出發,充分考慮了用戶在應用過程中會遇到的痛點,詳細介紹了集群拓展方法、數據分層存儲、集群維護與多租戶實施等實踐經驗。
    本書各章節都配有必要的流程圖和原理分析圖,便於讀者閱讀理解,並精選了非常有用的實際案例及拓展知識。閱讀本書後,相信會給讀者帶來「1+1>2」的效果。
    本書非常適合大數據從業者、雲計算領域研發及運維人員、高校研究生和熱衷於分散式的技術極客閱讀學習。

作者介紹
編者:祝江華|責編:張淑謙
    祝江華,大數據技術專家。多年來一直供職于頭部互聯網公司,積累了較為豐富的大數據行業一線研發和集群維護經驗;熱愛開源,長期活躍在Apache開源社區,對包括Hadoop生態在內的多款組件有過深入研究;分散式技術極客,擅長分散式存儲方向,同時對大數據計算、數據湖等也有豐富實戰經驗。

目錄
第1篇  核心原理篇
  第1章  HDFS歷史延展
    1.1  分散式與文件系統
      1.1.1  分散式文件系統部署架構
      1.1.2  系統性能的影響因素
    1.2  HDFS設計及實現思想
      1.2.1  HDFS發展歷史
      1.2.2  HDFS特性
      1.2.3  HDFS服務視圖
      1.2.4  HDFS架構
    1.3  小結
  第2章  元數據架構
    2.1  內存Tree設計
      2.1.1  Namenode介紹
      2.1.2  Namenode啟動
      2.1.3  meta視圖
      2.1.4  FsDirectory和INodeMap
      2.1.5  文件維護
    2.2  FsImage和EditLog
      2.2.1  FsImage分析
      2.2.2  EditLog分析
    2.3  meta更新
      2.3.1  內存結構Update
      2.3.2  拓展:鎖優化
    2.4  小結
  第3章  數據管理
    3.1  Namespace
      3.1.1  Namespace概況
      3.1.2  Namenode與Namespace
      3.1.3  DataNode與Namespace
    3.2  Slave節點
      3.2.1  Heartbeat機制
      3.2.2  FsDataset和DataStorage
      3.2.3  DataNode檢查器
      3.2.4  存儲類型
      3.2.5  拓展:NVDIMM
    3.3  Topology(Rack)Awareness
      3.3.1  Topology Awareness在分散式存儲中的意義
      3.3.2  Topology Awareness在HDFS中實現
      3.3.3  Topology改進
    3.4  小結
  第4章  Block與副本
    4.1  理解Block
      4.1.1  Block構成解析
      4.1.2  副本存儲解析
    4.2  Block狀態管理
      4.2.1  UnderConstruction
      4.2.2  Committed
      4.2.3  Complete
      4.2.4  UnderRecovery

      4.2.5  Block狀態小結
    4.3  副本狀態管理
      4.3.1  RBW
      4.3.2  finalized
      4.3.3  RWR
      4.3.4  RUR
      4.3.5  Temporary
      4.3.6  副本狀態小結
    4.4  Block管理
      4.4.1  無效Block
      4.4.2  損壞Block
      4.4.3  缺失與冗余Block
      4.4.4  Block Recovery
    4.5  副本策略
      4.5.1  位置策略
      4.5.2  選盤(Volume)策略
      4.5.3  選盤策略改進
    4.6  小結
  第5章  通信與訪問
    5.1  HDFSRPC
      5.1.1  Protocol Buffers介紹
      5.1.2  RPC架構
      5.1.3  非冪等訪問
    5.2  文件寫入
      5.2.1  數據包(packet)與Pipeline
      5.2.2  數據寫入
      5.2.3  Lease管理與pipeline Recovery
    5.3  數據訪問
      5.3.1  文件讀剖析
      5.3.2  short-circuit
      5.3.3  讀寫策略改進
    5.4  小結
  第6章  HA和QJM
    6.1  HA發展路徑
    6.2  Quorum Journal Manager
      6.2.1  分散式一致性原理
      6.2.2  Edit共享存儲系統
      6.2.3  QJM架構設計
      6.2.4  Edit Recovery
    6.3  HA原理
      6.3.1  ZKFC解析
      6.3.2  HA隔離機制
      6.3.3  Multi-Standby特性
      6.3.4  HA優化及改進
    6.4  小結
  第7章  緩存
    7.1  分散式系統緩存設計
      7.1.1  本地緩存
      7.1.2  分散式緩存
    7.2  集中式緩存管理

      7.2.1  原理介紹
      7.2.2  緩存調度
      7.2.3  DataNode緩存原理
      7.2.4  Cache&Uncache場景
    7.3  緩存實踐場景及改進
      7.3.1  實踐場景介紹
      7.3.2  集中式緩存V2
    7.4  小結
第2篇  拓展與實踐篇
  第8章  集群拓展
    8.1  水平拓展
      8.1.1  水平拓展策略及實踐
      8.1.2  Router-Based Federation
    8.2  垂直伸縮
      8.2.1  垂直伸縮策略及實踐
      8.2.2  HDFS Quotas
    8.3  多Namespace業務規劃
    8.4  小結
  第9章  數據分層
    9.1  存儲分層的意義
    9.2  HDFS存儲分層
      9.2.1  冷熱集群分層管理
      9.2.2  異構分層存儲
      9.2.3  動態感知數據類型
    9.3  糾刪碼(Erasure Coding)
      9.3.1  EC使用介紹
      9.3.2  常見EC演算法介紹
      9.3.3  EC讀寫解析
    9.4  數據遷移
      9.4.1  DistCp遷移
      9.4.2  FastCopy遷移
    9.5  小結
  第10章  監控、多租戶和數據湖
    10.1  大數據監控
      10.1.1  基礎設施監控採集
      10.1.2  故障自愈
    10.2  多租戶與認證
      10.2.1  多租戶存儲規劃
      10.2.2  基於Kerberos的認證
      10.2.3  基於Delegation Token的認證
    10.3  HDFS與DataLakes
    10.4  小結

  • 商品搜索:
  • | 高級搜索
首頁新手上路客服中心關於我們聯絡我們Top↑
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話:02-2381-2033 02-2381-1863 時間:週一-週五 10:00-17:00
 服務信箱:bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證:浙B2-20060032