幫助中心 | 我的帳號 | 關於我們

企業級大數據平台構建(架構與實現)/大數據技術叢書

  • 作者:朱凱
  • 出版社:機械工業
  • ISBN:9787111595953
  • 出版日期:2018/04/01
  • 裝幀:平裝
  • 頁數:251
人民幣:RMB 69 元      售價:
放入購物車
加入收藏夾

內容大鋼
    《企業級大數據平台構建:架構與實現》是一部教你如何從0到1架構與實現一個企業級大數據平台的著作,是作者在大數據和系統架構領域工作超過20000小時的經驗總結。
    作者朱凱從橫向視角出發,手把手教你如何拉通Hadoop體系技術棧,以此搭建一個真實可用、安全可靠的大數據平台。通過閱讀本書,大家一定能找到靈感和思路來應對實際工作中面對的問題。
    本書在邏輯上分為三大部分:
    背景篇(第1?2章):簡單闡述了企業級大數據平台的重要性,並指出了作為一個企業級大數據平台應當具備的能力。接著拋磚引玉介紹了通過Hadoop生態體系去構建一個企業級大數據平台可以使用的技術棧的核心概念,如HDFS、HBase、Spark等。
    方法篇(第3?6章):詳細講解了集群服務、安全網關、服務授權、Kerberos認證、單點登錄和集群用戶整合等各個方面的背景知識與配置整合步驟。
    擴展篇(第7?8章):介紹了如何用編寫Restful服務的形式進一步擴展平台功能的一些思路,以便提高平台的易用性和可用性。

作者介紹
朱凱
    朱凱,ClickHouse貢獻者之一,ClickHouse布道者,資深架構師,騰訊雲最具價值專家TVP,開源愛好者,Apache DolphinScheduler Committer,《企業級大數據平台構建:架構與實現》作者,公眾號「ClickHouse的秘密基地」運營者。     十多年IT從業經驗,對大數據領域主流技術與解決方案有深入研究,擅長分散式系統的架構設計與整合。曾主導過多款大數據平台級產品的規劃、設計與研發工作,一線實戰經驗豐富。     現就職于遠光軟體股份有限公司,任大數據事業部平台開發部總經理。

目錄
推薦序 思者常新,厚積薄發
前言
第1章 淺談企業級大數據平台的重要性
    1.1 缺乏統一大數據平台的問題
    1.1.1 資源浪費
    1.1.2 數據孤島
    1.1.3 服務孤島
    1.1.4 安全存疑
    1.1.5 缺乏可維護性和可擴展性
    1.1.6 缺乏可複製性
  1.2 構建統一大數據平台的優勢
  1.3 企業級大數據平台需要具備的基本能力
    1.3.1 集群管理與監控
    1.3.2 數據接入
    1.3.3 數據存儲與查詢
    1.3.4 數據計算
    1.3.5 平台安全與管理
  1.4 平台輔助工具
  1.5 本章小結
第2章 企業級大數據平台技術棧介紹
  2.1 HDFS
    2.1.1 概述
    2.1.2 RAID技術
    2.1.3 核心設計目標
    2.1.4 命名空間
    2.1.5 數據模型
    2.1.6 Namenode和Datanode
    2.1.7 使用場景
  2.2 Zookeeper
    2.2.1 概述
    2.2.2 核心特性
    2.2.3 命名空間
    2.2.4 數據模型
    2.2.5 節點狀態監聽
    2.2.6 原子消息廣播協議
    2.2.7 使用場景
  2.3 HBase
    2.3.1 概述
    2.3.2 數據模型
    2.3.3 Regions
    2.3.4 HBase Master
    2.3.5 Region Server
    2.3.6 MemStore與HFile
    2.3.7 使用場景
  2.4 YARN
    2.4.1 概述
    2.4.2 資源模型和Container
    2.4.3 ResourceManager
    2.4.4 ApplicationMaster
    2.4.5 NodeManager

    2.4.6 單一集群架構
    2.4.7 工作流程
    2.4.8 使用場景
  2.5 Spark
    2.5.1 概述
    2.5.2 數據模型
    2.5.3 編程模型和作業調度
    2.5.4 依賴
    2.5.5 容錯
    2.5.6 集群模式
    2.5.7 使用場景
  2.6 本章小結
第3章 使用Ambari安裝Hadoop集群
  3.1 概述
  3.2 集群設計
    3.2.1 主控節點
    3.2.2 存儲與計算節點
    3.2.3 安全認證與管理節點
    3.2.4 協同管理與其他節點
  3.3 Ambari的安裝、配置與啟動
    3.3.1 安裝前的準備
    3.3.2 安裝Ambari-Server
    3.3.3 Ambari-Server目錄結構
    3.3.4 配置Ambari-Server
    3.3.5 啟動Ambari-Server
  3.4 新建集群
    3.4.1 設置集群名稱並配置HDP安裝包
    3.4.2 配置集群
  3.5 Ambari控制台功能簡介
    3.5.1 集群服務管理
    3.5.2 集群服務配置
    3.5.3 輔助工具
  3.6 本章小結
第4章 構建企業級平台安全方案
  4.1 淺談企業級大數據平檯面臨的安全隱患
    4.1.1 缺乏統一的訪問控制機制
    4.1.2 缺乏統一的資源授權策略
    4.1.3 缺乏Hadoop服務安全保障
  4.2 初級安全方案
    4.2.1 訪問控制
    4.2.2 數據授權與管理
  4.3 本章小結
第5章 Hadoop服務安全方案
  5.1 Kerberos協議簡介
  5.2 使用FreeIPA安裝Kerberos和LDAP
    5.2.1 安裝FreeIPA
    5.2.2 IPA-Server管理控制台功能介紹
    5.2.3 IPA CLI功能介紹
  5.3 開啟Ambari的Kerberos安全選項
    5.3.1 集成前的準備

    5.3.2 集成IPA
    5.3.3 測試Kerberos認證
  5.4 本章小結
第6章 單點登錄與用戶管理
  6.1 集成單點登錄
    6.1.1 CAS簡介
    6.1.2 安裝CAS-Server
    6.1.3 集成Knox網關與CAS-Server
    6.1.4 集成Ranger與CAS-Server
    6.1.5 集成Ambari與CAS-Server
  6.2 實現統一的用戶管理系統
  6.3 使用Java程序調用腳本
  6.4 創建Ranger擴展用戶
  6.5 本章小結
第7章 搭建平台管理端RESTful服務
  7.1 搭建RESTful服務框架
  7.2 用戶查詢
    7.2.1 引入LDAP模塊
    7.2.2 配置LDAP
    7.2.3 實現持久層
    7.2.4 實現服務層
    7.2.5 實現RESTful服務
    7.2.6 整合用戶管理
  7.3 RESTful服務安全認證
    7.3.1 用戶登錄服務
    7.3.2 使用JWT認證
    7.3.3 創建用戶登錄RESTful服務
    7.3.4 認證過濾器
    7.3.5 測試服務安全認證
  7.4 數據倉庫數據查詢
    7.4.1 創建JDBC連接
    7.4.2 Kerberos登錄
    7.4.3 使用JDBC協議查詢
    7.4.4 實現服務層與RESTful服務
    7.4.5 測試查詢
  7.5 數據倉庫元數據查詢
    7.5.1 使用query服務查詢數倉元數據
    7.5.2 引入JdbcTemplate模塊
    7.5.3 增加Hive元資料庫配置
    7.5.4 實現元數據持久層
    7.5.5 實現元數據服務層與RESTful服務
    7.5.6 測試元數據查詢
  7.6 本章小結
第8章 Spark任務與調度服務
  8.1 提交Spark任務的3種方式
    8.1.1 使用Spark-Submit腳本提交
    8.1.2 使用Spark Client提交
    8.1.3 使用YARN RESTful API提交
  8.2 查詢Spark日誌
  8.3 任務調度

    8.3.1 引入Quartz模塊
    8.3.2 增加Quartz配置
    8.3.3 編寫調度任務
    8.3.4 改進空間
  8.4 本章小結
附錄A Hadoop簡史
附錄B Hadoop生態其他常用組件一覽
附錄C 常用組件配置說明

  • 商品搜索:
  • | 高級搜索
首頁新手上路客服中心關於我們聯絡我們Top↑
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話:02-2381-2033 02-2381-1863 時間:週一-週五 10:00-17:00
 服務信箱:bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證:浙B2-20060032