幫助中心 | 我的帳號 | 關於我們

Hadoop大數據技術開發實戰

  • 作者:張偉洋
  • 出版社:清華大學
  • ISBN:9787302534020
  • 出版日期:2019/10/01
  • 裝幀:平裝
  • 頁數:462
人民幣:RMB 99 元      售價:
放入購物車
加入收藏夾

內容大鋼
    本書以Hadoop及其周邊框架為主線,介紹了整個Hadoop生態系統主流的大數據開發技術。全書共16章,第1章講解了VMware中CentOS 7操作系統的安裝;第2章講解了大數據開發之前對操作系統集群環境的配置;第3?16章講解了Hadoop生態系統各框架HDFS、MapReduce、YARN、ZooKeeper、HBase、Hive、Sqoop和數據實時處理系統Flume、Kafka、Storm、Spark以及分散式搜索系統Elasticsearch等的基礎知識、架構原理、集群環境搭建,同時包括常用的Shell命令、API操作、源碼剖析,並通過實際案例加深對各個框架的理解與應用。通過閱讀本書,讀者即使沒有任何大數據基礎,也可以對照書中的步驟成功搭建屬於自己的大數據集群並獨立完成項目開發。
    本書可作為Hadoop新手入門的指導書,也可作為大數據開發人員的隨身手冊以及大數據從業者的參考用書。

作者介紹
張偉洋

目錄
第1章  VMware中安裝CentOS 7
  1.1  下載CentOS 7鏡像文件
  1.2  新建虛擬機
  1.3  安裝操作系統
第2章  CentOS 7集群環境配置
  2.1  系統環境配置
    2.1.1  新建用戶
    2.1.2  修改用戶許可權
    2.1.3  關閉防火牆
    2.1.4  設置固定IP
    2.1.5  修改主機名
    2.1.6  新建資源目錄
  2.2  安裝JDK
  2.3  克隆虛擬機
  2.4  配置主機IP映射
第3章  Hadoop
  3.1  Hadoop簡介
    3.1.1  Hadoop生態系統架構
    3.1.2  Hadoop 1.x與2.x的架構對比
  3.2  YARN基本架構及組件
  3.3  YARN工作流程
  3.4  配置集群各節點SSH無密鑰登錄
    3.4.1  無密鑰登錄原理
    3.4.2  無密鑰登錄操作步驟
  3.5  搭建Hadoop 2.X分散式集群
第4章  HDFS
  4.1  HDFS簡介
    4.1.1  設計目標
    4.1.2  總體架構
    4.1.3  主要組件
    4.1.4  文件讀寫
  4.2  HDFS命令行操作
  4.3  HDFS Web界面操作
  4.4  HDFS Java API操作
    4.4.1  讀取數據
    4.4.2  創建目錄
    4.4.3  創建文件
    4.4.4  刪除文件
    4.4.5  遍歷文件和目錄
    4.4.6  獲取文件或目錄的元數據
    4.4.7  上傳本地文件
    4.4.8  下載文件到本地
第5章  MapReduce
  5.1  MapReduce簡介
    5.1.1  設計思想
    5.1.2  任務流程
    5.1.3  工作原理
  5.2  MapReduce程序編寫步驟
  5.3  案例分析:單詞計數
  5.4  案例分析:數據去重

  5.5  案例分析:求平均分
  5.6  案例分析:二次排序
  5.7  使用MRUnit測試MapReduce程序
第6章  ZooKeeper
  6.1  ZooKeeper簡介
    6.1.1  應用場景
    6.1.2  架構原理
    6.1.3  數據模型
    6.1.4  節點類型
    6.1.5  Watcher機制
    6.1.6  分散式鎖
  6.2  ZooKeeper安裝配置
    6.2.1  單機模式
    6.2.2  偽分佈模式
    6.2.3  集群模式
  6.3  ZooKeeper命令行操作
  6.4  ZooKeeper JAVA API操作
    6.4.1  創建Java工程
    6.4.2  創建節點
    6.4.3  修改數據
    6.4.4  獲取數據
    6.4.5  刪除節點
  6.5  案例分析:監聽伺服器動態上下線
第7章  HDFS與YARN HA
  7.1  HDFS HA搭建
    7.1.1  架構原理
    7.1.2  搭建步驟
    7.1.3  結合ZooKeeper進行HDFS自動故障轉移
  7.2  YARN HA搭建
    7.2.1  架構原理
    7.2.2  搭建步驟
第8章  HBase
  8.1  什麼是HBase
  8.2  HBase基本結構
  8.3  HBase數據模型
  8.4  HBase集群架構
  8.5  HBase安裝配置
    8.5.1  單機模式
    8.5.2  偽分佈模式
    8.5.3  集群模式
  8.6  HBase SHELL命令操作
  8.7  HBase JAVA API操作
    8.7.1  創建Java工程
    8.7.2  創建表
    8.7.3  添加數據
    8.7.4  查詢數據
    8.7.5  刪除數據
  8.8  HBase過濾器
  8.9  案例分析:HBase MapReduce數據轉移
    8.9.1  HBase不同表間數據轉移

    8.9.2  HDFS數據轉移至HBase
  8.10  案例分析:HBase數據備份與恢復
第9章  Hive
  9.1  什麼是Hive
    9.1.1  數據單元
    9.1.2  數據類型
  9.2  Hive架構體系
  9.3  Hive三種運行模式
  9.4  Hive安裝配置
    9.4.1  內嵌模式
    9.4.2  本地模式
    9.4.3  遠程模式
  9.5  Hive常見屬性配置
  9.6  Beeline CLI的使用
  9.7  Hive資料庫操作
  9.8  Hive表操作
    9.8.1  內部表
    9.8.2  外部表
    9.8.3  分區表
    9.8.4  分桶表
  9.9  Hive查詢
    9.9.1  SELECT子句查詢
    9.9.2  JOIN連接查詢
  9.10  其他Hive命令
  9.11  Hive元數據表結構分析
  9.12  Hive自定義函數
  9.13  Hive JDBC操作
  9.14  案例分析:Hive與HBase整合
  9.15  案例分析:Hive分析搜狗用戶搜索日誌
第10章  Sqoop
  10.1  什麼是SQOOP
    10.1.1  Sqoop基本架構
    10.1.2  Sqoop開發流程
  10.2  使用SQOOP
  10.3  數據導入工具
  10.4  數據導出工具
  10.5  SQOOP安裝與配置
  10.6  案例分析:將MYSQL表數據導入到HDFS中
  10.7  案例分析:將HDFS中的數據導出到MYSQL中
  10.8  案例分析:將MySQL表數據導入到HBase中
第11章  Kafka
  11.1  什麼是Kafka
  11.2  Kafka架構
  11.3  主題與分區
  11.4  分區副本
  11.5  消費者組
  11.6  數據存儲機制
  11.7  集群環境搭建
  11.8  命令行操作
    11.8.1  創建主題

    11.8.2  查詢主題
    11.8.3  創建生產者
    11.8.4  創建消費者
  11.9  JAVA API操作
    11.9.1  創建Java工程
    11.9.2  創建生產者
    11.9.3  創建消費者
    11.9.4  運行程序
  11.10  案例分析:Kafka生產者攔截器
第12章  Flume
  12.1  什麼是Flume
  12.2  架構原理
    12.2.1  單節點架構
    12.2.2  組件介紹
    12.2.3  多節點架構
  12.3  安裝與簡單使用
  12.4  案例分析:日誌監控(一)
  12.5  案例分析:日誌監控(二)
  12.6  攔截器
    12.6.1  內置攔截器
    12.6.2  自定義攔截器
  12.7  選擇器
  12.8  案例分析:攔截器和選擇器的應用
  12.9  案例分析:Flume與Kafka整合
第13章  Storm
  13.1  什麼是Storm
  13.2  Storm Topology
  13.3  Storm集群架構
  13.4  Storm流分組
  13.5  Storm集群環境搭建
  13.6  案例分析:單詞計數
    13.6.1  設計思路
    13.6.2  代碼編寫
    13.6.3  程序運行
  13.7  案例分析:Storm與Kafka整合
第14章  Elasticsearch
  14.1  什麼是Elasticsearch
  14.2  基本概念
    14.2.1  索引、類型和文檔
    14.2.2  分片和副本
    14.2.3  路由
  14.3  集群架構
  14.4  集群環境搭建
  14.5  KIBANA安裝
  14.6  REST API
    14.6.1  集群狀態API
    14.6.2  索引API
    14.6.3  文檔API
    14.6.4  搜索API
    14.6.5  Query DSL

  14.7  HEAD插件安裝
  14.8  JAVA API操作:員工信息
第15章  Scala
  15.1  什麼是Scala
  15.2  安裝Scala
    15.2.1  Windows中安裝Scala
    15.2.2  CentOS 7中安裝Scala
  15.3  Scala基礎
    15.3.1  變數聲明
    15.3.2  數據類型
    15.3.3  表達式
    15.3.4  循環
    15.3.5  方法與函數
  15.4  集合
    15.4.1  數組
    15.4.2  List
    15.4.3  Map映射
    15.4.4  元組
    15.4.5  Set
  15.5  類和對象
    15.5.1  類的定義
    15.5.2  單例對象
    15.5.3  伴生對象
    15.5.4  get和set方法
    15.5.5  構造器
  15.6  抽象類和特質
    15.6.1  抽象類
    15.6.2  特質
  15.7  使用ECLIPSE創建Scala項目
    15.7.1  安裝Scala for Eclipse IDE
    15.7.2  創建Scala項目
  15.8  使用IntelliJ IDEA創建Scala項目
    15.8.1  IDEA中安裝Scala插件
    15.8.2  創建Scala項目
第16章  Spark
  16.1  Spark概述
  16.2  Spark主要組件
  16.3  Spark運行時架構
    16.3.1  Spark Standalone模式
    16.3.2  Spark On YARN模式
  16.4  Spark集群環境搭建
    16.4.1  Spark Standalone模式
    16.4.2  Spark On YARN模式
  16.5  Spark HA搭建
  16.6  Spark應用程序的提交
  16.7  Spark SHELL的使用
  16.8  Spark RDD
    16.8.1  創建RDD
    16.8.2  RDD運算元
  16.9  案例分析:使用Spark RDD實現單詞計數

  16.10  Spark SQL
    16.10.1  DataFrame和Dataset
    16.10.2  Spark SQL基本使用
  16.11  案例分析:使用Spark SQL實現單詞計數
  16.12  案例分析:Spark SQL與Hive整合
  16.13  案例分析:Spark SQL讀寫MYSQL

  • 商品搜索:
  • | 高級搜索
首頁新手上路客服中心關於我們聯絡我們Top↑
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話:02-2381-2033 02-2381-1863 時間:週一-週五 10:00-17:00
 服務信箱:bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證:浙B2-20060032