Hadoop平台搭建與應用(職業教育信息技術類專業創新型系列教材)
內容大鋼
大數據是信息化發展的新階段。隨著信息技術和人類生產生活交匯融合，互聯網快速普及，全球數據呈現爆發增長、海量集聚的特點，對經濟發展、社會治理、國家管理、人民生活都產生了重大影響。本書以 Hadoop 3.x為主線，全面介紹Hadoop及其生態體系中常用的大數據開源項目的安裝和使用。全書共8個項目，分別講解Hadoop大數據處理平台、大數據存儲技術（HDFS）、大數據離線計算框架（MapReduce & YARN）、大數據資料庫（HBase）、大數據數據倉庫（Hive）、大數據數據轉換（Sqoop）、大數據日誌處理（Flume）、大數據實時計算框架（Spark）。
本書可作為職業院校電腦、信息管理等相關專業的大數據課程教材，也可作為電腦編程愛好者、大數據開發初學者、大數據運維人員以及大數據分析與挖掘領域從業人員的參考書。
作者介紹
編者:柴彬堂//彭陽//陳可欣|責編:萬瑞達//李程程
目錄
項目1 Hadoop大數據處理平台
任務1.1 Linux網路搭建
1.1.1 Linux網路知識
1.1.2 Linux網路配置
任務1.2 Linux安全機制的配置
1.2.1 Linux防火牆和SELinux
1.2.2 Linux防火牆操作
任務1.3 Hadoop環境的搭建
1.3.1 Hadoop架構知識
1.3.2 Hadoop安全機制
1.3.3 Hadoop單機部署
1.3.4 Hadoop集群部署
1.3.5 Hadoop高可用部署
項目實訓
項目小結
項目2 大數據存儲技術（HDFS）
任務2.1 了解HDFS的相關概念
2.1.1 文件系統
2.1.2 數據和元數據
2.1.3 HDFS簡介
2.1.4 HDFS設計目標
2.1.5 HDFS重要特性
2.1.6 HDFS集群角色及職責
任務2.2 學習HDFS體系架構與原理
2.2.1 HDFS體系架構
2.2.2 HDFS的高可用機制
2.2.3 HDFS的目錄結構
2.2.4 HDFS的數據讀寫過程
2.2.5 HDFS命令行操作
項目實訓
項目小結
項目3 大數據離線計算框架（MapReduce & YARN）
任務3.1 學習MapReduce技術原理
3.1.1 MapReduce概述
3.1.2 MapReduce的計算過程
3.1.3 Map()函數與Reduce()函數
3.1.4 MapReduce入門案例
任務3.2 學習YARN技術原理
3.2.1 YARN概述
3.2.2 YARN的架構
3.2.3 YARN的資源調度
3.2.4 YARN容量調度器多隊列配置案例
項目實訓
項目小結
項目4 大數據資料庫（HBase）
任務4.1 了解HBase
4.1.1 HBase與關係資料庫的區別
4.1.2 HBase的應用場景
任務4.2 學習HBase的架構原理
4.2.1 HBase的數據模型
4.2.2 表和Region
4.2.3 HBase的系統架構與功能組件
4.2.4 HBase的讀寫流程
任務4.3 學習HBase的基本操作
4.3.1 HBase的環境搭建
4.3.2 HBase Shell的常用命令
項目實訓
項目小結
項目5 大數據數據倉庫（Hive）
任務5.1 學習Hive基本知識
5.1.1 Hive的特性
5.1.2 Hive與傳統數據倉庫的區別
任務5.2 學習Hive的架構和數據存儲
5.2.1 Hive的架構設計原理
5.2.2 Hive的數據存儲模型
任務5.3 完成Hive應用實踐
5.3.1 Hive環境搭建
5.3.2 HiveQL編程
5.3.3 載入數據到Hive
項目實訓
項目小結
項目6 大數據數據轉換（Sqoop）
任務6.1 了解Sqoop
6.1.1 Sqoop的功能與特性
6.1.2 Sqoop與傳統ETL的區別
任務6.2 完成Sqoop操作
6.2.1 Sqoop環境搭建
6.2.2 Sqoop遷移MySQL數據
6.2.3 Sqoop遷移HDFS數據
項目實訓
項目小結
項目7 大數據日誌處理（Flume）
任務7.1 了解Flume
7.1.1 Flume的功能與特性
7.1.2 Flume與其他主流開源日誌收集系統的區別
任務7.2 完成Flume的應用實踐
7.2.1 Flume搭建
7.2.2 Flume Agent編寫
7.2.3 Flume與Kafka結合進行日誌處理
項目實訓
項目小結
項目8 大數據實時計算框架（Spark）
任務8.1 了解Spark
8.1.1 Spark生態系統組件
8.1.2 Spark與Hadoop的對比
任務8.2 學習Spark技術架構
8.2.1 Spark的運行原�
[