幫助中心 | 我的帳號 | 關於我們

HDFS+MapReduce分散式存儲與計算實戰/HITE7.0軟體開發與應用工程師

  • 作者:編者:武漢厚溥數字科技有限公司|責編:劉金喜
  • 出版社:清華大學
  • ISBN:9787302620075
  • 出版日期:2023/03/01
  • 裝幀:平裝
  • 頁數:211
人民幣:RMB 69 元      售價:
放入購物車
加入收藏夾

內容大鋼
    本書按照高等院校電腦專業課程基本要求,注重理論和實踐相結合,採用先實踐再總結的方式,突出電腦課程的實踐性特點。本書共包括9個單元:大數據概述,大數據必備Linux知識,Hadoop偽分散式安裝及其部署,HDFS原理詳解,MapReduce計算框架詳解,搭建Hadoop完全分散式環境,資源調度框架(YARN)與運用,Hive初識,項目實戰。
    本書內容安排合理,結構清晰,通俗易懂,實例豐富,可作為各類高等院校、培訓機構的教材,也可供大數據程序開發人員學習和參考。

作者介紹
編者:武漢厚溥數字科技有限公司|責編:劉金喜

目錄
單元一  大數據概述
  1.1  大數據基本概念
    1.1.1  大數據與生活
    1.1.2  大數據的特徵
    1.1.3  大數據的發展史
    1.1.4  雲計算、大數據和人工智慧
    1.1.5  大數據平台——Hadoop
  1.2  學習Hadoop的環境準備工作
  單元小結
  單元自測
單元二  大數據必備Linux知識
  2.1  Linux目錄結構
  2.2  Linux運行級別
  2.3  Linux常用命令
    2.3.1  幫助命令
    2.3.2  顯示當前目錄絕對路徑命令
    2.3.3  列出目錄命令
    2.3.4  切換目錄命令
    2.3.5  創建目錄命令
    2.3.6  刪除文件或目錄命令
    2.3.7  創建空文件
    2.3.8  複製命令
    2.3.9  移動/重命名命令
    2.3.10  查看內容命令
    2.3.11  分屏顯示文件內容命令
    2.3.12  輸出重定向命令
    2.3.13  輸出內容到控制台命令
    2.3.14  軟鏈接命令
    2.3.15  查看歷史執行命令
    2.3.16  顯示當前時間命令
    2.3.17  查看日曆命令
    2.3.18  tar文件解壓命令
    2.3.19  在指定的目錄下查找命令
    2.3.20  全局查找命令
    2.3.21  在文本中查找命令
  2.4  Linux用戶管理
    2.4.1  添加用戶命令
    2.4.2  創建用戶組命令
    2.4.3  添加用戶並指定所屬組命令
    2.4.4  修改用戶所屬組命令
    2.4.5  刪除用戶命令
    2.4.6  刪除用戶組命令
    2.4.7  設置用戶密碼命令
    2.4.8  查看用戶信息命令
    2.4.9  切換用戶命令
    2.4.10  查看登錄用戶信息命令
    2.4.11  用戶、用戶組的相關文件
  2.5  Linux組和許可權管理
    2.5.1  Linux中的許可權
    2.5.2  修改文件/目錄的所有者命令

    2.5.3  修改文件/目錄的所屬組命令
    2.5.4  修改文件所有者和所屬組命令
    2.5.5  修改許可權命令
  2.6  Linux磁碟管理
    2.6.1  查看系統整體磁碟情況命令
    2.6.2  查看指定目錄的磁碟佔用情況命令
  2.7  Linux網路
    2.7.1  修改IP地址
    2.7.2  修改主機名
  2.8  Linux進程管理
    2.8.1  顯示系統執行的進程命令
    2.8.2  顯示子父進程的關係命令
    2.8.3  終止進程命令
  2.9  Linux服務管理
  2.10  Linux RPM和YUM
    2.10.1  RPM相關命令
    2.10.2  YUM相關命令
  2.11  Linux vim編輯器
    2.11.1  vim的普通模式
    2.11.2  vim的編輯模式
    2.11.3  vim的命令模式
  單元小結
  單元自測
單元三  Hadoop偽分散式安裝及其部署
  3.1  前期知識準備
  3.2  Linux環境配置
    3.2.1  修改主機名和電腦名
    3.2.2  配置靜態IP地址
    3.2.3  配置SSH無密碼連接
    3.2.4  遠程連接配置
  3.3  JDK配置
    3.3.1  卸載Open JDK
    3.3.2  下載Oracle JDK
    3.3.3  安裝Oracle JDK(root用戶許可權執行)
  3.4  安裝與部署Hadoop
    3.4.1  安裝CDH
    3.4.2  修改hadoop-env.sh
    3.4.3  修改core-site.xml
    3.4.4  修改hdfs-site.xml
    3.4.5  修改slaves文件
    3.4.6  追加HADOOP_HOME到環境變數中
    3.4.7  格式化HDFS
    3.4.8  啟動Hadoop並驗證安裝
    3.4.9  安裝驗證
  單元小結
  單元自測
單元四  HDFS原理詳解
  4.1  HDFS概述以及設計目標
    4.1.1  HDFS概述
    4.1.2  HDFS設計理念

    4.1.3  HDFS目標
    4.1.4  HDFS缺點
  4.2  HDFS架構
  4.3  HDFS副本機制
    4.3.1  數據複製
    4.3.2  副本存放機制
  4.4  HDFS讀取文件和寫入文件
    4.4.1  通過HDFS讀取文件
    4.4.2  通過HDFS寫入文件
  4.5  HDFS的基本文件操作
    4.5.1  -help[cmd]
    4.5.2  -mkdir
    4.5.3  -ls(r)
    4.5.4  -put
    4.5.5  -du(s)
    4.5.6  -count[-q]
    4.5.7  -mv
    4.5.8  -cp
    4.5.9  -rm(r)
    4.5.10  -moveFromLocal/-moveToLocal
    4.5.11  -get[-ignorecrc]
    4.5.12  -cat
  單元小結
  單元自測
單元五  MapReduce計算框架詳解
  5.1  認識MapReduce
    5.1.1  什麼是MapReduce
    5.1.2  MapReduce的特點
  5.2  MapReduce編程思想
  5.3  MapReduce執行流程
    5.3.1  MapReduce流程分解
    5.3.2  MapReduce詳解
  5.4  Java版中wordcount功能的實現
  5.5  Combiner應用程序開發
    5.5.1  MapReduce中Combiner的作用
    5.5.2  Combiner的原理
    5.5.3  代碼實現
  5.6  Partitioner應用程序開發
    5.6.1  MapReduce中Partitioner的作用
    5.6.2  代碼實現
  單元小結
  單元自測
單元六  搭建Hadoop完全分散式環境
  6.1  Hadoop的集群規劃
  6.2  前置安裝
  6.3  安裝JDK
  6.4  Hadoop集群的部署
  6.5  作業提交到Hadoop集群上運行
  單元小結
  單元自測

單元七  資源調度框架(YARN)與運用
  7.1  YARN產生的背景
  7.2  YARN架構
  7.3  YARN的執行流程
  7.4  YARN的環境搭建
  7.5  提交作業到YARN上執行
  單元小結
  單元自測
單元八  Hive初識
  8.1  認識Hive
  8.2  Hive的安裝和配置
    8.2.1  安裝MySQL
    8.2.2  安裝Hive
    8.2.3  驗證安裝
  8.3  Hive操作快速入門
  單元小結
  單元自測
單元九  電商用戶行為分析項目實戰
  9.1  背景知識
  9.2  項目基本介紹
    9.2.1  用戶日誌分析
    9.2.2  常用的電商術語
    9.2.3  用戶行為日誌的意義
  9.3  項目需求分析
    9.3.1  需求分析
    9.3.2  數據處理流程
  9.4  實現項目功能
    9.4.1  各省份瀏覽量統計功能實現
    9.4.2  頁面瀏覽統計功能實現
    9.4.3  ETL的介紹和實現
    9.4.4  功能升級
    9.4.5  打包上傳伺服器運行
  9.5  項目功能優化

  • 商品搜索:
  • | 高級搜索
首頁新手上路客服中心關於我們聯絡我們Top↑
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話:02-2381-2033 02-2381-1863 時間:週一-週五 10:00-17:00
 服務信箱:bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證:浙B2-20060032