幫助中心 | 我的帳號 | 關於我們

Spark基礎編程(Scala版)/大數據與人工智慧技術叢書

  • 作者:編者:曹如軍|責編:王芳//李曄
  • 出版社:清華大學
  • ISBN:9787302644668
  • 出版日期:2024/02/01
  • 裝幀:平裝
  • 頁數:174
人民幣:RMB 45 元      售價:
放入購物車
加入收藏夾

內容大鋼
    本書主要為Spark開發提供編程指導,涉及的主要內容包括Spark開發基礎知識、RDD編程、SQL編程、Streaming開發及機器學習開發等。
    由於大數據相關技術、軟體平台等更新迭代較快,因此本書在介紹相關內容時,盡量選擇較新的軟體版本。本書所介紹的Spark API基於Spark 3.3.x,相較于Spark 2.x或其他更早版本,部分API有更新,請讀者注意版本變化帶來的差異。Spark是基於Scala編程語言開發的。基於Scala的API開發,代碼的執行效率高,學習過程更輕鬆。Scala經過多年發展,迭代更新了若干版本,版本變化較大(版本不兼容)。本書選用了相對較新又相對成熟穩定的Scala 2.13.x版本。
    本書適合作為大數據應用開發工程技術人員的編程指導書,也適合作為高等院校電腦、大數據相關專業大數據應用開發或Spark應用開發的教材或教學參考書。

作者介紹
編者:曹如軍|責編:王芳//李曄

目錄
第1章  大數據概述
  1.1  大數據的概念
  1.2  大數據的關鍵技術
  1.3  大數據計算模式
  1.4  本書內容介紹
  1.5  Linux虛擬機的安裝與使用
    1.5.1  安裝環境
    1.5.2  安裝VirtualBox
    1.5.3  安裝虛擬機系統Ubuntu
    1.5.4  Linux命令
    1.5.5  主機與虛擬機交互
第2章  Scala基礎
  2.1  Scala概述
    2.1.1  Scala簡介
    2.1.2  Scala安裝
    2.1.3  Scala使用基礎
  2.2  Scala初步
    2.2.1  初識Scala REPL
    2.2.2  變數定義
    2.2.3  Scala REPL中的多行輸入
    2.2.4  函數定義
  2.3  Scala基本數據類型與操作
    2.3.1  基本數據類型
    2.3.2  操作符
    2.3.3  運算的優先順序與結合性
    2.3.4  富操作(Rich Operations)
  2.4  控制結構
    2.4.1  if表達式
    2.4.2  while循環
    2.4.3  for表達式
    2.4.4  match表達式
    2.4.5  try表達式(異常處理)
  2.5  Scala常用數據結構
    2.5.1  序列數
    2.5.2  數組
    2.5.3  列表
    2.5.4  元組
    2.5.5  集合
    2.5.6  映射
  2.6  函數式編程
  2.7  Scala類與對象
    2.7.1  類、欄位及方法
    2.7.2  單例對象
    2.7.3  樣例類
  2.8  Scala應用程序
第3章  Spark開發基礎
  3.1  Spark概述
    3.1.1  Spark簡介
    3.1.2  Spark架構設計
  3.2  Spark安裝及部署

    3.2.1  安裝Spark
    3.2.2  Spark部署方式
  3.3  配置Spark訪問HDFS數據源
    3.3.1  Hadoop部署
    3.3.2  配置Spark訪問HDFS
  3.4  使用Spark shell
    3.4.1  啟動Spark shell
    3.4.2  使用Spark shell
    3.4.3  退出Scala Spark shell
    3.4.4  Spark shell常用選項
  3.5  Spark 開發環境
    3.5.1  SBT
    3.5.2  IntelliJ IDEA
第4章  Spark RDD編程
  4.1  RDD概述
  4.2  RDD編程基礎
    4.2.1  環境初始化
    4.2.2  互動式編程
    4.2.3  一個簡單的應用程序
  4.3  RDD常用操作
    4.3.1  轉換
    4.3.2  動作
    4.3.3  函數參數傳遞
  4.4  鍵/值對RDD
  4.5  共享變數
    4.5.1  廣播變數
    4.5.2  累加器
  4.6  文件數據讀寫
    4.6.1  從文件創建RDD
    4.6.2  保存RDD
  4.7  RDD程序例子
    4.7.1  詞頻統計WordCount
    4.7.2  文件合併
    4.7.3  求 Top值
第5章  Spark SQL編程
  15.1  Spark SQL基礎
    5.1.1  概述
    5.1.2  Spark SQL架構
    5.1.3  一個簡單的Spark SQL開發例子
  5.2  數據幀DataFrame
    5.2.1  DataFrame結構
    5.2.2  創建DataFrame
    5.2.3  DataFrame常用操作
    5.2.4  保存DataFrame
  5.3  數據集Dataset
    5.3.1  創建Dataset
    5.3.2  Dataset常用方法
  5.4  數據源
    5.4.1  通用load/save函數
    5.4.2  文件數據源

    5.4.3  Hive數據源
    5.4.4  SQL數據源
  5.5  安裝關係資料庫
    5.5.1  PostgreSQL
    5.5.2  MySQL Server
第6章  Streaming編程
  6.1  流計算概述
    6.1.1  流計算背景
    6.1.2  流計算概念
    6.1.3  流計算框架
  6.2  Spark Streaming
    6.2.1  概述
    6.2.2  Spark Streaming簡單示例
    6.2.3  Spark Streaming開發基礎
    6.2.4  DStream常用操作
  6.2  Structured Streaming
    6.3.1  概述
    6.3.2  Structured Streaming簡單示例
    6.3.3  編程模型
    6.3.4  DataFrame和Dataset數據流API
  6.4  Structured Streaming編程實踐
    6.4.1  Kafka數據源準備
    6.4.2  Structured Streaming Kafka依賴包
    6.4.3  在 Spark shell中連接Kafka
第7章  Spark MLlib實踐
  7.1  機器學習
    7.1.1  機器學習概述
    7.1.2  機器學習常用術語
    7.1.3  機器學習的應用
    7.1.4  機器學習的方法
    7.1.5  大數據與機器學習
  7.2  Spark MLlib
    7.2.1  Spark機器學習概述
    7.2.2  MLlib概述
    7.2.3  MLlib機器學習管道
  7.3  MLlib初級實踐
    7.3.1  數據準備
    7.3.2  創建訓練集與測試集
    7.3.3  使用轉換器準備特徵
    7.3.4  使用估計器構建模型
    7.3.5  創建管道
    7.3.6  評估模型
  7.4  超參數調優
    7.4.1  基於樹的模型
    7.4.2  k折交叉驗證
    7.4.3  管道優化
參考文獻

  • 商品搜索:
  • | 高級搜索
首頁新手上路客服中心關於我們聯絡我們Top↑
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話:02-2381-2033 02-2381-1863 時間:週一-週五 10:00-17:00
 服務信箱:bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證:浙B2-20060032