幫助中心 | 我的帳號 | 關於我們

Spark大數據演算法

  • 作者:(美)馬哈默德·帕瑞斯安|責編:劉熾|譯者:蘇金國
  • 出版社:中國電力
  • ISBN:9787519887728
  • 出版日期:2024/05/01
  • 裝幀:平裝
  • 頁數:485
人民幣:RMB 148 元      售價:
放入購物車
加入收藏夾

內容大鋼
    Apache Spark不僅速度快,易於使用,還提供了豐富的分析能力和多語言支持,掌握這個集群計算框架的實用知識已經成為數據工程師和數據科學家的必備技能。利用這本實用指南,想要了解Spark的人能從中學到實用的PySpark演算法和示例。
    每一章中,本書作者會向你展示如何用一組Spark轉換和演算法解決一個數據問題。你會了解如何應對涉及ETL、設計模式、機器學習演算法、數據分區和基因組分析的問題。每個技巧都提供了利用PySpark驅動器的PySpark演算法和shell腳本。

作者介紹
(美)馬哈默德·帕瑞斯安|責編:劉熾|譯者:蘇金國
    馬哈默德·帕瑞斯安(Mahmoud Parsian),電腦科學博士,是一位熱衷於實踐的軟體專家,作為開發人員、設計人員、架構師和作者,他有30多年的軟體開發經驗。目前領導著Illumina的大數據團隊,在過去15年間,他主要從事Java(伺服器端)、資料庫、MapReduce和分散式計算的有關工作。Mahmoud還著有《JDBC Recipes》和《JDBC Metadata,MySQL,and Oracle Recipes》等書(均由Apress出版)。

目錄

前言
第Ⅰ部分  基礎知識
  第1章  Spark和PySpark簡介
    1.1  為什麼使用Spark完成數據分析
      1.1.1  Spark生態系統
      1.1.2  Spark架構
    1.2  PySpark的能力
    1.3  Spark數據抽象
      1.3.1  RDD示例
      1.3.2  Spark RDD操作
      1.3.3  DataFrame示例
    1.4  使用PySpark Shell
      1.4.1  啟動PySpark Shell
      1.4.2  由集合創建RDD
      1.4.3  聚合和合併鍵的值
      1.4.4  過濾RDD的元素
      1.4.5  對類似的鍵分組
      1.4.6  聚合類似鍵的值
    1.5  使用 DataFrame的ETL示例
      1.5.1  抽取
      1.5.2  轉換
      1.5.3  載入
    1.6  小結
  第2章  轉換實戰
    2.1  DNA鹼基計數示例
      2.1.1  DNA鹼基計數問題
      2.1.2  FASTA格式
      2.1.3  示例數據
    2.2  DNA鹼基計數解決方案1
      2.2.1  步驟1:由輸入創建一個RDD[String]
      2.2.2  步驟2:定義一個映射器函數
      2.2.3  步驟3:得出DNA字母頻度
      2.2.4  解決方案1的優缺點
    2.3  DNA鹼基計數解決方案2
      2.3.1  步驟1:由輸入創建一個RDD[String]
      2.3.2  步驟2:定義一個映射器函數
      2.3.3  步驟3:得出 DNA字母頻度
      2.3.4  解決方案2的優缺點
    2.4  DNA鹼基計數解決方案3
      2.4.1  mapPartitions()轉換
      2.4.2  步驟1:由輸入創建一個RDD[String]
      2.4.3  步驟2:定義函數處理一個分區
      2.4.4  步驟3:對各個分區應用自定義函數
      2.4.5  解決方案3的優缺點
    2.5  小結
  第3章  映射器轉換
    3.1  數據抽象和映射器
    3.2  轉換是什麼
      3.2.1  懶轉換

      3.2.2  map()轉換
……
第Ⅱ部分  處理數據
第Ⅲ部分  數據設計模式

  • 商品搜索:
  • | 高級搜索
首頁新手上路客服中心關於我們聯絡我們Top↑
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話:02-2381-2033 02-2381-1863 時間:週一-週五 10:00-17:00
 服務信箱:bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證:浙B2-20060032