同類熱銷排行榜

Airflow實戰

作者：朱鵬程|責編:秦健
出版社：人民郵電
ISBN：9787115623775

出版日期：2023/12/01
裝幀：平裝
頁數：207

人民幣：RMB 79.8 元售價：元

內容大鋼

本書由淺入深地介紹了如何快速搭建Airflow集群，包括不同操作系統的快速搭建方法、Airflow的安裝方法、Airflow集群的部署方法、Airflow中的核心概念和其他重要概念、Airflow的架構和組件、Airflow的系統管理、實踐經驗以及其他常見的調度系統。附錄提供了Docker和Kubernetes的簡介。此外，本書還提供了在生產環境中使用Airflow的諸多實踐與經驗，無論是對研發工程師創建工作流、排查工作流問題，還是對運維工程師維護集群運轉、優化集群性能，都有極其重要的借鑒價值。
本書圖文並茂，理論翔實，示例豐富，適合正在使用或者即將使用Airflow作為調度系統的研發工程師、Airflow平台的運維工程師以及對Airflow感興趣的讀者閱讀。

作者介紹

朱鵬程|責編:秦健

第1章  快速搭建Airflow集群
  1.1  準備工作
    1.1.1  安裝kubectl
    1.1.2  安裝Docker和kind
    1.1.3  安裝Helm
  1.2  創建Kubernetes集群
  1.3  使用Helm部署Airflow集群
  1.4  運行示例
  1.5  本章小結
第2章  安裝Airflow
  2.1  在非容器化環境中基於PyPI安裝Airflow
    2.1.1  準備工作
    2.1.2  安裝Airflow
    2.1.3  升級Airflow
  2.2  在容器化環境中擴展Airflow官方的鏡像
  2.3  本章小結
第3章  部署Airflow集群
  3.1  在非容器化生產環境中部署Airflow
    3.1.1  基於Celery Executor的部署
    3.1.2  基於Dask Executor的部署
  3.2  在容器化生產環境中部署Airflow
    3.2.1  基於Celery Executor的部署
    3.2.2  基於Kubernetes Executor的部署
    3.2.3  基於CeleryKubernetes Executor的部署
  3.3  本章小結
第4章  DAG相關概念
  4.1  DAG簡介
    4.1.1  構造DAG
    4.1.2  載入DAG
    4.1.3  運行DAG
  4.2  Task
    4.2.1  Task的類型
    4.2.2  TaskGroup
    4.2.3  Task的超時處理
  4.3  DAG Run和Task Instance
  4.4  本章小結
第5章  其他概念
  5.1  XCom
    5.1.1  XCom的使用場景
    5.1.2  如何使用XCom
  5.2  Variable
    5.2.1  通過Webserver UI配置Variable
    5.2.2  通過環境變數配置Variable
    5.2.3  通過其他方式配置Variable
  5.3  Connection和Hook
    5.3.1  基本概念
    5.3.2  Connection的配置
    5.3.3  Connection和Hook的使用
    5.3.4  SSHHook源代碼分析
  5.4  Pool

    5.4.1  Pool的設置
    5.4.2  Pool的使用
  5.5  Priority Weight
  5.6  Cluster Policy
    5.6.1  Cluster Policy的使用場景和類型
    5.6.2  具體示例
  5.7  Deferrable Operator和Trigger
    5.7.1  使用Deferrable Operator和Trigger
    5.7.2  從源代碼分析Deferrable Operator和Trigger
  5.8  本章小結
第6章  架構和組件
  6.1  架構
  6.2  Scheduler
    6.2.1  解析DAG文件
    6.2.2  調度DAG和Task
    6.2.3  運行Task Instance
  6.3  Webserver
    6.3.1  UI
    6.3.2  REST API
  6.4  Triggerer
  6.5  本章小結
第7章  系統管理
  7.1  配置
    7.1.1  如何管理配置
    7.1.2  特殊的配置
    7.1.3  配置的優先順序
  7.2  安全
    7.2.1  訪問控制
    7.2.2  API認證
    7.2.3  Webserver UI安全
    7.2.4  數據安全
  7.3  日誌和監控
    7.3.1  日誌和監控的架構
    7.3.2  日誌
    7.3.3  監控
  7.4  插件
    7.4.1  插件的安裝和載入
    7.4.2  如何實現插件
  7.5  模塊管理
    7.5.1  如何添加Python模塊
    7.5.2  如何排查問題
  7.6  CLI
    7.6.1  全部命令
    7.6.2  自動補齊
  7.7  時區
    7.7.1  datetime對象與時區
    7.7.2  Airflow是如何處理時區的
    7.7.3  Webserver UI的時區顯示
  7.8  本章小結
第8章  Airflow集群實踐

  8.1  Executor調優
    8.1.1  Celery Executor調優
    8.1.2  Kubernetes Executor調優
    8.1.3  Dask Executor調優
  8.2  高可用
    8.2.1  高可用的Scheduler
    8.2.2  高可用的Webserver
    8.2.3  高可用的Triggerer
  8.3  魯棒的資料庫訪問
    8.3.1  PostgreSQL優化
    8.3.2  MySQL優化
    8.3.3  資料庫通用優化
  8.4  簡化DAG文件發布和解析
    8.4.1  簡化DAG文件發布
    8.4.2  通過配置控制DAG文件解析的行為
  8.5  用插件擴展集群的能力
    8.5.1  編寫插件
    8.5.2  安裝插件
    8.5.3  測試插件
  8.6  加強REST API的能力
  8.7  其他
    8.7.1  讓集群更安全
    8.7.2  監控必不可少
    8.7.3  為DAG和Task添加說明文檔
    8.7.4  配置郵件通知
    8.7.5  控制調度的併發度
  8.8  本章小結
第9章  Airflow的新功能
  9.1  Airflow 2.3版本的新功能
    9.1.1  動態Task映射
    9.1.2  網格視圖
    9.1.3  其他功能
  9.2  Airflow 2.4版本的新功能
    9.2.1  數據感知調度
    9.2.2  其他功能
  9.3  Airflow 2.5版本的新功能
  9.4  本章小結
第10章  其他調度系統
  10.1  DolphinScheduler
    10.1.1  DolphinScheduler的架構
    10.1.2  DolphinScheduler的特點和優勢
    10.1.3  DolphinScheduler與Airflow的對比
  10.2  AWS Step Functions
    10.2.1  AWS Step Functions的特點和優勢
    10.2.2  AWS Step Functions與Airflow的對比
  10.3  Google Workflows
    10.3.1  Google Workflows的特點和優勢
    10.3.2  Google Workflows與Airflow的對比
  10.4  Azkaban
    10.4.1  Azkaban的特點和優勢

    10.4.2  Azkaban與Airflow的對比
  10.5  Kubeflow
    10.5.1  Kubeflow的特點和優勢
    10.5.2  Kubeflow與Airflow的對比
  10.6  本章小結
附錄A  Docker簡介
附錄B  Kubernetes簡介

Δ訂單支付
付款方式
運費計算方式

Δ關於我們
關於美商天龍
聯絡我們

首頁│ 新手上路│ 客服中心│ 關於我們│ 聯絡我們│ Top↑│
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話：02-2381-2033 02-2381-1863　時間：週一-週五 10:00-17:00
　服務信箱：bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證：浙B2-20060032

同類熱銷排行榜

最近瀏覽的商品

Airflow實戰