幫助中心 | 我的帳號 | 關於我們
進階搜尋
car

同類熱銷排行榜

最近瀏覽的商品

Python預訓練視覺和大語言模型

  • 作者：(美)艾米麗·韋伯|責編:王軍|譯者:郭濤
  • 出版社：清華大學
  • ISBN：9787302678311
  • 出版日期：2025/01/01
  • 裝幀：平裝
  • 頁數：232
人民幣：RMB 59.8 元      售價：元
放入購物車
加入收藏夾
內容大鋼
    基礎模型永久改變了機器學習。從BERT到ChatGPT，從CLIP到Stable Diffusion，當數十億個參數、大數據集與成百上千個GPU相結合時，結果刷新了紀錄。《Python預訓練視覺和大語言模型》呈現的真知灼見和示例代碼將幫你在AWS和Amazon SageMaker上從頭開始預訓練和優化基礎模型，並將它們應用到整個組織的數百個用例中。
    《Python預訓練視覺和大語言模型》由經驗豐富的AWS和機器學習專家Emily Webber撰寫，涵蓋的內容十分廣泛，包括構思項目，準備數據集，訓練、評估和部署大型語言、視覺及多模態模型。本書循序漸進地講述基本概念並列舉實例，指導你預訓練和準備數據集及模型，配置環境，並訓練、微調、評估、部署和優化基礎模型。
    學習本書後，你將能按照縮放法則在多個GPU上分佈模型和數據集，消除偏差，實現高吞吐量以及構建部署管道。最後，你將完全有能力開發個人項目，對基礎模型進行預訓練和微調。
作者介紹
(美)艾米麗·韋伯|責編:王軍|譯者:郭濤
    艾米麗·韋伯，是AWS的首席ML專家解決方案架構師，專門從事大語言和視覺模型的分散式訓練。Emily在AWS社區廣為人知，在YouTube上發布了由16個視頻組成的SageMaker系列，視頻播放量高達21.1萬次。Emily曾在2019年倫敦人工智慧大會上發表過主題演講。
目錄
第Ⅰ部分  預訓練前
  第1章  預訓練基礎模型簡介
    1.1  預訓練和微調藝術
    1.2  Transformer模型架構和自注意力
    1.3  最先進的視覺模型和語言模型
      1.3.1  截至2023年4月的頂級視覺模型
      1.3.2  對比預訓練與自然語言監督
      1.3.3  截至2023年4月的頂級語言模型
      1.3.4  語言技術重點——因果建模和縮放法則
    1.4  編碼器和解碼器
    1.5  本章小結
  第2章  數據集準備：第1部分
    2.1  為基礎建模尋找數據集和用例
    2.2  你的數據集有多大區別
      2.2.1  使用縮放法則調整數據集的大小
      2.2.2  基礎——神經語言模型的縮放法則
    2.3  偏差檢測和減少
    2.4  增強數據集——多語言、多模態和增強
    2.5  本章小結
  第3章  模型準備
    3.1  尋找最優基礎模型
      3.1.1  從最小的基礎模型開始
      3.1.2  權衡——簡單與複雜
      3.1.3  權衡——應用於許多用例，而非局限於一個用例
      3.1.4  找到最優基礎模型的技術方法
    3.2  尋找預訓練損失函數
      3.2.1  視覺的預訓練損失函數——ViT和CoCa
      3.2.2  語言中的預訓練損失函數——Alexa教師模型
      3.2.3  更改預訓練損失函數
    3.3  設定模型大小
      3.3.1  解決模型大小問題的實用方法
      3.3.2  並非所有縮放法則的效果都相同
      3.3.3  規劃未來的實驗
    3.4  本章小結
第Ⅱ部分  配置環境
  第4章  雲容器和雲加速器
    4.1  什麼是加速器，為什麼它們很重要
    4.2  準備使用加速器
    4.3  優化加速器性能
      4.3.1  超參數
      4.3.2  AWS上加速器的基礎設施優化
    4.4  加速器性能故障排除
    4.5  本章小結
  第5章  分散式基礎知識
    5.1  理解關鍵概念——數據和模型並行性
      5.1.1  什麼是數據並行
      5.1.2  什麼是模型並行
    5.2  將模型與數據並行相結合
    5.3  Amazon SageMaker分散式訓練
      5.3.1  分散式訓練軟體

      5.3.2  SM DDP
      5.3.3  SMP庫
    5.4  減少GPU內存的高級技術
      5.4.1  張量並行性
      5.4.2  優化器狀態分片
      5.4.3  激活檢查點
      5.4.4  分片數據並行性
    5.5  當今模型的示例
      5.5.1  Stable Diffusion——大規模數據並行
      5.5.2  GPT-3——大規模的模型和數據並行性
    5.6  本章小結
  第6章  數據集準備：第2部分
    6.1  Python中的數據載入器
    6.2  構建和測試自己的數據載入器——來自Stable Diffusion的案例研究
    6.3  創建嵌入——詞元分析器和智能功能的其他關鍵步驟
    6.4  在Amazon SageMaker上優化數據管道
    6.5  在AWS上大規模轉換深度學習數據集
    6.6  本章小結
第Ⅲ部分  訓練模型
  第7章  尋找合適的超參數
    7.1  超參數——批量大小、學習率等
    7.2  微調策略
    7.3  基礎模型的超參數微調
    7.4  使用SageMaker根據world size放大
    7.5  本章小結
  第8章  SageMaker的大規模訓練
    8.1  優化SageMaker訓練的腳本
      8.1.1  導入程序包
      8.1.2  參數解析
      8.1.3  函數定義和用法
    8.2  SageMaker訓練的頂級可用性功能
      8.2.1  用於快速實驗的暖池
      8.2.2  SSM和SSH進入訓練實例
      8.2.3  跟蹤作業和實驗以複製結果
    8.3  本章小結
  第9章  高級訓練概念
    9.1  評估和提高吞吐量
    9.2  使用Flash注意力加速訓練運行
    9.3  通過編譯加快作業速度
    9.4  Amazon SageMaker訓練編譯器和Neo
    9.5  在亞馬遜的Trainium和Inferentia自定義硬體上運行編譯后的模型
    9.6  求解最優訓練時間
    9.7  本章小結
第Ⅳ部分  評估模型
  第10章  微調和評估
    10.1  對語言、文本和其間的一切進行微調
      10.1.1  微調純語言模型
      10.1.2  微調純視覺模型
      10.1.3  微調視覺語言模型
    10.2  評估基礎模型

      10.2.1  視覺模型評估指標
      10.2.2  語言模型評估指標
      10.2.3  聯合視覺-語言任務中的模型評估指標
      10.2.4  通過SageMaker Ground Truth將人類視角與標籤相結合
    10.3  從人類反饋中強化學習
    10.4  本章小結
  第11章  檢測、減少和監控偏差
    11.1  檢測機器學習模型中的偏差
    11.2  減少視覺和語言模型中的偏差
      11.2.1  語言模型中的偏差減少——反事實數據增強和公平損失函數
      11.2.2  視覺模型中的偏差減少——減少相關性並解決採樣問題
    11.3  監控機器學習模型中的偏差
    11.4  使用SageMaker Clarify檢測、減輕和監控偏差
    11.5  本章小結
第Ⅴ部分  部署模型
  第12章  如何部署模型
    12.1  模型部署的定義
    12.2  托管模型的最優方式
    12.3  為什麼縮小模型，以及如何縮小
      12.3.1  模型編譯
      12.3.2  知識蒸餾
      12.3.3  量化
    12.4  在SageMaker上托管分散式模型
    12.5  模型伺服器和端到端托管優化
    12.6  本章小結
  第13章  提示工程
    13.1  提示工程——以少搏多的藝術
    13.2  從少樣本學習到零樣本學習
    13.3  文本到圖像提示工程的注意之處
    13.4  圖像到圖像提示工程的注意之處
      13.4.1  放大
      13.4.2  掩膜
      13.4.3  使用DreamBooth提示目標到圖像
    13.5  提示大型語言模型
      13.5.1  指令微調
      13.5.2  思維鏈提示
      13.5.3  摘要
      13.5.4  防止提示注入和越獄
    13.6  高級技術——前綴和提示微調
      13.6.1  前綴微調
      13.6.2  提示微調
    13.7  本章小結
  第14章  視覺和語言MLOps
    14.1  什麼是MLOps？
    14.2  持續集成和持續部署
    14.3  模型監控和人機迴環
    14.4  基礎模型的MLOps
    14.5  視覺MLOps
    14.6  AWS為MLOps提供的服務
    14.7  本章小結

  第15章  預訓練基礎模型的未來趨勢
    15.1  構建LLM應用程序的技術
      15.1.1  使用開源堆棧構建互動式對話應用程序
      15.1.2  使用RAG確保LLM應用程序的高準確性
      15.1.3  生成是新的分類嗎？
      15.1.4  用LLM構建應用的人性化設計
    15.2  其他生成式模式
    15.3  基礎模型中的AWS產品
    15.4  基礎模型的未來
    15.5  預訓練的未來
    15.6  本章小結
參考文獻

  • 商品搜索：
  • | 高級搜索
首頁│ 新手上路│ 客服中心│ 關於我們│ 聯絡我們│ Top↑│
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話：02-2381-2033 02-2381-1863　時間：週一-週五 10:00-17:00
　服務信箱：bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證：浙B2-20060032