語言之舞(大語言模型應用實戰全書)

作者：牛亞運//倪靜|責編:林瑞和
出版社：電子工業
ISBN：9787121502835

出版日期：2025/07/01
裝幀：平裝
頁數：335

人民幣：RMB 99 元售價：元

內容大鋼

近年來，大語言模型（LLM）技術飛速發展，深刻地改變著我們世界的各行各業，越來越多的人意識到這項技術的重要性，卻苦於缺少嚴謹、優質的一站式學習教程。本書旨在為讀者提供全面、深入且實踐性強的LLM學習資源，力求將LLM的理論知識與實際應用案例相結合，幫助讀者更好地理解和掌握這一前沿技術。本書具有重視實踐、內容全面且系統、案例豐富且實用、代碼規範且易懂、緊跟技術前沿等顯著的特色，是現階段LLM理論與實踐學習的集大成者。本書的目標讀者包括但不限於：對LLM感興趣的科研人員、工程師、學生以及希望了解和應用LLM的企業管理者。本書也可成為各個院校培訓機構AI和大模型專業的教材。

作者介紹

牛亞運//倪靜|責編:林瑞和

第1章  LLM構建流程
  1.1  數據準備並初步清洗
    1.1.1  數據採集
    1.1.2  數據過濾
      1.1.2.1  低質過濾
      1.1.2.2  去重過濾
      1.1.2.3  內容安全過濾
    1.1.3  實戰案例：使用Falcon爬取並清洗互聯網數據
  1.2  數據預處理
    1.2.1  數據精洗
    1.2.2  分詞及其預處理
      1.2.2.1  分詞
      1.2.2.2  Token后處理
    1.2.3  分詞器
      1.2.3.1  分詞器的概述
      1.2.3.2  辭彙表擴充技術
      1.2.3.3  代碼實戰
    1.2.4  定義模型的輸入
      1.2.4.1  構建輸入特徵
      1.2.4.2  Token處理階段的對比
  1.3  模型預訓練與評估
    1.3.1  模型搭建
      1.3.1.1  建模任務及其模型架構選擇
      1.3.1.2  模型框架選擇
    1.3.2  模型預訓練與優化
      1.3.2.1  模型預訓練
      1.3.2.2  模型超參數調優
      1.3.2.3  模型訓練優化及其常用策略
      1.3.2.4  模型訓練優化之並行提速
      1.3.2.5  拓展的並行技術之ZeRO
      1.3.2.6  拓展的並行技術之FSDP
      1.3.2.7  拓展的並行技術之MoE並行
      1.3.2.8  模型訓練優化之降存提速六大技巧綜述
      1.3.2.9  降存之辭彙表裁剪
      1.3.2.10  降存之梯度檢查點
      1.3.2.11  同時降存、提速之混合精度訓練
      1.3.2.12  同時提速、降存之數據壓縮
      1.3.2.13  同時提速、降存之量化感知訓練
      1.3.2.14  提速之梯度累積
    1.3.3  預訓練后評估
      1.3.3.1  概述
      1.3.3.2  代碼實戰：基準評估案例（C-Eval）
      1.3.3.3  代碼實戰：人工評估案例
      1.3.3.4  代碼實戰：大模型自動評估案例（BELLE）
  1.4  模型微調
    1.4.1  LLM知識更新概述
    1.4.2  模型微調策略
      1.4.2.1  指令微調
      1.4.2.2  對齊微調
      1.4.2.3  代碼實戰

    1.4.3  模型微調技術
      1.4.3.1  參數高效微調
      1.4.3.2  適配器微調
      1.4.3.3  前綴微調
      1.4.3.4  P-Tuning
      1.4.3.5  Prompt-Tuning
      1.4.3.6  P-TuningV2
      1.4.3.7  LoRA
      1.4.3.8  常用的參數高效微調方法對比
  1.5  模型推理與優化
    1.5.1  模型推理概述
    1.5.2  推理階段可調參數
    1.5.3  模型推理加速技術
      1.5.3.1  模型量化技術
      1.5.3.2  模型剪枝技術
      1.5.3.3  模型蒸餾技術
      1.5.3.4  KV緩存技術
第2章  LLM的部署與監控
  2.1  模型部署
    2.1.1  模型部署概述
    2.1.2  分散式環境配置
    2.1.3  Docker部署實戰
  2.2  模型監控與維護
  2.3  實戰案例
第3章  LLM的微調與推理部署實戰案例
  3.1  基於LLaMA-3系列模型實戰
    3.1.1  微調實戰
      3.1.1.1  官方Demo案例：利用LoRA微調LLaMA-3-8B-Instruct並生成推理對話
      3.1.1.2  基於Colab平台實現LoRA微調LLaMA-3-8B-Instruct-bnb-4bit
      3.1.1.3  採用LLaMA-Factory工具GUI的方式微調LLaMA-3-8B-Instruct
      3.1.1.4  基於Colab平台利用Unsloth優化框架實現LoRA微調LLaMA-3-8B-bnb
    3.1.2  推理部署實戰
      3.1.2.1  快速使用LLaMA-3-8B-Instruct進行推理測試
      3.1.2.2  LLaMA-3-8B-InstructWebDemo部署
      3.1.2.3  採用FastAPI部署與調用LLaMA-3-8B-Instruct
      3.1.2.4  基於LMStudio結合LobeChat框架部署LLaMA-3模型
      3.1.2.5  基於OLLaMA後端框架依次結合不同的前端框架搭建RAG
      3.1.2.6  基於GPT4ALL框架及其量化後部署
    3.1.3  在線測試實戰
  3.2  基於ChatGLM-3系列模型實戰
    3.2.1  微調實戰
      3.2.1.1  官方Demo案例：利用P-TuningV2和LoRA在單卡GPU環境下進行微調
      3.2.1.2  基於官方Demo微調：多卡全參數微調/單卡P-TuningV2微調
      3.2.1.3  在雲伺服器（4090-24GB）上採用P-TuningV2微調
      3.2.1.4  基於LLaMA-Factory框架並採用GUI方式微調
    3.2.2  推理部署實戰
      3.2.2.1  採用官方Demo提供的CLI形式實現對話交互
      3.2.2.2  採用官方Demo的Web界面實現對話模式、工具模式、代碼解釋器模式
      3.2.2.3  基於LangChain框架實現ChatGLM-3的工具調用
    3.2.3  在線測試實戰

      3.2.3.1  採用官方API介面方式調用
      3.2.3.2  Web在線體驗
  3.3  基於GPT-4o模型實戰
    3.3.1  基於官方API進行在線推理測試
    3.3.2  基於官方Web界面進行在線測試
  3.4  基於GLM-4系列模型實戰
    3.4.1  微調實戰
      3.4.1.1  基於官方Demo案例依次採用LoRA、P-TuningV2、SFT實現微調
      3.4.1.2  在雲伺服器（4090-24GB）上採用LoRA或P-TuningV2實現對話微調
    3.4.2  推理部署實戰
      3.4.2.1  基於官方Demo實現基礎用法：基於Transformers或vLLM後端並採用GLM-4-9B模型實現對話交互
      3.4.2.2  基於官方Demo實現複雜用法：基於Web方式實現GLM-4-9B模型交互與功能拓展
      3.4.2.3  基於雲伺服器（4090-24GB）實現一鍵部署開啟服務並交互測試
    3.4.3  在線測試實戰
      3.4.3.1  採用官方API介面方式調用ChatGLM-4-plus
      3.4.3.2  Web在線體驗
  3.5  基於Qwen系列模型實戰
    3.5.1  微調實戰：基於LLaMA-Factory框架微調Qwen-2模型
    3.5.2  推理部署實戰
3.5.2.1　基於Transformer架構實現測試Qwen-2.5-7B-Instruct模型
3.5.2.2　基於OLLaMA部署Qwen-2.5-7B模型
    3.5.3  在線測試實戰
      3.5.3.1  API介面調用
      3.5.3.2  Web在線體驗
  3.6  基於DeepSeek-R1系列模型實戰
    3.6.1  微調實戰
      3.6.1.1  基於Mini-DeepSeek-R1項目實現
      3.6.1.2  利用雲伺服器
    3.6.2  推理部署實戰
      3.6.2.1  基於官方Demo實現基礎用法
      3.6.2.2  基於LangChain框架實現
      3.6.2.3  基於OLLaMA和Dify創建DeepSeek-R1的個性化應用
      3.6.2.4  基於OLLaMA和AnythingLLM創建DeepSeek-R1個性化應用
    3.6.3  在線測試實戰
      3.6.3.1  API介面調用
      3.6.3.2  Web在線體驗
第4章  LLM項目的構建與應用
  4.1  生成式AI項目的生命周期
  4.2  企業級LLM構建與實現的通用流程
    4.2.1  如何選擇優質的應用場景
      4.2.1.1  LLM在ToB領域落地應用的現有場景實踐
      4.2.1.2  LLM的產品化實踐流程
      4.2.1.3  LLM落地實踐中的產品側與技術側
    4.2.2  如何實現企業級ChatGPT
      4.2.2.1  選擇基座模型
      4.2.2.2  準備數據
      4.2.2.3  準備環境
      4.2.2.4  模型遷移常用方法
      4.2.2.5  模型評估
      4.2.2.6  評價模型

      4.2.2.7  模型修正
      4.2.2.8  模型落地
  4.3  基於LLM的研究方向
    4.3.1  NLP任務
    4.3.2  信息檢索和推薦系統
    4.3.3  多模態和知識圖譜增強
    4.3.4  基於LLM的智能體
  4.4  基於LLM的領域應用
  4.5  基於LLM的企業級需求和應用場景
第5章  提示設計
  5.1  提示工程概述
  5.2  提示的設計要素和策略
    5.2.1  提示的設計要素
    5.2.2  提示內容的設計策略
  5.3  提示設計的方法論
    5.3.1  ICL
    5.3.2  CoT
    5.3.3  PCTS
    5.3.4  對比ICL、CoT、PCTS
    5.3.5  提示設計方法論分類
  5.4  提示設計實踐指南和優秀框架
  5.5  MCP
    5.5.1  提示工程痛點與MCP出現
    5.5.2  MCP核心內容
    5.5.3  MCP的典型應用場景
    5.5.4  MCP的使用經驗與技巧
第6章  LLM的進階與增強
  6.1  LLM的局限性及其解決方案
    6.1.1  LLM幻覺現象簡介與解決方法
    6.1.2  LLM有毒性現象簡介與解決方法
    6.1.3  LLM虛假信息現象簡介與解決方法
  6.2  RAG
    6.2.1  RAG概述
    6.2.2  RAG工程化系統架構和開發組件
    6.2.3  RAG的失敗案例及其優化
      6.2.3.1  RAG的失敗案例
      6.2.3.2  RAG宏觀技術角度的優化
      6.2.3.3  RAG微觀策略角度的優化
      6.2.3.4  探究並解決RAG框架下PDF場景的結構化數據提取問題
      6.2.3.5  代碼實戰
    6.2.4  RAG的發展及其挑戰
      6.2.4.1  RAG發展的三階段
      6.2.4.2  RAG面臨的挑戰與未來發展趨勢
    6.2.5  RAG案例實戰
      6.2.5.1  基於LangChain框架實現RAG
      6.2.5.2  基於LangChain-Chatchat框架實現RAG
      6.2.6.3  基於LLaMAIndex框架實現RAG
      6.2.5.4  基於LocalGPT框架實現RAG
      6.2.5.5  基於OLLaMA+AnythingLLM框架實現RAG
      6.2.5.6  基於OLLaMA+Dify框架實現RAG

  6.3  ETA
    6.3.1  ETA概述
    6.3.2  ETA實戰
      6.3.2.1  基於OpenAI官方案例實現工具調用能力
      6.3.2.2  基於GLM-4官方案例實現工具調用能力
      6.3.2.3  基於Qwen官方案例實現工具調用能力
      6.3.2.4  基於LangChain框架和GPT-4o實現多個工具調用
      6.3.2.5  基於LangGraph框架和Qwen模型實現GraphETA
    6.3.3  伯克利函數調用排行榜
  6.4  智能體
    6.4.1  智能體概述
      6.4.1.1  智能體系統模塊
      6.4.1.2  智能體框架工程化
      6.4.1.3  未來挑戰
    6.4.2  智能體常用能力
      6.4.2.1  能力概覽及其實現方法
      6.4.2.2  能力域分類
    6.4.3  智能體設計的思想和主流模式
      6.4.3.1  ReActAgent簡介
      6.4.3.2  ReWOOAgent簡介
      6.4.3.3  DERAAgent簡介
      6.4.3.4  智能體設計的三大範式
    6.4.4  智能體應用的分類
    6.4.5  智能體實戰
      6.4.5.1  模型推理：基於LangChain框架並結合GPT-4o和GPT-4實現ToolAgent
      6.4.5.2  模型推理：基於LangChain框架實現ReActAgent
      6.4.5.3  模型推理：基於LangChain框架實現KG-RAGAgent
      6.4.5.4  基於LangChain框架和FastAPI部署ToolAgent服務
  6.5  長上下文建模
    6.5.1  大窗口技術概述
    6.5.2  長上下文建模實戰
  6.6  技術探討與分析
    6.6.1  RAG技術與大窗口技術的爭論——衝突還是共生
    6.6.2  智能體技術的自主性與ETA技術的可控性權衡的爭論
第7章  LLM的訓練/推理框架、部署工具和提示庫
  7.1  LLM的開發框架
    7.1.1  側重數據處理的庫或框架
    7.1.2  側重模型構建的庫或框架
  7.2  LLM的訓練、評估、微調和推理框架
    7.2.1  側重訓練的庫或框架
    7.2.2  側重評估的庫或框架
    7.2.3  側重微調的庫或框架
    7.2.4  側重推理的庫或框架
  7.3  LLM的部署和應用工具
    7.3.1  Web框架和API服務
    7.3.2  請求和併發處理
    7.3.3  用戶界面庫
    7.3.4  實驗跟蹤和可視化
    7.3.5  容器化和編排
    7.3.6  高級的LLM部署和服務工具

  7.4  LLM的向量資料庫

同類熱銷排行榜

最近瀏覽的商品

語言之舞(大語言模型應用實戰全書)