目錄
第一章 大語言模型基礎知識
第一節 LLM基礎
一、LLM概述
二、大模型存在的問題
三、檢索增強生成（RAG）
四、大模型的改進方法
第二節 GPT模型介紹
一、GPT模型的發展歷程
二、GPT模型的關鍵論文
三、GPT模型的結構可視化
第三節 開源、工具和實戰
第二章 大語言模型的技術細節
第一節 大語言模型的全局視圖
第二節 注意力機制
一、自注意力機制
二、多頭注意力機制
第三節 編碼、嵌入和神經網路
一、位置編碼
二、旋轉位置編碼
三、欄位編碼
四、前饋網路
五、層歸一化
第四節 權重、參數和訓練策略
一、權重
二、Transformer的訓練策略和優化方法
三、Transformer模型的正則化技術
四、注意力機制的變種和改進
五、Transformer模型微調的常見策略
第五節 更多原理剖析
一、零樣本提示
二、少量樣本提示
三、Transformer模型中的殘差連接
四、文本生成源碼解讀
第六節 大模型的能與不能
一、人工智慧的大工業時代
二、ChatGPT不等於人工智慧
第七節 圖示Transformer和實戰GPT
一、圖示Transformer
二、實戰GPT
第八節 實戰：手動部署大模型
第三章 開源大模型和Llama實戰
第一節 Llama的結構
第二節 運行Llama
第三節 Llama微調
一、微調的步驟
二、微調的方法
三、微調所需的基礎知識
第四節 實戰：大語言模型(LLM)微調框架
第四章 中文Llama模型
第一節 中文數據準備
一、中文數據處理的技術
二、中文數據處理的過程
三、中文數據處理的工具
第二節 基於中文數據的模型訓練
一、指令數據搜集和處理
二、AdaLoRA演算法剖析
三、大模型指令微調之量化
四、大模型壓縮技術
五、大模型蒸餾技術
第三節 模型評測
第四節 人類反饋的集成
第五節 實戰：中文應用開發
一、基於Llama的醫學大模型的開源項目
二、基於Llama的法律大模型的開源項目
三、基於Llama的金融大模型的開源項目
四、基於Llama的科技論文大模型的開源項目
第五章 實戰大語言模型應用
第一節 大模型的基礎設施創新
一、資料庫創新開源項目
二、將自然語言問題轉換為SQL查詢
三、將大模型數據查詢SQL化
第二節 基於大模型的應用創新
一、基於LLM的開源代碼編寫助手
二、開源數據交互工具
三、領先的文檔GPT開源項目
第三節 大模型的優化和發展創新
一、開源的大模型用戶分析平台
二、低代碼方式搭建大模型
三、開源搜索增強RAG項目
第四節 Agent技術
一、微軟開源的強大Agent——AutoGen
二、讓Agent去完成RPA
三、讓Agent去標注數據——Adala
第六章 開源文生圖
第一節 文生圖技術概述
一、生成對抗網路（GANs）介紹
二、GANs在圖片生成方面的應用
三、GANs圖片應用的說明和原理
第二節 開源文生圖模型介紹
一、Stable Diffusion介紹
二、LDMs介紹
三、DALL-E和Stable Diffusion
第三節 開源文生圖模型技術要點
一、LDMs的源代碼導讀
二、用一個案例說明Stable Diffusion
三、實戰：部署開源項目stable-diffusion-webui
第四節 實戰：打造基於開源的文生圖應用
第七章 開源文生視頻
第一節 開源文生視頻介紹
第二節 文生視頻技術難點和路線
一、文生視頻技術難點
二、開源文生視頻路線
第三節 開源文生視頻應用
第八章 開源多模態
第一節 多模態介紹
第二節 多模態的技術細節
一、GPT-4o的多模態介紹
二、視覺指令調整
第三節 開源多模態案例
一、LLaVA實現GPT-4V級別的開源多模態
二、開源LLaVA-1.5介紹
三、MGM：一個強大的多模態大模型
第九章 DeepSeek實戰
第一節 DeepSeek核心技術介紹
一、混合專家架構
二、多頭潛在注意力機制
三、混合精度訓練
第二節 DeepSeek-R1模型復現
第三節 DeepSeek-V3本地化源碼級部署
一、使用DeepSeek-Infer進行推理演示
[