数据工程完全指南开源发布

版本说明

中文版是 2026 年 Springer 主线版本，共 14 个部分、48 章、15 个项目案例研究和 8 个附录（A–H），包含前言和网站版本的后记。英文版正在通过高质量优先的翻译工作流进行同步；文档网站包含英文版本的状态页。

引言

"数据是新石油，但前提是你知道如何提炼它。"

在大模型时代，数据质量决定了模型性能的上限。然而，关于 LLM 数据工程的系统资源极其稀缺——大多数团队仍在通过试错学习。

本书旨在填补这一空白。我们系统性地涵盖了从预训练数据清洗到多模态对齐、从 RAG 检索增强到合成数据生成、一直到 DataOps 平台工程和隐私合规数据治理的完整技术栈，包括：

🧹 预训练数据工程：从 Common Crawl 等海量嘈杂数据源中提取高质量语料库

🖼️ 多模态数据处理：图像-文本对、视频和音频数据的采集、清洗和对齐

🎯 对齐数据构建：SFT 指令数据、RLHF 偏好数据和思维链推理数据的自动生成

🤖 推理与 Agent 数据：思维链、工具使用、多轮交互和记忆数据工程

🔍 RAG 数据管道：企业级文档解析、语义分块和多模态检索

⚙️ DataOps 与平台工程：团队组织、数据版本管理和平台可观测性

🔒 隐私、合规与安全：数据治理框架、联邦学习和隐私增强技术

除了深入的理论解释外，中文主线版还包含 15 个端到端的实战项目案例研究，包含可运行代码（如可得）、架构设计和工程回顾，供动手学习。

在线阅读：https://datascale-ai.github.io/data_engineering_book/en/

从原始数据到端到端应用的完整数据工程管道

📖 14 Parts, 48 Chapters + 15 Project Case Studies + 8 Appendices (A–H)
│
├── Part 1: Overview & Infrastructure (Ch01-Ch03)
├── Part 2: Text Pre-training Data Engineering (Ch04-Ch07)
├── Part 3: Multimodal Data Engineering (Ch08-Ch11)
├── Part 4: Instruction Fine-tuning & Preference Data (Ch12-Ch14)
├── Part 5: Synthetic Data Engineering (Ch15-Ch17)
├── Part 6: Reasoning & Agent Data Engineering (Ch18-Ch20)
├── Part 7: Application-Level Data Engineering (Ch21-Ch23)
├── Part 8: DataOps & Platform Engineering (Ch24-Ch26)
├── Part 9: Data Assets, Data Products & Data Contracts (Ch27-Ch30)
├── Part 10: Agentic Data Engineering (Ch31-Ch35)
├── Part 11: Privacy, Compliance & Data Security (Ch36-Ch37)
├── Part 12: Specialized Datasets and Multimodal Data Engineering Practice (Ch38-Ch43)
├── Part 13: Open-source Model Data Recipes (Ch44-Ch48)
└── Part 14: Project Case Studies (P01-P15)

核心特点

• 贯穿全书的数据中心 AI 哲学

• 覆盖完整的 LLM 数据生命周期：预训练 → 微调 → RLHF → RAG → DataOps

• 深入覆盖 Scaling Laws、数据质量评估、多模态对齐、隐私合规等

• 丰富的毕业设计项目

• mkdocs-static-i18n（国际化支持）

快速开始

克隆和安装

# Clone the repository
git clone https://github.com/datascale-ai/data_engineering_book.git
cd data_engineering_book

# Install dependencies
pip install mkdocs-material mkdocs-glightbox pymdown-extensions "mkdocs-static-i18n[material]"

# Local preview
mkdocs serve

访问 http://127.0.0.1:8000 来预览书籍（支持中文/英文/日文语言切换器）。

构建

mkdocs build

生成的静态文件位于 site/ 目录。

项目结构

data_engineering_book/
├── docs/
│   ├── zh/                    # Chinese content
│   │   ├── index.md           # Chinese homepage
│   │   └── part1/ ~ part14/   # Chinese Springer mainline chapters
│   ├── en/                    # English content
│   ├── ja/                    # Japanese content
│   ├── images/                # Image assets (shared)
│   ├── stylesheets/           # Custom styles
│   └── javascripts/           # JavaScript (MathJax etc.)
├── .github/workflows/         # GitHub Actions CI/CD
├── images/                    # Project image assets
├── mkdocs.yml                 # MkDocs configuration
├── LICENSE                    # License
├── README.md                  # 中文说明
├── README_en.md               # English README (this file)
└── README_ja.md               # 日本語 README

适用读者

• 数据工程师 / MLOps / DataOps 工程师

• AI 产品经理（技术向）

• 对 LLM 数据管道感兴趣的研究人员

实验室信息

中国科学技术大学语言信息处理国家工程实验室；中国科学技术大学自动化系多媒体计算与智能机器人研究中心；中国科学技术大学自动化系多模态智能 Agent 联合研究中心

贡献

欢迎贡献！请随时提交 Issues 和 Pull Requests。

创建一个功能分支（git checkout -b feature/AmazingFeature）

提交你的更改（git commit -m 'Add some AmazingFeature'）

推送到分支（git push origin feature/AmazingFeature）

许可证

本项目采用 MIT License 授权 - 详见 LICENSE 文件。

资源链接

GitHub Issues：提交一个 issue

在线阅读：https://datascale-ai.github.io/data_engineering_book/en/

如果你觉得本书有帮助，请给它一个 Star！⭐