7 名博士 3 个月从零训练 7B 大模型，代码数据全公开

北京中关村学院 7 名博士生，用一个暑假，从零训练出了一个 7B 大模型——ZGCM-1。

随后，他们把各阶段训练数据和配方、模型权重、训练代码、中间 checkpoint 和日志也开放出来，让每一位感兴趣的研究者都可以追溯、复现整个流程。

在多项通用评测中，ZGCM-1 与 Qwen3-8B 等同规模模型表现相近；在部分数学推理和搜索评测中，它也能与 Qwen3-235B-A22B、GLM-5.1 等更大规模的模型比较。

但比最终分数更让人好奇的是，数据、训练、集群、评测这一整套工程，在大厂通常需要几百人的团队协作完成，七个人怎么做得过来？

他们给自己组建了一支几百个 Agent 的团队，分头处理数据、跑实验、看日志、做评测，亲手实践「AI4AI」研发范式。

模型训完后，团队还对整个模型研发流程中 Agent 的实际表现做了一次评级，希望基于本次完整的大模型训练实践，为 RSI 现状提供真实的工程结论。

至于为什么开始做这件事，还要从一顿火锅说起。

七个人最初因为兴趣凑到一起：两人人工智能方向，两人网络方向，另外三人分别来自化学、生物和网安。

平时，他们更多是在现成模型上做微调。技术报告看了不少，许多问题却还是想不明白：数据到底怎么选，训练出了问题怎么查，最后写进报告里的方法，又是经过多少次失败才留下来的？一句"我们进行了数据清洗"，落到实际工程中，究竟意味着多少工作？

吃火锅时，大家聊到了这些困惑，也聊出了一个念头：既然光看报告总有弄不明白的地方，要不要自己从头训练一次？

当时，他们甚至想用一个 7B 模型去挑战 Sonnet 这样的模型。参数装不下那么多知识，就让模型多想一会儿，学会搜索、使用工具。

至于能走多远，谁也没有把握。他们想先动手，也把过程留下来，让其他学校里同样好奇的研究者有东西可参考。

老师们半信半疑，还是决定让他们试试，先给了一些算力。

接下来的几天，大家日夜赶着复现已有项目，快速迭代一个小模型。团队较为顺利地把完整流程快速跑通了，也让老师们看到继续投入的可能，团队因此获得了更多资源，饭桌上聊出的想法开始变成每天都要推进的工程。

真正开始 7B 模型的训练之后，他们才发现还有很多东西没有真正弄懂。有些概念在论文里见过，到了要改代码、解释实验现象的时候，又会卡住。

于是大家就让 Agent 从基本原理开始调研讲解，讲完再回到代码和实验里验证。原本冷冰冰的知识，开始对应具体的实现，也对应一次训练为什么跑不下去。

也有觉得干不了的时候，他们把整个工程展开，数据、算法、训练、集群、评测……每一项都能对应大厂里的一个专项团队。

七个人既要推进任务，又要不断补课，各种问题也接踵而至。

数据尤其如此：数万亿 token 来自不同来源，质量参差不齐，清洗、去重、检查格式、核对分布，做完一轮还要继续检查。

当所有这些环节同时压在七个人身上，工作量便远超他们的承受范围。

于是，他们开始给自己组建一支 Agent 团队。

几个人调度几百个 Agent，逐渐分出了做数据、跑实验和做评测的不同 Agent 子团队，还搭建了类似论坛的任务发布与汇报系统，让任务有人接、进展有地方看、结果能被检查，也评价不同 Agent 的工作。

研究者负责提出目标、设定约束和做关键判断，Agent 把具体工作持续推进下去。

比如在数据处理上，团队构建的 Agent 队伍能依据人给出的质量要求编写清洗脚本，检查数据分布是否达标，并根据结果自动调整规则和阈值，形成一个闭环。

在实验环节，它们同样具备从提交任务、监控日志到定位故障、调整配置的完整能力，甚至能主动发现存储与数据传输的瓶颈，优化训练框架的 I/O 流程，从而提升训练速度。

同时为了优化 Agent 之间的迭代和沟通效率，团队通过自研的 ZGent 平台，把会议讨论、研发决策和计划积累成共享上下文，再把验证过的脚本、工作流和 debug 经验沉淀为可复用的 Skill。后来加入的 Agent 可以接着此前的经验做事。

大家的日常里，也多了把问题讲清楚、把任务组织好，再回来检查结果这几件事。

后来，大家逐渐意识到，这种借助 AI 来研发 AI 的做法，正是最近非常流行的"AI4AI"。

不过，如果追问 AI 到底已经能独立做多少事情，光凭"帮了很大忙"的印象还不够。

于是，团队将研发过程拆成 11 类任务，请核心参与者按照 L1 到 L5 的自主性框架逐项评级。

差别很明显，实验监控和部署到了 L4，人给定目标与约束后，Agent 可以独立规划、执行，并根据反馈继续调整；模型架构和学习算法设计仍在 L2，更多是帮助实现已有方案、运行预设实验。

至于研究什么、关键设计怎么选，还需要人来主导。

几个人带着几百个 Agent，确实能把许多工作做起来，但距离让 AI 独立承担整个研发过程，还有不少问题要解决。

有了 Agent 团队，训练中该踩的坑也没有自动消失。一次训练看起来很正常，loss 仍在下降，模型能力却突然出现了明显退步。曲线没有告诉他们出了什么事，只能继续往下查。

最后，问题追到了底层的数据分片和 shuffle 环节：实际送进训练的数据比例发生了波动，模型吃进去的东西，并不总是他们以为的那份配方。

这次以后，团队不敢再只盯着 loss。他们更密集地保存中间 checkpoint，追踪知识、数学、代码和推理等能力的变化，还建立了 ACE 原子能力评测体系，把能力拆成 18 类、183 项，用 2503 个探针进行检查。

在内部的分布式评测系统中，一轮诊断大约两三分钟。一次修改让哪里变好了，又让哪里退步了，下一步该查数据还是训练方法，都有了更具体的依据。

在反复排查和修正之间，也有特别开心的时刻。训练到一半，他们让模型写了一首歌，它真的写出来了。

用别人的模型生成文字，已经不是什么新鲜事，但看着自己从随机参数开始训练的模型写出一首歌，感觉还是不同。

那天晚上，大家回到最初吃火锅的地方，又吃了一顿火锅庆祝。后面还有很多工作，饭桌上那个没有把握的想法，至少已经有了可以看见的进展。

一路做下来，他们对研究效率的理解也在变化。过去做实验，很容易先想能不能把某个分数再提高一点；真正承担起从零训练的工程，每个想法都要消耗卡时，就必须多问一句：同样的算力，怎样才能获得更好的效果，或者多验证几个假设？

训练快一点，对他们来说，就意味着还有机会再试几个想法。

最初"让小模型多想一会儿"的设想，也遇到了具体的工程问题。

长推理、搜索和多轮工具调用会不断积累上下文，模型既要装得下信息，成本又不能太高。

团队采用局部注意力与全局注意力结合的架构，在训练过程中把上下文从 16K 逐步扩展到 64K、256K。在 256K 上下文下，这套设计相较全注意力方案带来约 3.94 倍的吞吐提升，KV Cache 占用降至约六分之一。

他们还结合 Muon 和 FP8 改善训练效率，并用延迟缩放与 TWEO 抑制极端激活值，改善低精度训练的稳定性。

整套方案在 16K 预训练中达到相同 loss 的效率，相比标准 BF16/AdamW 基线提高了约 4.2 倍。省下来的时间和算力，可以继续投入下一轮实验。

装得下信息以后，模型还得知道下一步该做什么。搜索后读哪个结果，工具失败后如何恢复，新证据出现后要不要改计划，这类长程任务都需要模型有连续判断的能力。

团队把交互轨迹重新组织成一个个状态与行动，让模型根据当前任务、历史交互和最新反馈学习下一步决策。报告里几句话能写完的方法，到了实验中，往往要拆开验证许多次。

真正把模型从头训一遍后，团队也积累了很多只看论文和技术报告很难获得的实践经验。

SFT 阶段，更严格的质量筛选让样本减少约 44.9%，整体评测表现反而有所提升，尽管并非每项能力都同步受益；长思维链数据比例过高，又会损害指令遵循；Agent 数据也不能脱离通用能力单独训练。

他们开始更在意一个方法在什么条件下有效、需要付出什么代价。最后整理出的多条实战发现，就来自这些被实验反复修正的判断。

等到最后一轮评测跑完，大家才更具体地知道，这个模型走到了哪里。

ZGCM-1 在 14 项推理评测的同规模模型比较中处于领先地位，部分搜索和工具调用任务的结果，也让他们看到了较小模型的潜力。

这些问题，也解释了他们为什么想把过程一起开放。最终权重能让人使用模型，各阶段权重、中间 checkpoint、训练代码、数据配方和日志，则让其他研究者有机会追踪能力如何形成，检查一个改动究竟带来了什么。

曾经读技术报告时想知道、却看不到的细节，他们想在自己的项目里尽量留下来。

如今，他们已经开始尝试 400B、500B 规模的模型。

7B 阶段积累的方法，到了更大的规模上还能用多少？几百个 Agent 又能承接住多少新的工作？

这些问题，他们准备继续在实验里找答案，也把新的过程继续记录、分享。

ZGCM-1 开源链接 ZGCM-1 技术报告：https://github.com/zgcagi/ZGCM-1/blob/main/zgcm-1-tech-report.pdf 训练、数据处理等代码：https://github.com/zgcagi/ZGCM-1 模型权重：https://huggingface.co/zgcagi/ZGCM-1-7B 训练数据：https://huggingface.co/datasets/zgcagi/ZGCM-1-Data

作者团队及合作单位 本项目由北京中关村学院与中关村人工智能研究院的何纪言指导，由 AI 核心学部、软件智能研究所、未来实验室的师生共同完成，核心成员为（按姓氏拼音排序）：冯文俊、关浩祥、郭俊毅、梁广、柳浩、沈逸飞、孙锦博、谢彦泰。 此外，项目还得到了中关村两院以下师生的共同参与和支持（按姓氏拼音排序）：陈凯、李亚韬、刘铁岩、任宇轩、邵斌、魏楚扬、徐薛胤、张晓庆、赵王宏楦、郑书新、周可心、朱明航、朱文辉。

*本文系量子位获授权刊载，观点仅为原作者所有。

一年连融三轮，这家金融 AI 公司又拿下超 3 亿 B 轮 2026-09-14

AI 开始改进"改进自己的方法"，RSI 进入平方时代丨MetaRSI 2026-09-14

3 万台无人车之后，这家公司盯上了城市级物理 AI 2026-09-11

九问 ScienceDiscovery 实现树搜索驱动 RSI，加速科学发现，小时级写出通用积分器，低成本找出物理科学规律 2026-09-04

量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备 17005886 号-1