用 TypeScript 跑通小语言模型训练
作者使用 Affon 在 macOS arm64 的 Metal 后端训练六层解码器,覆盖数据切窗、验证损失评估和检查点保存。短程测试验证了训练链路可执行,但生成文本仍不连贯,不能据此判断模型实用性。
AI 深度解读
用 TypeScript 调用现成模型,和用它定义、训练一个语言模型,是两回事。作者用 Affon 跑通了后者:从 decoder、文本切片,到训练、验证和保存状态,都由 TypeScript 应用组织。
这次实验的结论很克制:训练流程能执行,验证损失有所下降,但生成文本仍然不连贯。它值得读的地方,是展示了一条可以检查、可以复现的训练路径,而不是证明 TypeScript 已经适合训练实用大模型。
先跑通有限训练,能证明什么?
作者使用 Affon 的 decoder 应用,模型包含 token 嵌入(embedding)、因果注意力和六层 decoder。内置的 WikiText-2 文本被切成每段 256 token 的窗口,供训练流程读取。
因果注意力的作用,是让模型预测下一个 token 时只能看前面的内容,不能偷看后面的答案。
作者在 macOS arm64 上安装 Affon 0.4.2,从源码仓库运行,计算使用 Metal。下面这段命令用于启动有明确批次数量上限的调试训练:
git clone https://github.com/neucine/affon.git
cd affon
RUNTIME_PACKAGE_PATH="$PWD/packages" \
AFFON_TRAIN_CONFIG=apps/decoder-lm/configs/train-decoder-lm-wikitext-debug.config.json \
affon run apps/decoder-lm/train.ts
要看的是 AFFON_TRAIN_CONFIG 这一行:它选择调试配置,决定这次运行的规模。
该配置在完成 32 个训练批次后停止,并评估八个验证批次。作者这次运行中,验证损失从 10.832 降到 9.833,应用保存了名为 clean-debug-run-epoch-1 的检查点,也就是可以保存下来的模型训练状态。
但生成的短文本仍然不连贯。
这组结果证明训练路径能跑通,不能证明模型已经有用或具有竞争力。
损失下降是一个积极信号,但原文没有提供更长训练的结果、模型质量对照或多次运行的数据,不能继续往外推。
为什么作者更关心 Program 的边界?
比起那段生成文本,作者更在意模型执行前能检查什么。
Affon 把计算定义称为 Program。decoder 的 Program 明确描述输入形状和参数,包括 token 嵌入表,以及使用这些参数的各层结构。随后,应用结合模型、交叉熵损失和优化器,派生出训练用的 Program,再为 Session 编译这些程序,并显式管理模型状态。
这里的交叉熵损失,可以理解为衡量模型对正确下一个 token 的预测有多偏;优化器则根据训练计算结果更新参数。
这套组织方式的价值,是把检查点放到了执行之前:模型要求哪些运算,张量的形状是什么,参数属于嵌套 decoder 的哪一部分,都有可检查的定义。
同一份模型定义还能用于训练和推理,减少两套定义各自维护的负担。不过,原文只描述了这种结构,没有给出它能减少多少错误、节省多少维护成本的对照数据。
我的判断
我认可作者先跑小规模检查、再讨论扩大训练的顺序。对刚接触训练流程的程序员来说,先验证数据、计算、验证和状态保存能串起来,比盯着一段生成结果更有帮助。
但需要分清语言入口和计算执行。作者用 TypeScript 组织应用,这次运行使用的是 Metal,不能据此理解成普通 JavaScript 执行环境已经能承担同样的训练工作。
如果目标是在业务里加入文本生成,调用现成模型 API 仍然是更直接的路径;这篇实验的价值主要在理解和检查训练流程。至于 Affon 与其他训练工具相比是否更快、更省内存、更容易调试,作者没有提供对照数据。目前关于 Program 边界的好处,更多是结构说明和个人使用判断。
原文也没有报告训练耗时、显存占用和参数规模。一般团队能否扩大训练,仍然缺少这些关键信息。
能拿来做什么
- 如果你想用 TypeScript 理解语言模型训练,可以在相符的 macOS arm64 环境里先复现调试配置,检查训练、验证和检查点保存是否全部完成。
- 阅读模型代码时,可以沿着输入形状、嵌入表、六层 decoder 和参数归属往下看,再追踪训练
Program如何由模型、损失和优化器派生。 - 准备扩大训练前,先补齐耗时、内存占用和生成质量记录;不要仅凭 32 个训练批次后的损失下降决定投入更多资源。