Mistral推出可在CPU运行的时序预测模型

人工智能

Mistral AI 发布了 Timestral，这是该公司首个时间序列基础模型系列。Timestral 包含 4 个零样本预测模型，参数量从 5M 到 209M 不等。最大的 checkpoint 在 GIFT-Eval、TIME 和 fev-bench 上均位列预训练零样本模型第一，而且推理时无需 GPU。对开发者而言，Timestral 意味着可以在标准服务器 CPU 上进行概率预测，同时获得开放的模型权重和推理代码。

规模：4 个模型，参数量分别为 5M、28M、123M 和 209M，均为稠密模型。上下文最长支持 32,768 个时间步。

运行环境：标准服务器 CPU，无需 GPU。209M 模型的 fp32 权重大小为 837 MB，也可选择使用 GPU。

性能：据 Mistral 报告，在 GIFT-Eval、TIME 和 fev-bench 上，均排名预训练零样本模型第一。

最亮眼的表现：fev-bench 的 SQL skill score 达到 50.39，领先于 TimesFM-3 的 48.99。

优势最小的表现：GIFT-Eval 的 MASE 为 0.658，仅比 t0-gamma 的 0.661 领先 0.003。

Timestral 是一种时间序列基础模型（TSFM）。它先在规模庞大、来源多样的语料上进行预训练，再以零样本方式预测从未见过的数据。ARIMA 等传统工具一次拟合一条时间序列，PatchTST 等深度学习模型通常需要在每个数据集上从头训练。Timestral 则将学到的模式迁移到不同领域。

每个模型都会为每个时间步输出 21 个分位数，并联合预测多个目标变量。它支持仅包含历史值的协变量、未来值已知的协变量，以及类别协变量。

Timestral 如何工作？

Timestral 是一种基于 patch 的因果 Transformer，同时使用时间注意力和变量注意力。209M 模型包含 24 层，嵌入维度为 768。每个 patch 覆盖 32 个时间步，单次前向传播最多预测 1,024 个时间步。预测更长的时间范围时，模型会逐块运行，将每个预测块的中位数作为上下文输入后续预测。

Mistral 列出了 4 项技术贡献：

• 解耦预测范围（Decoupled Horizon Forecasting，DHF）：通过学习得到的预测 token 读取完整历史。与 Toto 2.0 和 TimesFM-3 使用的连续 patch 掩码不同，已观测值会保留在上下文中，不会被遮蔽。
• 感知协变量的注意力：每条序列都被指定为预测目标、仅包含历史值的协变量，或未来值已知的协变量。信息只允许从协变量流向预测目标，防止未来信息泄漏。
• 合成数据优先：大部分训练数据都是合成数据，包含趋势、季节性、噪声，以及不同序列之间的非线性依赖关系。
• 两阶段训练：先以 8,192 的上下文长度在合成数据上预训练，再使用混合数据进行后训练，上下文长度扩大到原来的 4 倍。损失函数是覆盖 21 个分位数的 pinball loss。

Timestral 在基准测试中的表现如何？

以下所有分数均来自单个 checkpoint 的零样本评测，没有使用模型集成。数据来源为 Timestral-209M 的 model card。

• GIFT-Eval：MASE 为 0.658，CRPS 为 0.446，均为越低越好。
• TIME：MASE 为 0.626，CRPS 为 0.522，均为越低越好。
• fev-bench：SQL skill score 为 50.39，MASE skill score 为 39.49，均为越高越好。

模型规模增大到一定程度后，性能提升趋于平缓。Timestral-123M 在 GIFT-Eval 上的 MASE 为 0.659，而 209M 模型为 0.658。Mistral 团队表示，28M 模型在 GIFT-Eval 和 TIME 上都超过了 Chronos-2，而 Chronos-2 的参数量约为它的 4 倍。

Timestral 在 CPU 上有多快？

Mistral 团队使用一台标准服务器 CPU，以 8 个线程进行测试。任务是根据过去 3 周、间隔为 15 分钟的历史数据，预测未来 1 天。5M 模型耗时 10 ms，209M 模型耗时 140 ms。28M 模型的速度是 209M 模型的 5 倍。123M 模型的得分与 209M 模型相差不到 0.2%，延迟则只有后者的四分之三。

Timestral 与 TimesFM-3、Chronos-2 和 Toto 2.0 相比如何？

特性	Timestral-209M	TimesFM-3	Chronos-2	Toto-2.0-2.5B
开发方	Mistral AI	Google Research	Amazon	Datadog
参数量	209M	330M	120M	2.5B
架构	因果 patch Transformer，DHF	仅解码器，连续 patch 掩码	仅编码器，组注意力	仅解码器，连续 patch 掩码
最大上下文	32,768 个时间步	未披露	8,192 个时间步	未披露
单次前向传播的预测范围	1,024 个时间步	未披露	最多 1,024 个时间步	未披露
分位数数量	21	9	未披露	9
权重许可证	Modified MIT	Non-commercial v1.0	Apache 2.0	Apache 2.0
权重大小（fp32）	837 MB	未披露	未披露	9.1 GB
GIFT-Eval MASE / CRPS	0.658 / 0.446	0.667 / 0.456*	0.698 / 0.485*	0.696 / 0.476
TIME MASE / CRPS	0.626 / 0.522	0.640 / 0.536*	0.662 / 0.556*	0.640 / 0.532**
fev-bench SQL skill	50.39	48.99*	47.28*	44.42*

* 数据按 Timestral-209M 的 model card 列出。Google 和 Amazon 没有在各自的模型页面上公布对应数据。
** 数据来自 Datadog 的 model card；Mistral 的 model card 列出的数据为 0.642 / 0.539。

开发者如何部署 Timestral？

使用 pip install git+https://github.com/mistralai/timestral.git 安装软件包。运行环境要求 Python 3.10+ 和 torch 2.4+，依赖项包括 PyTorch、NumPy、safetensors 和 huggingface_hub。权重从 Hugging Face 下载：5M 模型为 21 MB，28M 模型为 111 MB，123M 模型为 490 MB。

Mistral 文档将 Timestral 1.0 209M 标为 Public Preview。使用专有数据进行微调需要通过 Mistral Forge，整套流程可以部署在本地、VPC 或物理隔离环境中。

• 提供 4 种规模，从 5M 到 209M，均位于准确率与模型规模的 Pareto 前沿。
• 209M 模型在 GIFT-Eval、TIME 和 fev-bench 上领先其他零样本模型。
• 仅使用 CPU 推理：耗时从 10 ms（5M）到 140 ms（209M）。
• 支持 32,768 个时间步的上下文、21 个分位数，以及原生协变量输入。
• 权重采用 Modified MIT 许可证，与 TimesFM-3 的非商业许可证不同。

欢迎查看博客文章、GitHub 仓库以及 Hugging Face 上的模型权重。所有功劳都归于这个项目的研究人员。也欢迎在 Twitter 上关注我们，别忘了加入我们拥有超过 15 万成员的机器学习 SubReddit，并订阅我们的 Newsletter。等等！你在用 Telegram 吗？现在也可以在 Telegram 上加入我们了。

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一位富有远见的企业家和工程师，Asif 致力于利用人工智能的潜力造福社会。他最近的一项事业是推出人工智能媒体平台 Marktechpost。该平台以深入报道机器学习和深度学习新闻而脱颖而出，内容既在技术上严谨，也便于广大读者理解。平台每月浏览量超过 200 万，体现了它在读者中的受欢迎程度。