Refact 1.6B 代码模型达 32% HumanEval

今天我们正式推出 Refact LLM：一个拥有实时代码填充补全（包括 fill-in-the-middle(FIM) 能力）和聊天功能的 1.6B 代码模型。Refact LLM 在代码 LLM 中达到了最先进的性能，在 HumanEval 上接近 Starcoder，体积却小 10 倍，并在 HumanEval 指标上超越 StableCode、CodeGen 和 ReplitCode 等其他代码模型。

支持 20 种编程语言

代码补全和聊天能力

在类似代码模型中的 HumanEval 基准上达到最先进水平

在许可开放的代码上预训练，可用于商业用途

模型训练

基础模型仅在许可开放的代码和开放文本数据集上进行训练（文本与代码的比例为 50:50）。总计我们在自有集群上用 1.2T 个 code tokens 来训练基础模型。

随后，该模型利用经过质量筛选的开放代码指令跟随数据集和基于 The Stack dedup v1.1 的合成数据集进行微调，以改进 FIM 并提升基础模型性能。

你可以在我们的博客文章中了解更多关于我们所做的架构决策。

商业化和可访问性

我们的目标是让所有人都能访问该模型，我们正在以 BigScience OpenRAIL-M 许可证发布该模型供商业使用，并在 HuggingFace 上提供权重。

虽然最近的趋势是模型规模不断增大，但我们希望降低进入门槛，为拥有不同硬件配置的开发者提供一个多功能工具。得益于更小的体积，运行该模型比以往都快得多、成本也更低：该模型可以在大多数现代 GPU 上运行，仅需 3GB RAM，非常适合实时代码补全任务。

集成和应用

Refact LLM 可以通过开源 docker 容器和 VS Code 与 JetBrains 插件轻松集成到现有的开发者工作流中。凭借 Refact 直观的用户界面，开发者可以轻松利用该模型完成各种编码任务。微调功能在自托管（docker）和企业版本中可用，使建议更贴近你的私有代码库。

模型家族和展望

Refact 1.6B LLM 是我们代码模型家族中的第三个模型，之前已发布 CodeContrast 3b 和 CodeContrast 0.3b。我们的目标是继续进行研究并定期更新，以改进 LLM 的性能和能力。我们很乐意接受社区贡献和反馈来进一步增强该模型。如有任何问题和建议，请访问我们的 Discord。