7.0
热点
AI SCORE
模型发布2023-10-19 09:02
最大规模开源 LLM 联盟启动
Hacker News · utu.fi#开源#LLM
Editor brief · 编辑速览
业界联合推出超大开源语言模型，推进 AI 民主化。
业界联合推出超大开源语言模型，推进 AI 民主化。
图尔库大学与欧洲最大的私营 AI 实验室之一 Silo AI，连同其大语言模型（LLM）部门 SiloGen，今天宣布启动一项关于开放、可信 LLM 的大规模计划。SiloGen 将与 TurkuNLP 研究团队共同组建联盟，开发一系列开放 LLM，其中包括全球最大的开源 LLM。该计划旨在保障欧洲的数字主权，并推动 LLM 的普惠化。
为保障数字主权，让更多人能够使用 LLM，SiloGen 与图尔库大学 TurkuNLP 研究团队共同发起这一联盟，其核心目标是开发覆盖欧洲所有官方语言的全球最大开源语言模型。
除了总计约 1,500 万 GPU 小时的算力资源，该计划还致力于确保模型所使用的数据能够准确代表欧洲各语言，同时涵盖英语世界。该计划将与欧洲的重要机构和政府部门密切合作，并承诺遵守欧洲相关法规。在欧洲之外，这项开源计划也将推动 LLM 的普惠化，并支持开发面向特定用例的下游应用。
该联盟由 SiloGen 和图尔库大学 TurkuNLP 研究团队牵头。与许多其他计划不同，它整合了以下资源来构建 LLM：
世界一流的 LLM 团队，其中包括 Filip Ginter、Jussi Karlgren、Sampo Pyysalo、Magnus Sahlgren、Aarne Talman 等教授及顶尖学者，以及 Silo AI 超过 150 名博士和 300 名 AI 专家中的其他参与者；
覆盖欧洲所有语言及代码的数据资源，包括高性能语言技术（High-Performance Language Technology，HPLT）数据，以及其他经过收集与整理的数据；
算力资源，包括用于训练 LLM 的软件基础设施、LUMI 超级计算机，以及其他用于 LLM 训练的硬件和云服务。
除了拥有世界一流的团队，该联盟还能够使用 LUMI 超级计算机，并积累了丰富的使用经验。LUMI 是欧洲高性能计算（EuroHPC）计划的一部分，也是全球第三大、欧洲最大的超级计算机。该团队已在 LUMI 上构建 LLM 超过一年，并针对其基于 AMD 的硬件开发出一套独特的软件层，能够高效、有效地训练 LLM。作为欧盟资助的 HPLT 项目的一部分，该计划所使用的数据自 2022 年初起便开始收集和整理，从而为 LLM 开发提供具有代表性的数据基础。结合上述所有条件以及总计 1,500 万 GPU 小时的算力资源，Silo AI 和 TurkuNLP 具备独特优势，能够训练一系列语言模型，其中包括全球最大的开放 LLM。
图尔库大学数据分析方向的大学研究员 Sampo Pyysalo，是图尔库高性能语言技术联盟的首席研究员。
“LLM 正在迅速重塑我们获取信息以及与技术交互的方式。随着其影响力不断扩大，确保模型以透明、可复现的方式开发，并将其开放发布，变得愈发重要。只有这样，才能保障问责机制以及对这项技术的平等使用。从欧洲的角度来看，同样至关重要的是，模型必须从设计之初便将多语言能力置于优先位置，并公平对待所有语言。高性能语言技术（HPLT）项目正在通过创建开放的欧洲数据资源和语言模型来实现这些目标。我们非常高兴能与拥有共同目标的行业领导者 SiloGen 和 Silo AI 在这一联盟中展开合作。”图尔库大学研究员、HPLT 首席研究员 Sampo Pyysalo 表示。
Peter Sarlin 是 Silo AI 的 CEO 兼联合创始人。
“我们很荣幸能为开放 LLM 的开发贡献力量。开发与欧洲价值观一致的基础模型，对维护我们的数字主权至关重要。该计划有助于确保底层模型使用的数据和信息能够代表本地区的公民与组织，并从整体上遵守相关法规，同时兼顾数据隐私及其他关键问题。最终，我们还必须掌握下游应用及价值创造方式的自主权。这需要采用可信、安全的方法来构建独立的基础模型，并支持针对特定领域的需求进行 fine-tuning。通过这种方式，我们既能保障数字主权，也能推动技术发展。”Silo AI CEO 兼联合创始人 Peter Sarlin 表示。
TurkuNLP 研究团队在 NLP 和 LLM 领域拥有丰富经验，这与 Silo AI 和 SiloGen 致力于推动世界一流生成式 AI 研究的目标高度一致。这种目标上的一致性，再加上联盟所拥有的资源，为重新定义开源语言模型领域的能力边界奠定了坚实基础。结合 LLM 开发平台，这将为企业开辟一条独特路径：利用独立、可信且安全的基础模型创造价值，并能够针对特定领域的需求对 LLM 进行 fine-tune、指令调优和控制。
图尔库大学 TurkuNLP 团队成立于 2001 年，开展自然语言处理研究已有 20 多年，重点研究如何应用机器学习技术自动分析和生成文本。TurkuNLP 是芬兰领先的大型生成式语言模型研究团队，也是欧盟 Horizon 高性能语言技术项目的合作伙伴之一。该项目目前正在 LUMI 超级计算机上创建下一代欧洲语言模型。
Silo AI 是欧洲最大的私营 AI 实验室之一，也是值得信赖的 AI 合作伙伴，通过 AI 为产品研发带来竞争优势。我们构建由 AI 驱动的解决方案和产品，为智能设备、自动驾驶汽车、工业 4.0 和智慧城市提供支持。Silo AI 为客户提供接触世界一流 AI 专业能力的独特渠道，其团队由 300 多名 AI 专家和 150 多名博士组成；同时还提供 Silo OS 基础设施，以加速 AI 的开发与部署。Silo AI 成立于 2017 年，致力于打造欧洲旗舰级 AI 公司，目前在芬兰、瑞典、丹麦、荷兰和加拿大设有办公室。
SiloGen 是一项大规模计划，目标是为欧洲的数字主权构建生成式 AI 技术。它正在汇聚欧洲一批领先的生成式 AI 和大语言模型（LLM）专家，并整合数据源、强大的计算资源，以及用于训练、运行和运营 LLM 的基础设施。SiloGen 自 2022 年底开始运营，目前正全速推进技术研发，客户包括 Allianz、Sandvik 和 Tietoevry。其核心重点是改进下游应用和特定领域应用，并确保企业能够使用可信模型处理私有、机密及专有数据。作为值得信赖的提供商，SiloGen 提供基础模型、专用模型及一整套开发工具，以确保下游应用准确、可信且稳健。
支持科学与研究