EuroLLM：原生支持 24 种欧盟语言的开源模型

欧洲打造的大语言模型，旨在支持欧盟全部 24 种官方语言。

多模态

我们很快会为模型加入视觉和语音能力，使其能够解析并理解图像和语音。

我们很快会为模型加入视觉和语音能力，使其能够解析并理解图像和语音。

开源

欧洲的研究人员、组织和公民均可自由使用。

欧洲的研究人员、组织和公民均可自由使用。

高性能

擅长处理语言相关任务，包括问答、摘要和翻译。

擅长处理语言相关任务，包括问答、摘要和翻译。

多语言

模型使用所有语言的文本进行预训练和微调。

模型使用所有语言的文本进行预训练和微调。

这是我们目前实力最强的旗舰模型。该模型拥有 22B 参数，基于超过 4 万亿个 token 的多语言数据训练而成，覆盖 35 种不同语言，其中包括欧盟全部官方语言。支持 32K token 的上下文长度。我们提供 EuroLLM 22B Instruct，这是一款针对指令遵循和聊天能力进行微调的模型；同时还提供 EuroLLM 22B Base，可针对任意任务进行微调。

这是一款拥有 9B 参数的模型，基于超过 4 万亿个 token 的多语言数据训练而成，覆盖 35 种不同语言，其中包括欧盟全部官方语言。我们已开放 EuroLLM 9B Base，可针对任意任务进行微调。作为能力展示，我们还提供了 EuroLLM 9B Instruct，这是一款针对指令遵循和聊天能力进行微调的模型。

这是一款拥有 1.7B 参数的模型，使用与 EuroLLM-9B 类似的数据进行训练，非常适合部署在边缘设备上。

这是一款 9B 参数的多模态视觉语言模型，在 EuroLLM-9B 的基础上加入了视觉编码器，并使用超过 4 万亿个 token 的多模态、多语言数据进行训练，覆盖 35 种不同语言，其中包括欧盟全部官方语言。

即将推出：EuroMoE-2.6B-A0.6B

这是一款稀疏混合专家模型，仅有 600M 个活跃参数，使用超过 4 万亿个 token 的多模态、多语言数据进行训练，覆盖 35 种不同语言，其中包括欧盟全部官方语言。非常适合边缘设备。

最新：EuroLLM-22B 发布

Hugging Face 上的文章　链接

EuroLLM-9B 发布

Hugging Face 上的文章　链接

EuroLLM 9B 技术报告

链接

我们拥有共同的愿景，团队致力于推动多语言 AI 技术发展，为欧洲的数字化未来赋能，并进一步强化欧盟对 AI 主权的承诺。团队希望 EuroLLM 能成为推动创新的飞轮，让任何人都有机会使用这款欧盟自主打造的 LLM，并在其基础上继续开发。这个项目生动证明了：当欧洲携手突破创新边界时，便能创造出非凡的成果。

André Martins

里斯本大学 Instituto Superior Técnico 副教授

André Martins 是机器学习和自然语言处理领域的专家。他的研究曾两次获得 European Research Council 资助。他是 ELLIS Society Fellow，并担任 European Association for Machine Translation 董事会成员。他还是 Lisbon Machine Learning School（LxMLS）的联合创始人。

里斯本大学 Instituto Superior Técnico 副教授

André Martins 是机器学习和自然语言处理领域的专家。他的研究曾两次获得 European Research Council 资助。他是 ELLIS Society Fellow，并担任 European Association for Machine Translation 董事会成员。他还是 Lisbon Machine Learning School（LxMLS）的联合创始人。

Alexandra Birch

Aveni.ai 联合创始人兼首席科学家

爱丁堡大学自然语言处理副教授。她的研究已产出 100 多篇同行评审论文，重点关注翻译和多语言 NLP，涉及伦理、可解释性和效率等主题。

Aveni.ai 联合创始人兼首席科学家

爱丁堡大学自然语言处理副教授。她的研究已产出 100 多篇同行评审论文，重点关注翻译和多语言 NLP，涉及伦理、可解释性和效率等主题。

Pierre Colombo

Université Paris-Saclay 副教授

Pierre Colombo 在法律科技初创公司 Equall.AI 担任首席科学官。他的工作重点是 AI 安全和 LLM 应用，相关论文发表于 ACL、EMNLP、NeurIPS 和 ICML，并获得了 AAAI 2022 最佳学生论文奖。

Université Paris-Saclay 副教授

Pierre Colombo 在法律科技初创公司 Equall.AI 担任首席科学官。他的工作重点是 AI 安全和 LLM 应用，相关论文发表于 ACL、EMNLP、NeurIPS 和 ICML，并获得了 AAAI 2022 最佳学生论文奖。

EuroLLM 项目的参与机构包括 Instituto Superior Técnico、爱丁堡大学、Instituto de Telecomunicações、Université Paris-Saclay、Unbabel、索邦大学、Naver Labs 和阿姆斯特丹大学。这些机构共同打造了 EuroLLM-22B，一款支持欧盟全部 24 种官方语言的多语言 AI 模型。在 Horizon Europe、European Research Council 和 EuroHPC 的支持下，这款开源 LLM 旨在增强欧洲的数字主权并促进 AI 创新。EuroLLM 在 MareNostrum 5 超级计算机上完成训练，其性能优于规模相近的模型。该模型完全开源，并已在 Hugging Face 上提供。

如有新闻采访、媒体合作及其他咨询，请联系我们。

感谢 EuroHPC 通过 EHPC-EXT-2023E01-042 资助项目提供支持本项工作所需的 HPC 资源，同时也感谢 European Commission 通过 Horizon Europe RIA 项目 UTTER（合同编号 101070631）提供支持。