5.0
关注
AI SCORE
模型发布2023-06-18 08:19
Falcon 40B开源大模型发布
Hacker News · falconllm.tii.ae#开源模型#大模型
Editor brief · 编辑速览
阿联酋发布的 40B 参数开源模型，补充了主流参数量档位。
阿联酋发布的 40B 参数开源模型，补充了主流参数量档位。
Falcon-H1 和 Falcon-E 是 Falcon LLM 家族的最新成员——旨在扩展生成式 AI 在各行业和学科中的应用可能性。这些模型以效率、伦理设计和全球可扩展性为重点设计，反映了我们致力于让先进 AI 更加易于获得和产生更大影响力的承诺。
从更聪慧的语言理解到增强的现实应用，Falcon-H1 和 Falcon-E 为智能、包容和面向未来的解决方案铺平了道路。
Falcon Perception 是一种多模态 AI 模型，使系统能够使用自然语言提示来查看、阅读和理解图像。通过在单一架构中结合视觉和语言能力...
Falcon H1R 7B：在数学、编码中具有高级推理能力.....
结合基于注意力和状态空间架构，实现在大批次和长响应长度下的高效序列建模...
Falcon-H1-Arabic：现实世界中的高性能阿拉伯语 AI.....
Falcon-H1-Arabic 完全偏离了传统的大语言模型...
Falcon-H1：创新混合 AI 架构设定.....
AI 创新及其在现实世界中的部署正在加速。到目前为止，用户必须在性能和效率之间做出权衡。Falcon-H1 的独特混合架构（基于 Transformer 和 Mamba 架构）为你提供...
Falcon Arabic：阿拉伯语 AI 的未来
为现代标准阿拉伯语和方言而构建，Falcon Arabic 为阿拉伯语世界带来了先进的语言 AI.....
Falcon H1R 7B 在紧凑的 70 亿参数模型中集成了高级推理能力，针对速度和效率进行了优化
TII 的最新 AI 模型在关键基准测试中超越了 Microsoft、Alibaba 和 NVIDIA 的更大规模对标产品
基于新的混合架构，模型在更小的参数规模下提供更高的准确性
这次推出强调了阿联酋与全球 AI 领导者竞争高性能语言模型的努力。
Falcon H1R 7B：在高效的 70 亿参数模型中具有数学、编码、逻辑和指令跟随的高级推理能力。
Falcon H1 Arabic：Falcon-H1-Arabic 完全偏离了传统的大语言模型。
Falcon-H1 重新定义了性能和便携性，性能超越了 Meta 的 LLaMA 和 Alibaba 的 Qwen，在日常设备和资源有限的环境中实现现实世界的 AI
Falcon Arabic：除了英语和欧洲源语言外，Falcon 现在集成了阿拉伯语——扩展了其在阿拉伯语世界的覆盖范围，成为该地区表现最佳的阿拉伯语 AI 模型
Falcon 3 系列的最新更新引入了卓越的多模态功能，使模型不仅能处理文本，还能处理图像，以及首次在 Falcon 系列中处理视频和音频数据。
Falcon 3 可以在轻量级基础设施上运行，甚至在笔记本电脑上，而不会牺牲性能
Falcon 3 生态系统包含四个可扩展模型，针对不同应用量身定制
Falcon 3 支持多种语言，并针对资源效率进行了优化
TII 开源大语言模型系列的这一最新迭代旨在实现 AI 的民主化获取
Falcon Mamba 7B 是首个开源发布的状态空间语言模型 (SSLM)，这是 Falcon 模型的一种新的革命性架构
Falcon Mamba 7B 是全球表现最佳的开源 SSLM，由 Hugging Face 独立验证
SSLM 具有低内存成本，生成任意长的文本块不需要额外内存
Falcon Mamba 7B 也超越了传统的 Transformer 架构模型，如 Meta 的 Llama 3.1 8B 和 Mistral 的 7B
这个新模型反映了阿布扎比在 AI 研究和开发中的创新和先驱方法
开源、多语言和多模态——并且是唯一具有视觉转语言能力的 AI 模型。新的 Falcon 2 11B 性能超越了 Meta 的 Llama 3 8B，与领先的 Google Gemma 7B 模型性能相当，由 Hugging Face 排行榜独立验证。接下来，我们希望添加"专家混合"来进一步增强 Falcon 2 的能力。
技术创新研究所 (TII) 是全球领先的科学研究中心，也是阿布扎比先进技术研究委员会 (ATRC) 的应用研究支柱，今日宣布推出"Falcon 基金会"。非营利性 Falcon 基金会致力于推进开源生成式 AI 模型的发展，并建立围绕开源项目的可持续生态系统，以加速技术发展...
Falcon 180B 是一个超强大的语言模型，拥有 1800 亿参数，在 3.5 万亿令牌上进行了训练。它目前在 Hugging Face 排行榜上位居预训练开源大语言模型之首，可用于研究和商业用途..
Falcon 40B 经过 400 亿参数和 1 万亿令牌的训练，是首个首次发布权重供研究和商业用途的本地开源大语言模型 (LLM)。
AI71 是由阿布扎比先进技术研究委员会 (ATRC) 和 VentureOne 推出的先驱性 AI 公司，宣布了全球征集提案，邀请开发者提交他们希望用 Falcon 10B 实现的杰出想法和用例。最佳提案将被授予必要的计算资源来处理他们的想法。
加入技术创新研究所 (TII) 举办的 Falcon LLM Hackfest：Wings of Innovation Challenge，这是一个展示你的技能并与 Falcon 10B 一起塑造 AI 未来的令人兴奋的机会！
汇聚领先大学研究人员和全球 AI 从业者的倡议，以增强 TII 的 Falcon LLM 系列并倡导开源运动
全球领先的大学研究人员和全球 AI 从业者可以提交他们关于如何最好地使用 Falcon 进行有针对性的问题解决挑战的提案。最佳提案将获得计算资源奖励以及将他们的想法变为现实的机会。
生成式 AI 模型使我们能够创造创新途径，通往激动人心的可能性未来——其中唯一的限制是想象力。
我们的 AI 研究人员、科学家和工程师团队正在合作实现创新成果——从 AI 理论到 AI 技术，并与更广泛的 AI 社区分享他们的工作。
在我们尖端语言模型 (LLM) 的核心是一个强大而多样化的数据集集合。数据集是我们 LLM 模型的生命血液，用丰富的语言知识和上下文理解强化了它。
Falcon LLM 是一个生成式大语言模型 (LLM)，有助于推进应用和用例，为我们的世界提供未来保障。目前 Falcon Perception、Falcon‑H1‑Tiny‑R、Falcon H1R 7B、Falcon-H1-Arabic、Falcon Arabic、Falcon-E、Falcon-H1、Falcon 3、Falcon Mamba 7B、Falcon 2、180B、40B、7.5B 和 1.3B 参数 AI 模型，以及我们高质量的 REFINEDWEB 数据集，形成了一套完整的产品。
作为关键技术推动者，我们坚信创新应该被允许发展。这就是为什么我们决定开源或开放获取我们所有的 Falcon 模型。我们推出了最新的 Falcon 180B LLM 作为研究和商业用途的开放获取模型。
携手合作，我们可以在全球范围内推动并加快突破性解决方案的落地——催化创新以实现更大的影响。
确保合规性和保护您的数据
Falcon Perception：Falcon Perception 是一种多模态 AI 模型，使系统能够使用自然语言提示来查看、阅读和理解图像。通过在单一架构中结合视觉和语言能力，Falcon Perception 简化了 AI 如何解释视觉信息，同时保持高效率。
Falcon‑H1‑Tiny‑R：Falcon‑H1‑Tiny 系列展示了智能确实可以融入小型模型中，专门的变体提供多语言理解、强大的指令跟随、强健的工具使用和编码能力。Falcon‑H1‑Tiny‑R 系列能够与显著更大的推理模型相匹配性能，重新定义了推理规模。Falcon‑H1‑Tiny‑R 仅在推理数据上进行了训练，并应用于紧凑架构，在 0.6B 和 0.09B 配置中解锁了强大的推理性能。
阅读更多 Falcon H1 Tiny R 0.6B (reasoning, post-GRPO) Falcon H1 Tiny R 0.6B (reasoning, pre-GRPO) Falcon H1 Tiny R 0.09B (reasoning) Falcon H1 Tiny 专门 90M 模型集合
在高效的7B模型中具备数学、编码、逻辑和指令跟随方面的高级推理能力。
Falcon-H1-Arabic是对传统大语言模型的彻底改变。
为现代标准阿拉伯语和各阿拉伯方言而构建，Falcon Arabic为阿拉伯语使用者带来先进的语言AI。
阅读我们的技术博客
AI创新——及其在现实世界的部署——正在加速。到目前为止，用户必须在性能和效率之间做出权衡。Falcon-H1的独特混合架构（基于Transformer和Mamba架构）为您提供一系列AI模型，融合两方面的最佳优势——结合强大的通用理解与高效处理。得益于Maximal Update Parametrization的更新版本，可以在非常大规模上可靠地训练这些模型；实际上，这使得增加模型大小的过程更安全、更高效。
阅读更多关于我们的技术博客内容 在Oumi上测试Falcon
Falcon Edge重新定义了小规模语言模型的可能性。随着AI从云端走向现实世界的设备，Falcon-e被设计用于基础设施有限的地方，在CPU上快速高效地运行，而非GPU。
阅读更多 在Oumi上测试Falcon
Falcon 3系列的最新更新引入了卓越的多模态功能，使模型不仅能处理文本和图像，还能处理——Falcon系列中首次——视频和音频数据。Falcon 3可在轻量级基础设施上运行，甚至在笔记本电脑上，而不会牺牲性能。Falcon 3生态系统包含四个可扩展的模型，针对不同应用定制。Falcon 3支持多种语言，并针对资源效率进行了优化。TII开源大语言模型系列的这一最新迭代旨在实现AI访问的民主化。
Falcon 3的下载受我们的条款和条件及可接受使用政策约束
Falcon Mamba 7B是首个开源发布的状态空间语言模型（SSLM），是Falcon模型的新型革命性架构。根据Hugging Face独立验证，Falcon Mamba 7B是全球性能最好的开源SSLM。SSLM具有低内存成本，无需额外内存即可生成任意长度的文本块。Falcon Mamba 7B还优于传统Transformer架构模型，如Meta的Llama 3.1 8B和Mistral的7B。新模型体现了阿布扎比在AI研究和开发中的创新和先锋精神。
Falcon Mamba 7B的下载受我们的条款和条件及可接受使用政策约束
开源、多语言和多模态——是唯一具有视觉转语言能力的AI模型。新的Falcon 2 11B性能优于Meta的Llama 3 8B，与领先的Google Gemma 7B模型性能相当，已通过Hugging Face排行榜独立验证。接下来，我们计划增加"专家混合"（Mixture of Experts）以进一步增强Falcon 2的能力。
Falcon 2的下载受我们的条款和条件及可接受使用政策约束
Falcon 40B在宽松的Apache 2.0软件许可证下向研究人员和商业用户开放。最终用户可访问该软件涵盖的任何专利。Apache 2.0确保了安全且强大的开源软件的安全性和可用性，并建立了有效的治理模式。
Falcon-180B通过免版税许可证向开发者开放，基于Apache 2.0。该许可证包含对非法或有害使用的限制，并要求打算为模型提供托管访问的机构获得TII的额外同意。
该模型可免费下载、使用和集成到应用程序和最终用户产品中。
希望作为托管服务（用于推理或微调）提供模型或其衍生产品的共享实例的托管提供商不属于提议的许可证范围，我们邀请他们与TII进行单独的许可安排。
Falcon 180B的下载受我们的条款和条件及可接受使用政策约束
生成式AI模型（如Falcon Arabic、Falcon Edge、Falcon H1、Falcon 3、Falcon Mamba 7B、Falcon 2、Falcon 40B和Falcon 180B）正为未来照亮路径。随着更新更强大的模型不断涌现，它们将保持阿联酋在AI领域的标志性先锋地位。
我们不懈努力确保AI系统的透明性和问责制，保护隐私和数据安全，并建立应对AI社会影响的机制。通过分享我们的进步，我们促进了医疗、金融、教育等各领域的突破。齐心协力，我们可利用集体智慧解决复杂挑战并推动创新。
Falcon LLM - 加入我们一起为更美好的世界创新。
我是一名开发者或代表一家公司，想在我的应用程序中使用Falcon 180B为用户提供增强功能。许可证是否允许？
该许可证允许公司和开发者将Falcon 180B集成到他们的应用程序和服务中，并在他们自己或租赁的基础设施上托管。
我是一名开发者或代表一家公司，想基于Falcon 180B创建新应用程序（例如聊天机器人），并作为付费服务通过专用平台或API提供。许可证是否允许？
该许可证允许公司和开发者在Falcon 180B基础上构建和商业化新应用程序，并在他们自己或租赁的基础设施上托管。
我就职于一家大型企业。我们计划在内部工具中使用Falcon 180B。许可证是否允许？
该许可证允许公司和开发者在其内部工具和应用程序中使用Falcon 180B，并在他们自己或租赁的基础设施上托管。
我是托管提供商，确实为想要托管LLM模型（包括Falcon 180B）专用实例的开发者或公司提供专用基础设施。许可证是否允许？
该许可证不阻止托管提供商出租托管容量/计算能力供开发者或公司用于托管其Falcon 180B的专用实例。
该许可证仅限制托管提供商提供作为推理/微调API提供的共享实例（受另一项许可证约束）。
我是托管提供商，想作为独立共享服务托管Falcon 180B的实例（基础模型或微调版本）。我可以通过API（推理API或微调API）对访问进行收费吗？
该许可证特别限制托管提供商从Falcon 180B及其微调版本的共享实例直接访问进行商业化。
这需要签订特定的许可协议。
请记住，这些常见问题基于提供的条款和条件，旨在简化对Falcon 180B使用的理解。如需全面信息，请始终参考完整的许可协议。
敏捷、直观且有益