9.0
重磅
AI SCORE
模型发布2023-07-11 21:35
Claude 2 发布：新一代强大 AI 编程助手
Hacker News · anthropic.com#Claude#Anthropic#模型
Editor brief · 编辑速览
Anthropic 发布 Claude 2，大幅提升推理能力、代码生成质量和上下文窗口长度，对程序员的工作方式有直接影响。
我们荣幸地宣布推出新一代模型 Claude 2。Claude 2 性能得到改进，响应内容更长，可通过 API 以及我们新推出的面向公众的测试版网站 claude.ai 访问。我们从用户那里听到的反馈表明，Claude 易于交互，能够清楚地阐述其思维过程，更不容易产生有害输出，且记忆能力更强。相比之前的模型，我们在编码、数学和推理方面进行了改进。例如，我们最新的模型在律师执业资格考试（Bar exam）的选择题部分获得了 76.5% 的成绩，而 Claude 1.3 的成绩为 73.0%。与申请研究生院的大学生相比，Claude 2 在 GRE 阅读和写作考试中的成绩超过了第 90 百分位数，在定量推理方面则与中位数申请者相当。
可以把 Claude 视为一个友好、热情的同事或私人助手，它可以根据自然语言指示帮助你完成许多任务。Claude 2 面向企业的 API 定价与 Claude 1.3 相同。此外，美国和英国的任何用户现在都可以开始使用我们的测试版聊天体验。
在我们努力提升模型的性能和安全性的同时，我们也扩展了 Claude 的输入和输出长度。用户可以在每个 prompt 中输入多达 100K tokens，这意味着 Claude 可以处理数百页的技术文档，甚至整本书籍。Claude 现在还可以一次性写出更长的文档——从备忘录到信件再到故事，可达数千 tokens。
此外，我们最新的模型在编码能力上有了显著提升。Claude 2 在 Codex HumanEval（一个 Python 编码测试）上的得分达到 71.2%，而此前为 56.0%。在 GSM8k（一个包含大量小学数学问题的测试集）上，Claude 2 的得分为 88.0%，而之前为 85.2%。我们为 Claude 2 规划了一条令人期待的能力改进路线图，并将在接下来的几个月内缓慢而迭代地部署这些改进。
我们一直在迭代改进 Claude 2 的基础安全性，使其更加无害，更难被 prompt 诱导产生冒犯性或危险性的输出。我们建立了内部红队评估机制，在一个包含大量代表性有害 prompt 的数据集上对模型进行评分，采用自动化测试并定期人工检查结果。在这项评估中，Claude 2 在提供无害回复方面的表现比 Claude 1.3 提高了 2 倍。虽然没有模型能完全免疫于越狱攻击，但我们采用了多种安全技术（你可以在这里和这里阅读相关内容），以及广泛的红队测试，来改进其输出。
Claude 2 驱动我们的聊天体验，目前在美国和英国普遍可用。我们正在努力在接下来的几个月内让 Claude 在全球范围内可用。你现在可以创建一个账户并开始用自然语言与 Claude 交流，要求它帮助你完成任何喜欢的任务。与 AI 助手交互需要一些尝试和错误，所以请阅读我们的提示来充分利用 Claude。
我们目前正与数千家使用 Claude API 的企业合作。其中一个合作伙伴是 Jasper，这是一个生成式 AI 平台，能够帮助个人和团队扩展他们的内容策略。他们发现 Claude 2 能够在各种不同的使用场景中与其他最先进的模型相抗衡，但在长文本低延迟使用方面特别有优势。Jasper 工程副总裁 Greg Larson 表示："我们很高兴能够成为首批向客户提供 Claude 2 的平台，为客户带来增强的语义理解、最新的知识训练、改进的复杂 prompt 推理能力，以及通过 3 倍更大的上下文窗口来轻松重混现有内容的能力。我们很荣幸能够通过与 Anthropic 这样的合作伙伴关系来帮助我们的客户走在行业前沿。"
Sourcegraph 是一个代码 AI 平台，帮助客户编写、修复和维护代码。他们的编码助手 Cody 利用 Claude 2 改进的推理能力为用户查询提供更准确的答案，同时还能传递更多的代码库上下文，支持高达 100K 的上下文窗口。此外，Claude 2 采用了更新的数据进行训练，这意味着它拥有 Cody 可以利用的更新框架和库的知识。Sourcegraph 首席执行官兼联合创始人 Quinn Slack 表示："对于 AI 编码，开发者需要快速、可靠地访问他们独特代码库的上下文，以及一个拥有大上下文窗口和强大通用推理能力的强大 LLM。开发工作流中最缓慢和最令人沮丧的部分正在变得更快、更愉快。感谢 Claude 2，Cody 正在帮助更多开发者构建推动世界发展的软件。"
我们欢迎你的反馈，因为我们致力于更广泛地负责任地部署我们的产品。我们的聊天体验是一个开放的测试版发布，用户应该意识到 Claude（如同所有当前的模型一样）可能会生成不当的响应。AI 助手在日常情况下最有用，例如用于总结或组织信息，不应该用于涉及身体或心理健康和福祉的场景。如果你想在目前不支持的领域与 Claude 交流，或者你是一个想要开始与 Claude 合作的企业，请告诉我们。