8.0
热点
AI SCORE
观点评论2026-08-18 18:06
AI厂商公开的使用数据可信吗？斯坦福研究者质疑透明度
MIT 科技评论#AI研究#数据透明度#行业批评
Editor brief · 编辑速览
Anthropic、OpenAI 等发布的用户使用数据存在选择性披露问题，学者指出缺乏独立来源交叉验证，AI产品真实使用情况成谜。
Anthropic 和 OpenAI 等 AI 公司定期发布报告，公布人们如何使用 Claude 和 ChatGPT 等产品，但研究人员表示，它们只公布它们想让公众看到的数据。
"没有任何独立来源可以佐证这些数据，"斯坦福可信赖 AI 研究实验室（STAIR Lab）的计算机科学博士生 Anka Reuel 表示。
Reuel 是一个名为 AI Observatory 的新研究项目的联合负责人，该项目旨在填补这一空白。这是一个公共平台，汇集并分析了来自七个现有数据集、经用户同意后收集的 Claude 和 Gemini 等流行模型的真实 AI 对话记录。其目的是提供独立的信息来源，帮助研究人员和政策制定者评估人们如何使用生成式 AI。Reuel 表示，目前关于 AI 好处和风险的重大决策是在非常有限的数据基础上做出的。
AI Observatory 发现，AI 使用情况在不同模型之间存在显著差异，并且随着时间推移发生了变化。其研究显示，实际敏感行为远比大型 AI 公司报告中反映的要多得多——这些公司表示，它们更关注工作用途而非个人使用。
Anthropic 的 Economic Index 是最知名、被引用最广泛的 AI 使用数据来源之一，但它存在盲点。顾名思义，它专注于 Claude AI 在工作相关场景中的用途——过滤掉了与这些用途无关的对话。
当 AI Observatory 研究人员将 Anthropic 的方法应用到他们的数据集时，他们发现近一半的对话——48%——会被过滤掉。这些非工作相关的对话更可能涉及健康和人际关系（在 AI Observatory 中占 44.2%，而 Anthropic 分析中为 31.2%）、成人或非法话题（7.9% 对 2.1%）、骚扰和仇恨内容（27.5% 对 5.66%）、以及性内容（16.7% 对 2.4%）。（同样，OpenAI 2025 年关于 ChatGPT 的报告发现，只有 30% 的消费者使用与工作相关。）
Anthropic 发布了单独的文章，介绍人们如何利用 Claude 获得支持或陪伴，甚至生成 CSAM，但"有了 [AI Observatory 的] 俯瞰式分析"而不是将这些信息"分散在单独的报告中"，有助于研究人员更一致地理解各种不同用途，德克萨斯大学奥斯汀分校助理教授 David Widder 表示，他研究人们如何与 AI 系统互动，且不参与 AI Observatory。
AI Observatory 研究的数据集包含 2023 年至 2025 年间的对话记录，发现人们在如何使用 AI 以及各个 AI 平台如何响应方面都存在差异。
WildChat 是该研究包含的最大、最详细的数据集之一，其中的对话随着时间推移变得越来越长、越来越复杂，这从不断增长的提示词 token、响应 token 和对话轮次可以看出。
随着时间推移闲聊也显著增加。这表明 AI 陪伴正在增加；同时，AI 助手们的自我披露（即承认自己是聊天机器人）在减少。
此外，研究人员标记为敏感的交流——包括潜在有害或受限内容（如性骚扰和仇恨言论）——频率有所下降。这可能表明各平台普遍部署了更有效的安全防护措施。
AI Observatory 还发现，话题、互动风格、对话结构以及敏感用例的可能性和类型在不同模型之间存在差异。
例如，研究人员发现人们更频繁地使用 Grok 和 Gemini 来检索信息。Grok 尤其在新闻和政治信息方面特别受欢迎，但也是错误信息最集中的地方。（这与其他研究结果一致，这些研究表明错误信息在 Grok 上传播得非常迅速。xAI 未回应置评请求。）
与此同时，人们更可能在 Anthropic 上进行编程，在 Gemini 上进行社交和角色扮演，在 ChatGPT 上寻求作业帮助。
即使是同一模型的不同版本之间也存在差异。研究人员发现，当 ChatGPT 由 GPT-3.5 驱动时，人们与它的对话更短；而使用 GPT-4o 时，对话更长且更具迭代性——这不难理解，因为该版本以导致情感依赖而闻名。
然而，公司的报告往往无法捕捉这些细微差别，无论是在不同模型之间还是在同一模型内部。"没有一份公司报告能讲述完整的故事，"来自 MIT 媒体实验室、近期毕业的博士 Shayne Longpre 表示，他与 Reuel 共同领导了这项研究。
为了创建 AI Observatory，Reuel 和来自 MIT、斯坦福大学、数据溯源计划以及其他机构的研究人员汇总了来自七个现实世界数据集的 24,521 段对话中的 85,633 个对话回合（即用户提示和相应的 AI 响应）。这些对话来自 5,000 名用户，他们于 2023 年至 2025 年期间与包括 ChatGPT、Gemini、Claude 和 Grok 在内的 52 个不同模型进行了互动。
但与大型实验室自己掌握的数据相比，这些对话不过是九牛一毛。例如，Anthropic 最新的 Economic AI Index 基于对 100 万段 Claude 对话的分析；OpenAI 关于人们如何使用 ChatGPT 的报告分析了 150 万段对话。
Anthropic 的一位代表表示，公司发表的研究反映了其研究团队的具体问题和兴趣，支持外部独立研究很重要。OpenAI 未回应置评请求。
AI Observatory 的数据集来自用户自愿提供的信息，这意味着它可能低估了敏感用途——人们可能不太愿意分享这些内容。因此，研究人员提醒，其发现并不能代表所有 AI 使用情况。
不过，该项目的工作拓宽了研究社区的获取渠道。AI 公司通常不会分享其聊天数据供分析，这意味着他们的报告往往倾向于聚焦最能美化自己的发现，Reuel 和 Widder 等独立研究人员如是说。
"当我们想问，比如说：Anthropic 的通用 AI 系统……主要是用于好的目的还是坏的目的……我们没有方法来回答这个问题，因为这些信息是专有的，"Widder 解释道。
AI Observatory 的数据将可供研究人员进行分析，团队希望随着时间推移扩展其数据集。Reuel 表示，理想情况下，AI 公司会与独立研究人员分享他们的数据——当然是以保护用户隐私的方式。但就目前而言，她说，任何基于 AI 使用数据做决策的人都面临着"完全在黑暗中摸索、在不了解公司叙述之外实际发生了什么的情况下做出这些重大决策"的风险。
Subquadratic 目前已分享了关于其新模型的更多细节。但一些人仍持怀疑态度。
Will Douglas Heavenarchive page
这使得欺骗它们做出不该做的事情变得很容易，比如告诉你如何破坏飞机的导航系统。
Will Douglas Heavenarchive page
一项新技术让该公司比以往任何时候都更深入地探究 LLM 的奇异运作方式。
Will Douglas Heavenarchive page
该公司正在加大对科学 AI 的投入。
Grace Huckinsarchive page
发现特别优惠、热门故事、即将举行的活动等更多内容。