AREX Feed Article
Anthropic 首次开放 25 万条对话的聚合数据:过半涉后果性任务
Anthropic 于 8 月 26 日发布研究公告,宣布首次向外部机构开放真实 Claude 使用数据: 三个团队通过 Anthropic 内部的隐私保护分析工具 Anthropic Insights(前身 Clio),对 2026 年 4–5 月约 25 万条 Claude.ai 与 Claude Code 对话完成了独立研究,每项研究的聚合数据均已公开。官方 X 账号在 UTC 时间 8 月 26 日 17:12(北京时间 8 月 27 日凌晨 1:12)同步宣告:「到目前为止,这类工作只能在 AI 实验室内部完成。我们无法独自讲完整个故事,所以我们开放了工具。」()
初步发现里最突出的一条:超半数对话中,用户把「后果性任务」——影响他人或难以撤销的工作——交给了 Claude,其中以法律与金融咨询最为集中。Anthropic 在公告中称,这是外部研究者首次基于 AI 公司自身的真实使用数据开展公开独立研究;但数据代表性、隐私保护有效性目前仍只是 Anthropic 单方声明。
研究者只见聚合结果,不见原始对话
Anthropic Insights 是 Anthropic 内部用来分析数百万条 Claude 对话使用模式的工具。试点中,研究者先写下一个问题(公告举例:「这个人在寻求什么类型的指导?」),Claude 对研究范围内的每条对话作答,答案再聚合为类别和百分比;研究者只能看到最终类别与占比,从未接触原始对话。
进一步说明:研究者拿不到原始对话、用户标识或组织标识,所有原始数据与计算都留在 Anthropic 的服务器上。合同把边界写得很具体:Anthropic 的审查权限只覆盖用户隐私、可能帮助他人违反使用政策的信息、公司机密和研究准确性四类,其余不干预;合作协议明确研究者可以自由发表结论,即使对 Anthropic 不利。
分享给第三方的数据在发布前还经过一次额外的第三方隐私审计,审计方为伦敦帝国理工学院()。Anthropic 称,审计人员尝试对数据中的用户进行重新识别,未能成功。
聚合数据已经公开:Hugging Face 上的 Anthropic/enabling-independent-research 数据集包含斯坦福、牛津、METR 及 METR 增补运行四份文件,共 2077 行、5.63 MB,采用 CC BY 4.0 许可。数据集页面同时列明局限:聚类名称与描述由 Claude 生成,应视为对对话的解读而非客观度量;对话只来自 Free、Pro 和 Max 用户,不含 Team、企业或 API 客户数据,Anthropic 自己写道「该人群不能代表我们的全部用户群」。
超半数对话托付后果性任务,法律金融居首
三份研究中只有 SALT 实验室的先行公开:《Human–AI Collaboration at Scale》基于 249,834 条真实对话,结论与先前研究相反。此前研究认为人们大多把低责任任务交给 AI、把后果性任务留给自己;SALT 发现,在包含实际任务的可评估对话中,56% 达到「后果性」层级及以上。
具体分布是:临时性任务占 20%、操作性 24%、后果性 44%、高风险 12%;另有 34% 的对话不含可执行任务。九个任务域按 Task Criticality Index(TCI,按对话量加权的平均层级)排序,法律与金融咨询以 2.14 居首,其中约 24% 属于高风险,对应合同、监管申报和财务决策这类不可逆、影响外部的工作;商业与创业支持(1.75)、职业发展建议(1.70)随后,软件开发 1.37,学业辅导垫底(1.06)。
同一研究还显示,72% 的对话由人类主导:人设定方向、Claude 协助,用户通常改编输出而非照搬。任务越关键,人投入越多,高风险对话的轮数是临时任务的 1.91 倍(6.5 轮对 12.4 轮)。
摩擦出现在 49.7% 的对话中,但往往具有建设性:它促使人们澄清意图、修正输出,这类「生产性摩擦」集中在法律文书起草、软件调试等高风险的非常规任务上。下图的每个点代表一个任务簇,横轴是出现摩擦的对话占比,纵轴是摩擦对话中具建设性的比例,气泡大小代表对话量。
牛津测情绪、METR 测效率,结论均未公开
研究的是人们使用 Claude 时的感受与 Claude 行为的关系。早期结果显示模式成对出现:Claude 温暖时人们更积极,Claude 拒绝或反驳时人们会顶回去,Claude 表现古怪时人们更投入思考,Claude 单纯提供帮助时人们显得满意。
研究者还发现,对话中「沉浸、挫败、愉悦」等状态之间的关联模式,与另一项针对日常上网浏览的研究高度相似。报告尚未完成。
(评估前沿模型能力的非营利组织)在用 Claude Code 对话估算编程智能体的真实生产力增益,以及增益如何随模型代际变化。早期结果有两条:更强的模型可能为用户节省更多时间,与旧模型相比,新模型带来显著加速。
另一条是,Claude 对「不用 AI 需要多久」的估计与开发者实测完成时间相关,说明这类估计大体可靠。METR 下一步要测量 AI 在多大程度上加速研究工作本身。报告同样未公开。
问错问题,聚类就会失真
试点暴露的第一个问题是工具本身的局限。Anthropic Insights 依赖 Claude 的判断,结果对问题措辞高度敏感,问题问得不好,对话可能被分进名不副实的类别;研究者又读不到原始对话,这类错误很难被发现。
内部团队可以花数周反复迭代问题,外部伙伴做不到:每次分享数据都要重新过隐私审查,研究会变得不可行。Anthropic 的替代方案是让研究者先在 WildChat(一个公开的人机对话数据集)上测试问题。但 WildChat 偏向休闲与创意用途,与 Claude 流量不同,一些在 WildChat 上表现良好的问题,应用到真实 Claude 对话后产生了误导性类别,Anthropic 为此提供了解读指南。
数据集页面还披露,牛津研究的一个 facet 因怀疑问题措辞有误、产生了误导性聚类描述,被整体移除;原始系统的验证中约有 3% 的对话未被所属聚类清晰描述。第三个问题是滥用信息的处理:部分聚类触及可接受使用政策或服务条款的违规内容,Anthropic 选择公开其中大部分,例外是描述用户如何绕过安全防护的类别;每项研究中受影响的比例不到 5%,研究者都被告知哪些聚类被改动或删除及原因。
Anthropic 还提醒,Insights 无法区分被安全防护拦截的尝试与成功的尝试,一个有害请求聚类反映的往往是用户问过什么,而非 Claude 实际提供了什么。最后,整个流程缓慢且消耗资源,Anthropic 把能否规模化列为下一步要解决的问题。
「隐私保护」说法遭质疑,扩容尚无时间表
截至 8 月 27 日凌晨,官方推文已有约 25.5 万次浏览、1501 个赞、141 次转发,引用推文里出现了两种声音。
卡内基梅隆大学语言技术研究所助理教授、前 Meta AI 研究科学家 Niloofar Mire 写道:「这是很好的努力,但把 Clio 称为隐私保护是极具误导性的。」(This is a great effort but claiming Clio is privacy preserving is DEEPLY misleading.)
投资机构 wagmi.vc 的 GP Chen Zituo 则看到了另一面:「到目前为止,AI 影响之争里的每个数字都来自卖东西的人。外部数据集是第一个真的可能输掉争论的版本。」(Every number in the AI impact debate so far has come from whoever was selling the thing. An external dataset is the first version of this that can actually lose an argument.)
还需要划清边界:样本只是 2026 年 4–5 月的一次快照,只来自 Claude.ai/Claude Code 的 Free、Pro、Max 用户;聚类标签由 Claude 自己生成,Anthropic 在数据集页面提醒不要把它们当作已验证的发现,原始论文的准确率只针对话题类 facet 验证过,判断模型行为或用户情绪的 facet 并未验证。
牛津与 METR 的结论尚未公开,Anthropic 也还没有决定是否把项目扩容,目前只开放了研究员兴趣登记表作为入口。数据本身已经摆在 Hugging Face 上,任何人都可以下载、复现或反驳斯坦福的分析;哪些结论经得起复跑,要等外部团队动手之后才知道。