AREX Feed Article
OpenAI 官方演示 appshots:⌘⌘ 把当前应用窗口交给 Codex 与 ChatGPT
北京时间 8 月 29 日凌晨 4 点 37 分(UTC 8 月 28 日 20:37),OpenAI 官方开发者账号 @OpenAIDevs 发布推文和一段演示视频,展示 appshots 功能:按两个 Command 键,把电脑上当前打开应用的窗口(可见画面加可读取文本)作为任务上下文交给 AI 处理。推文正文以 "⌘ ⌘" 和 "Use appshots to:" 开头,下面是 10 条用例清单,从 "Give me TL;DR on this Slack thread" 排到 "Help me trim this video in iMovie"()。
3 秒后,官方账号在自回复里点明了适用范围:"Appshots give ChatGPT Work and Codex all the context from the app in front of you so they can understand what you're looking at and act on it."(appshots 把面前应用的全部上下文交给 ChatGPT Work 和 Codex,让它们理解你在看什么并据此行动,)。
截至核验时,这条推文获得约 576 个赞、224 次收藏和 6.2 万次浏览。
演示视频里的十个任务
官方列出的用例覆盖通讯、开发和日常事务:给 Slack 线程做 TL;DR、替用户填写表单、照着 API 参考文档给应用加功能、提取 X 回复里的主题、判断哪些私信需要回复、为仪表盘置顶帖子起草三条跟进、把笔记转成演示文稿、在 iMovie 里修剪视频、把打开的菜谱变成购物清单、基于行程规划剩余旅程并联网搜索。
有用户在引用推文里把演示视频的流程拆成三步:按 ⌘⌘(不是连按两次,而是两个拇指各按一个 Command 键),截下当前所在应用的屏幕,然后切换到 ChatGPT,把截图放进提示词(原推文写的是 "Switches to chatgpt" 和 "Drops screenshot into prompt",)。这个交互把"上传文件"的步骤省掉了,AI 直接接手用户正在看的画面。
⌘⌘ 抓的是什么:最前窗口的截图加文本
OpenAI 的官方文档对 appshots 的机制写得很具体():
- 只在 macOS 版 ChatGPT 桌面应用可用;按两个 Command 键或自定义快捷键触发。
- 只捕获最前窗口:可见窗口的图像,加上应用可提供的文本,包括可见滚动区域之外的文本。
- 捕获后像普通附件一样存在会话文件里,本地存储;默认开新会话,如果 60 秒内刚和某个会话互动过,就并入那个会话,连续截图会进同一个会话。
- 需要两项 macOS 权限:屏幕与系统音频录制(截画面)和辅助功能(读文本)。官方提醒,除非任务需要,避免对敏感内容使用 appshots。
文档也写了限制:Codex CLI 能继续含有 appshot 的会话,但不能新建;对 Google Docs、Gmail、Google Sheets、Google Slides 这类应用,ChatGPT 可能只拿到可见截图,拿不到完整文档;在 ChatGPT Work 或 Codex 里,可以靠已安装的对应插件读取应用内容。
五个月前已随 Codex 上线
appshots 不是第一次出现。9to5mac 在 5 月 21 日报道了 "Codex for Mac updated with new Appshots feature that instantly gives chat context"()。Kingy AI 引用的 Codex changelog(build 26.519,5 月 21 日)原文是:"Press both Command keys to send the frontmost app window to Codex with a screenshot and available text, so Codex can work from context in another app without you copying, pasting, or describing it manually."(按两个 Command 键,把最前应用窗口连同截图和可用文本发给 Codex,它就能基于另一个应用里的上下文工作,你不再需要手动复制粘贴或描述,)。
The Decoder 的报道补充,该功能在 Mac 上所有套餐可用,与 4 月公布的 Computer Use 互补,且不受 Computer Use 在欧洲经济区、英国和瑞士的地区限制影响()。同一天,Codex 的 Goal Mode 也从 beta 转正为 GA()。
5 月的上线信息都围绕 Codex,这次官方推文则把落点写成 "ChatGPT Work and Codex"。但推文本身没有说明两个入口各自的上线范围,官方文档目前写的是"macOS 版 ChatGPT 桌面应用"。
评论区:催更 Windows、报隐私 bug、问使用边界
引用转发里最显眼的是 OpenAI 内部的声音:X 简介标注为 OpenAI Codex APAC Lead 的 Derrick Choi 转发写道 "I'm addicted to appshots"()。
另一类是平台催更。用户 Braden 在回复里只问了三个词 "When Windows?"();Domo 说得更直接:"You've had this for awhile now but still isn't on windows"(这功能你们上线有一阵子了,Windows 还是没有,)。用户 Tay 则反馈 Intel MacBook 上无法使用()。
还有两类实质性质疑。一是捕获正确性:用户 Josh 报告,appshots 有时不识别最前窗口,把后台窗口一起截进去,"差点造成敏感信息泄露"(It has almost caused some sensitive info leaks,)。二是语义边界:自称 AI 安全研究者的 Kate Saikishore 指出,"TL;DR 这条 Slack 线程"这类任务受懒加载影响,模型总结的是恰好渲染出来的部分,分不清"这就是全部"和"只加载到这里"()。另有用户想让 appshots 用于普通 ChatGPT 会话,却被重定向到 ChatGPT Work()。
能用的范围:macOS 桌面、最前窗口、两项权限
把官方文档和第三方拆解放在一起,appshots 的边界比演示视频清晰:仅 macOS;仅最前窗口;首次使用要授权两项权限;对部分网页应用只能拿到可见截图。Kingy AI 的长文还指出,公开文档里没有自动脱敏或发送前预览的步骤,没有面向管理员的单独禁用开关,appshots 也不是公开 API,Codex CLI 无法程序化触发。
对用户来说,这条推文传达的变化是:向 AI 描述"我在看什么"这个动作,从复制粘贴变成了一次快捷键。而官方没有正面回答的问题仍然悬着:推文说 appshots 给 "ChatGPT Work and Codex" 用,文档写的是 macOS 桌面应用,实测反馈却是"会被重定向到 ChatGPT Work"。三条信息拼不出一个完整的上线范围说明。
参考链接
- __