Fable 5.1发布仅24小时A社又放大招了今天Anthropic宣布全面升级Claude「计算机使用」能力。现在扔给它一个任务Claude就能自己打开软件、点击按钮、输入内容在多个应用之间来回操作。最大的变化是这些操作直接在后台完成。一个人一台电脑两条工作流终于可以同时跑了。目前Computer Use处于Beta测试阶段已面向Claude Pro和Max订阅用户开放macOS版首先体验。这一次AI终于不再霸占屏幕Claude「计算机使用」功能对于每个人来说并不陌生。早在今年3月它就随Dispatch一起上线了。它的工作原理本质上是一个Loop截图→模型看图→输出坐标→系统去点。这种让AI接管电脑的方式体验多少有些尴尬——任务是交出去了鼠标和键盘也跟着一起「上交」。AI每点一次你的光标就被拽走一次。它干活的几分钟里人只能在旁边看着。这一次在macOS 15及以上系统中Claude默认通过后台窗口工作不占用用户正在使用的鼠标和键盘。你可以继续写文档、回消息Claude则在另一边打开App、整理文件、测试程序。如果检测到用户正在输入Claude还会主动等待。只有任务必须接管整个屏幕时它才会在每次会话中首次发起前台操作前征求许可。Claude操作电脑背后大揭秘从Anthropic公开的文档看Claude的桌面操作仍然建立在经典的「感知—决策—执行—反馈」循环上。每执行一步系统会截取当前窗口画面将截图交给视觉模型理解。Claude识别按钮、输入框、菜单和页面状态随后生成点击坐标、键盘输入或滚动等动作。桌面端执行动作后再返回一张新截图。Claude判断操作是否成功接着规划下一步。如此循环直到任务完成或者遇到需要用户确认的问题。整个过程可以简化为截取屏幕 → 理解界面 → 选择动作 → 执行操作 → 检查结果这也是GUI智能体比普通工具调用更难的原因。API返回的是结构化数据字段含义固定屏幕只提供像素。同一个「提交」按钮可能出现在不同位置、不同尺寸和不同主题中还可能被弹窗遮住。只要窗口移动、页面加载变慢或者某次点击没有生效后续步骤就可能全部偏离。这一次的更新全部覆盖了Cowork和Claude Code场景。当一个人下达任务后Claude会采用一套高度优化的三级降级执行架构——API连接器Connectors任务涉及Gmail、谷歌和微软办公全家桶Claude优先通过底层API交互数秒完成内置浏览器Browser没有直连API时Claude接管内置浏览器在网页端自动化操作屏幕交互Screen Interaction以上两个都不满足时Claude便会触发终极「计算机使用」能力。不得不说在macOS 15环境下屏幕交互迎来了体验上的质变。人机并行时代开始了过去两年AI智能体一直在学习使用工具。先是调用搜索和代码解释器后来接入浏览器、邮箱与办公软件现在终于开始直接进入操作系统。Claude这次升级表面上解决的是「不抢鼠标」背后争夺的却是桌面操作系统里的第二个工作席位。当AI能够在后台看屏幕、开软件、跑流程人类与电脑的关系也在悄悄改变。以前一台电脑同一时间基本只服务一个操作者。以后前台是人后台是智能体用户负责判断、沟通和决策AI持续处理那些漫长、重复、必须跨应用完成的工作。从聊天框走向浏览器再从浏览器进入整台电脑Claude离真正的「赛博替身」又近了一步。原文链接Claude后台接管电脑真·赛博替身人机并行时代来了-36氪
Fable 5.1发布仅24小时A社又放大招了今天Anthropic宣布全面升级Claude「计算机使用」能力。现在扔给它一个任务Claude就能自己打开软件、点击按钮、输入内容在多个应用之间来回操作。最大的变化是这些操作直接在后台完成。一个人一台电脑两条工作流终于可以同时跑了。目前Computer Use处于Beta测试阶段已面向Claude Pro和Max订阅用户开放macOS版首先体验。这一次AI终于不再霸占屏幕Claude「计算机使用」功能对于每个人来说并不陌生。早在今年3月它就随Dispatch一起上线了。它的工作原理本质上是一个Loop截图→模型看图→输出坐标→系统去点。这种让AI接管电脑的方式体验多少有些尴尬——任务是交出去了鼠标和键盘也跟着一起「上交」。AI每点一次你的光标就被拽走一次。它干活的几分钟里人只能在旁边看着。这一次在macOS 15及以上系统中Claude默认通过后台窗口工作不占用用户正在使用的鼠标和键盘。你可以继续写文档、回消息Claude则在另一边打开App、整理文件、测试程序。如果检测到用户正在输入Claude还会主动等待。只有任务必须接管整个屏幕时它才会在每次会话中首次发起前台操作前征求许可。Claude操作电脑背后大揭秘从Anthropic公开的文档看Claude的桌面操作仍然建立在经典的「感知—决策—执行—反馈」循环上。每执行一步系统会截取当前窗口画面将截图交给视觉模型理解。Claude识别按钮、输入框、菜单和页面状态随后生成点击坐标、键盘输入或滚动等动作。桌面端执行动作后再返回一张新截图。Claude判断操作是否成功接着规划下一步。如此循环直到任务完成或者遇到需要用户确认的问题。整个过程可以简化为截取屏幕 → 理解界面 → 选择动作 → 执行操作 → 检查结果这也是GUI智能体比普通工具调用更难的原因。API返回的是结构化数据字段含义固定屏幕只提供像素。同一个「提交」按钮可能出现在不同位置、不同尺寸和不同主题中还可能被弹窗遮住。只要窗口移动、页面加载变慢或者某次点击没有生效后续步骤就可能全部偏离。这一次的更新全部覆盖了Cowork和Claude Code场景。当一个人下达任务后Claude会采用一套高度优化的三级降级执行架构——API连接器Connectors任务涉及Gmail、谷歌和微软办公全家桶Claude优先通过底层API交互数秒完成内置浏览器Browser没有直连API时Claude接管内置浏览器在网页端自动化操作屏幕交互Screen Interaction以上两个都不满足时Claude便会触发终极「计算机使用」能力。不得不说在macOS 15环境下屏幕交互迎来了体验上的质变。人机并行时代开始了过去两年AI智能体一直在学习使用工具。先是调用搜索和代码解释器后来接入浏览器、邮箱与办公软件现在终于开始直接进入操作系统。Claude这次升级表面上解决的是「不抢鼠标」背后争夺的却是桌面操作系统里的第二个工作席位。当AI能够在后台看屏幕、开软件、跑流程人类与电脑的关系也在悄悄改变。以前一台电脑同一时间基本只服务一个操作者。以后前台是人后台是智能体用户负责判断、沟通和决策AI持续处理那些漫长、重复、必须跨应用完成的工作。从聊天框走向浏览器再从浏览器进入整台电脑Claude离真正的「赛博替身」又近了一步。原文链接Claude后台接管电脑真·赛博替身人机并行时代来了-36氪
