跳至内容

软件技术分享

关于电子游戏的方方面面

  • 游戏产业
    • 行业杂谈
    • 开发者采访
  • 游戏设计
    • 专题学习
    • 设计制作
  • 游戏热点
    • 游戏评测
    • 游戏攻略
    • 流行游戏
  • 工具指南
  • AI
    • AI新闻
    • 使用心得
  • 小游戏
  • 游戏7×24小时
  • 关于妙游社

Claude:Computer use/桌面操作类能力什么时候不该交给模型

作者 2026年11月5日 02:37

有 API/MCP/CLI 或网页任务,别上 computer use。金融/医疗/法律/他人隐私:禁止或人确认;留给无接口的遗留桌面软件。

要点

  • 决策顺序(官方/学院一致):有 MCP/API/CLI 用那些;任务停在网页用 browser use;仅剩窗口和按钮的遗留软件才上 computer use(Academy、Best practices)。证据强度:高。
  • Cowork 侧同类优先级:Connectors → 内置/Chrome 浏览器 → 屏幕点击(Let Claude use your computer)。证据强度:高。
  • 平台安全注意事项:专用虚拟机/容器、少给敏感数据、网络允许名单、对真实后果动作与需明确同意的事项做人类确认;截图/页面里的指令可能覆盖你的提示(prompt injection)(Computer use tool)。证据强度:高。
  • Cowork 官方“强烈不建议”:管金融账户或投资、处理法律文书、处理医疗健康信息、碰含他人个人信息的应用;并写明 computer use 无沙箱,应用级授权+拉黑名单(Cowork 计算机使用、Use Cowork safely)。证据强度:高。
  • 局限:延迟偏高、坐标/点选会偏、滚动与表格单元格不稳;适合后台搜集、自动化测试等速度不敏感场景,且仍要人审日志(平台 Limitations)。证据强度:高。
  • 消费端档位:帮助中心写 Pro/Max/Ultra 桌面端 beta;Team/Enterprise 是否开 computer use 以组织设置为准(待核)。证据强度:中/待核。

正文

场景

周五下午,仓库里的旧制图软件 PlotDesk 没有 API,也没有命令行。有人要导出一堆 PDF 图册,手点要一下午。这种“只有窗口和按钮”的活,才轮到 computer use:截屏、点坐标、打字,循环直到状态栏出现 Exported。

对照一下:Slack 有连接器、后台有 REST、网页能走 browser use,还让模型盯着桌面狂点——更慢,也更容易点错、被页面里藏着的句子带跑。先问该不该交给模型,再谈怎么配分辨率。

可跟做步骤/可抄工作流

证据强度:决策树与安全项=官方文档高;分辨率/effort 调参一笔带过=实践参考;Cowork 档位标待核。

1. 先跑决策树(抄下来贴工单)

这个任务有没有稳定的程序化接口?
├─ 有 MCP/官方 API/CLI → 用工具调用;不要 computer use
├─ 任务完全在网页里 → 优先 browser use(读页面本身,不必整桌面)
├─ 只有遗留 GUI、无接口 → 才考虑 computer use
└─ 触及资金/医疗/法律/他人隐私/不可逆写入 → 禁止或强制人确认;默认不要开

Claude Academy 写得很直:有 MCP、API 或命令行就用那些;computer use 留给像 PlotDesk 这种什么都没有的软件。网页任务用 browser use 更贴(Academy)。

Cowork 同一逻辑:有 Gmail/Drive/Slack 等 connector 先走连接器;没有再浏览器;最后才屏幕交互。拉 Slack 消息走连接器是秒级,走屏幕又慢又容易错(Help Center)。

2. 硬禁止/必须人确认的清单

强烈不建议(Cowork 原文口径,消费端):

  • 管理金融账户或投资交易
  • 处理法律文件或合同
  • 处理医疗或健康信息
  • 与含他人个人信息的应用交互

平台 API 文档另要求:对可能造成真实世界后果的决策、需要明确同意的动作(接受 Cookie、完成金融交易、同意条款)询问人类。登录凭据放进提示会抬高注入风险,先读注入缓解再决定要不要给。

操作层建议(帮助中心+平台):

  • 银行、医疗门户、政务、含他人隐私的 App:不要授权 computer use;加入 blocklist。
  • 删除文件、转账、发信、下单、改权限:自动批准关掉,改手动确认;Cowork 永久删除本身也会要你点 Allow。
  • 桌面跑在专用容器/虚拟机,少挂主机目录,网络收成允许名单。

3. 仍要用时的最小护栏

  1. 隔离环境:每会话独立容器;容器内无生产凭证;你的 API key 放在容器外(Academy)。
  2. confirm 回调:SDK computer toolset 可在每次点击/打字前问人;截屏可自动过,点击与 type 交给盯屏的人(Academy 示例思路)。
  3. 提示写短、步骤清楚:每步后要求截屏自检;难用的控件改键盘快捷键。
  4. 分辨率:发送前缩到 API 限制内(4.6 系常见长边 1568/约 1.15MP;更新模型上限以文档为准),坐标按缩放回映射;点不准先查缩放,再怪模型(Best practices、平台文档)。细节调参本稿不展开。
  5. 注入意识:截图与页面文字可能带指令;官方有分类器加持,仍不能替代权限收敛与人确认。

4. Cowork/桌面端怎么开、怎么收

  1. 更新 Claude Desktop → Settings > Capabilities(或 System > This computer)打开 Enable computer use。
  2. 按应用授权;敏感应用拉黑。
  3. 从低风险任务练手(整理本地文件夹、点内部只读看板),再考虑多步工作流。
  4. 机器需醒着且桌面端开着;复杂多步常要第二轮。屏幕路径慢于连接器——常用工具尽量接 connector(Help Center)。

Computer use 没有夹在 Claude 与应用之间的沙箱:它点的是你的真桌面。链接点开后可能跳到未授权的浏览器窗口——帮中心点名提醒过(Use Cowork safely)。

真实用户诀窍/反例

  • 诀窍:接口优先写成团队默认。 工单模板第一句就问“有没有 API/MCP/CLI”。
  • 诀窍:敏感 App 靠拉黑,不靠“模型一般会避开”。 训练护栏不是访问控制。
  • 诀窍:人确认挂在写动作上。 截屏可读;点击与输入才碰状态。
  • 诀窍:遗留 GUI 才值得付延迟税。 点选链路天然比一次 API 调用慢。
  • 反例:有 Slack 连接器还让它在桌面里翻频道。 官方自己都说连接器更快更稳。
  • 反例:把网银、病历门户、同事人事表交给 computer use。 落在“强烈不建议”清单上。
  • 反例:自动批准模式跑含转账/群发的长任务。 注入一旦得手,动作可能先于你发现。
  • 反例:4K 原图直送再抱怨点不准。 先缩到限制内并回映射坐标。

适用边界

  • 本稿覆盖:何时不该用 computer use/桌面操控,以及 Cowork 与 API 文档对齐的决策树和禁区。
  • 不覆盖:自建 computer toolset 的完整 SDK 教程、OSWorld 分数对比、企业 Compliance API 接入。
  • Pro/Max/Ultra 与 Team/Enterprise 开关、macOS 后台操控默认值,以帮助中心现行文为准(待核)。
  • 模型名、toolset 版本号(如 computer_toolset_20260801)会迭代;集成以 平台文档 为准。

【来源与编译】

  • Computer use tool|安全注意事项、局限、人确认、注入
  • Best practices for computer and browser use|接口优先、分辨率与点选
  • Let Claude use your computer in Cowork|权限、强烈不建议清单、优先级
  • Use Claude Cowork safely|无沙箱、敏感 App 拉黑、注入与监控
  • Computer use(Claude Academy)|有 API/MCP/CLI 用那些;网页用 browser use
  • 本文说明:编译决策树与禁区;未写死未核实的像素级按钮坐标;档位与 beta 范围标待核。

相关阅读

  • Claude Code 改了拒复刻规则:可以说出游戏名讲机制,但不能照抄
  • Grok:语音模式适合什么任务、不适合什么
  • Codex:在 Cursor 里用 Codex/Agent 做 code review 清单
  • Grok:把长线程整理成可转发纪要的固定骨架
  • itch.io 日新增游戏页约翻倍,下载与购买没跟上
  • itch.io 删掉“几 TB 的 AI 垃圾”,搜索也加了“No AI”

浏览更多「AI」文章 ›

  • 要点
  • 正文
  • 场景
  • 可跟做步骤/可抄工作流
  • 真实用户诀窍/反例
  • 适用边界
  • 【来源与编译】

文章导航

上一篇Codex:在 Cursor 里用 Codex/Agent 做 code review 清单
下一篇Grok:语音模式适合什么任务、不适合什么

相关文章

Claude Code 改了拒复刻规则:可以说出游戏名讲机制,但不能照抄 Claude Code 改了拒复刻规则:可以说出游戏名讲机制,但不能照抄 Grok:语音模式适合什么任务、不适合什么 Grok:语音模式适合什么任务、不适合什么 Codex:在 Cursor 里用 Codex/Agent 做 code review 清单 Codex:在 Cursor 里用 Codex/Agent 做 code review 清单

评测设计产业杂谈

软件技术分享

关于电子游戏的方方面面

栏目

  • 游戏产业
  • 游戏设计
  • 游戏热点
  • 工具指南
  • AI
  • 小游戏
  • 游戏7x24小时
  • 关于妙游社

本站

  • 首页
  • 隐私政策
  • 联系我们
  • 关于妙游社
  • 工具指南专题
  • 文章 RSS

关注公众号

沙漏社公众号二维码

© 2026 软件技术分享

沪ICP备19032461号-1

目录

×
  • 要点
  • 正文
    • 场景
    • 可跟做步骤/可抄工作流
      • 1. 先跑决策树(抄下来贴工单)
      • 2. 硬禁止/必须人确认的清单
      • 3. 仍要用时的最小护栏
      • 4. Cowork/桌面端怎么开、怎么收
    • 真实用户诀窍/反例
    • 适用边界
  • 【来源与编译】
→ 目录