Claude Code 新功能：让 AI 直接控制你的电脑，从手机远程操作桌面

人在外面也能操控本地电脑——Anthropic 最新发布的 Computer Use 功能，让 Claude Code 成为你的远程桌面助手。

欢迎关注我，获取更多 AI 实战干货 🙌

01 新功能发布：AI 能控制你的电脑了

Anthropic 刚刚发布了一个重磅功能——Computer Use，让 Claude Code 能够：

• • 🖱️ 直接使用鼠标点击界面元素
• • ⌨️ 使用键盘输入文字和快捷键
• • 📸 自动截图识别屏幕内容
• • 🤖 独立操作桌面应用程序

这意味着什么？

你可以从手机发送一条消息，让 Claude Code 在你的本地电脑上执行任务——即使你人在外面，电脑在家里。

目前这个功能处于研究预览版，仅支持 Mac OS，但 Windows 版本将在几周内推出。

02 核心场景：从口袋控制你的桌面

这个功能最强大的地方，是可以和 Dispatch 功能配合使用。

想象这样的场景：

🚂 在火车上，需要检查本地构建是否完成 → 手机发消息，它自动执行 🍽️ 在外面吃饭，突然需要发送电脑里的文件 → 手机输入，它找到文件并发送 🏖️ 在度假，需要下载一份报告 → 远程指令，它打开应用下载报告

就像有个 24 小时待命的虚拟助理，随时可以操作你的电脑。

03 启用步骤

第一步：打开设置

在 Claude Code 桌面应用中：

1. 1. 点击底部 Settings（设置）
2. 2. 进入 Desktop App Settings（桌面应用设置）
3. 3. 找到底部的 “Computer Use” 选项

第二步：授权权限

首次使用需要授予以下权限：

• • 📋 辅助功能（Accessibility）
• • 🎥 屏幕录制（Screen Recording）
• • 📁 文件夹访问（如 Downloads）
• • 💻 应用访问（如 ClickUp、Finder）

好消息：同一会话中再次使用这些应用，无需重复授权。

04 实际效果演示

演示 1：自动发送文件

任务：在 Downloads 文件夹找到 “ROI Calculator.pdf”，通过 ClickUp 发送给同事

执行过程：

1. 1. Claude 打开 Finder，导航到 Downloads 文件夹
2. 2. 在搜索栏输入文件名
3. 3. 找到目标 PDF 文件
4. 4. 打开 ClickUp，找到对应对话
5. 5. 识别附件按钮（回形针图标）
6. 6. 选择文件，点击发送

关键点：Claude 会持续截图识别界面，逐步导航找到正确的按钮位置。

演示 2：远程计算并记录

任务：从手机发送消息 “计算 726 × 83729，并把结果记到笔记里”

执行过程：

1. 1. 打开计算器应用
2. 2. 清空当前计算
3. 3. 输入数字并得出结果
4. 4. 打开笔记应用
5. 5. 记录计算结果

整个过程无需你在电脑前，只要电脑处于唤醒状态即可。

05 重要限制

虽然功能很强大，但目前还有一些限制需要注意：

浏览器使用的 workaround

问题：Safari、Chrome 等浏览器被限制为只读访问

解决方案：

• • 优先使用桌面客户端（如 Slack、Gmail、ClickUp 的桌面应用）
• • 使用 Chrome 扩展程序
• • 使用 Playwright CLI 等工具

Anthropic 正在快速迭代，未来会原生支持浏览器自动化。

06 最佳使用场景

✅ 推荐场景

1. 桌面应用操作

• • Slack、Calendar、Gmail 桌面应用
• • ClickUp、Notion 等生产力工具
• • 任何有桌面客户端的应用

2. 传统系统操作

• • 没有 API 的旧系统
• • 需要下载报告
• • 查看特定信息

3. 定时自动化

• • 每天早上扫描邮件并总结
• • 每周五自动拉取报告
• • 配合 Scheduled Tasks 使用

4. 测试与调试

• • 在沙箱环境中自动点击测试
• • 查找 UI bug
• • 功能验证

❌ 不推荐场景

• • 复杂的浏览器自动化（目前受限）
• • 需要高度精确的操作
• • 生产环境的关键任务（研究预览版）

07 故障排查

如果 Computer Use 无法正常工作，检查以下几点：

检查清单

• • [ ] 提示词中明确说 “use computer use to…” #ticktick %%[ticktick_id:: 69c8f38696bfff7ff445be9e]%%
• • [ ] 桌面应用已更新到最新版本 #ticktick %%[ticktick_id:: 69c8f38796bfff7ff445bea0]%%
• • [ ] 启用设置后，重启桌面应用 #ticktick %%[ticktick_id:: 69c8f38796bfff7ff445bea2]%%
• • [ ] 已授予必要的辅助功能权限 #ticktick %%[ticktick_id:: 69c8f38796bfff7ff445bea4]%%
• • [ ] 尝试删除并重新下载桌面应用 #ticktick %%[ticktick_id:: 69c8f38796bfff7ff445bea6]%%

常用提示词示例

use computer use to find the PDF file in my downloads
and send it in ClickUp

use computer use to calculate 726 × 83729
and save the result to notes

use computer use to open OBS and start recording

use computer use to scan my email and summarize unread messages

08 未来展望

Anthropic 正在快速迭代这个功能：

• • 📅 几周内推出 Windows 版本
• • 🌐 未来支持原生浏览器自动化
• • 🔗 更多应用集成
• • ⚡ 持续提升性能

虽然目前还是研究预览版，但已经展现出巨大的潜力。

09 关键要点总结

核心价值

使用建议

• • 🎯 优先使用桌面应用而非浏览器
• • 🔐 首次使用仔细授权权限
• • 📱 配合 Dispatch 实现远程办公
• • ⏰ 结合定时任务实现自动化

避坑指南

• • 浏览器操作目前受限，使用桌面客户端
• • 研究预览版，生产环境谨慎使用
• • 复杂操作可能需要多次尝试

最后的话

Computer Use 功能展示了 AI 助手的未来形态——不仅能思考，还能行动。

虽然现在还在早期阶段，但已经能解决很多实际问题：

• • 远程控制桌面操作
• • 自动化重复性桌面任务
• • 为传统系统提供"AI 接口"

随着功能迭代，想象空间无限。