# 让 DeepSeek Harness 学会用鼠标：dsh-computer-use 插件实测
> 开源插件地址：https://github.com/988hj7tczd-oss/dsh-computer-use · npm 包：dsh-computer-use
你有没有想过：让 AI 不只是打字聊天，而是真的帮你操作电脑？
点开某个软件、填个表单、滚动页面、拖个文件——这些"动鼠标"的活儿，以前的 AI Agent 做不了。它只能待在对话框里，你问它答。但 DeepSeek Harness 生态最近出现了一类新插件——**Computer Use**，让 AI 长出"手和眼睛"。
我做了个插件叫 **dsh-computer-use**，思路很简单：AI 生成一个虚拟鼠标，像人一样看屏幕、移动、点击、输入。这篇就聊聊它怎么用、解决了什么、以及和其他方案的区别。
## 一、什么是 Computer Use
Computer Use 直译是"计算机操作"。本质是给 AI 两条新能力：
- **眼睛**：能"看"屏幕，理解界面上有什么（按钮、输入框、菜单）
- **手**：能"动"鼠标键盘，去点击、输入、滚动、拖拽
这样一来，AI 就能操作任何图形界面软件——不只是它自己的网页，而是你电脑上所有应用。
## 二、dsh-computer-use 能干什么
装上之后，插件会给你的 DeepSeek Harness 增加 11 个工具，挑几个核心的看：
| 工具 | 作用 |
|------|------|
| `screen_observe` | 观察屏幕：生成"编号+控件+坐标"的界面树 |
| `computer_click` | 点击（支持编号或坐标，独立光标滑行过去再点） |
| `computer_type` | 文本输入 |
| `computer_key` | 按键/快捷键（回车、Cmd+C 之类） |
| `computer_scroll` | 滚动页面 |
| `computer_drag` | 拖拽 |
| `app_list` / `app_launch` | 列出/启动应用 |
实际用起来就是这样一段对话：
> **你**：帮我打开备忘录，新建一条笔记，写上"下午三点开会"。
>
> **AI**：（调用 `app_launch` 打开备忘录 → `screen_observe` 看界面 → `computer_click` 点"新建" → `computer_type` 输入文字）好了，已帮你写好。
整个过程中，屏幕上会有一个彩色的光标自己滑过去、点击——你能看见它"动手"，不是黑箱操作。
## 三、和别的方案有什么不一样
做 Computer Use 的插件不止我一个。市面上有 Anionex 的 dsh-computer-use（最早、最成熟，主打 macOS 无障碍树安全操作）、几个 Windows 原生实现等。我的插件差异化在这几点：
**1. 跨平台，一套代码三个系统**
底层用的 cua-driver 引擎（MIT 开源），原生支持 macOS / Windows / Linux。不像有些方案只支持 macOS 或只支持 Windows。
**2. 双模读屏：先省钱，再兜底**
- 默认走 **AX 无障碍树**：读界面结构文本，零视觉 token 成本，快且准
- 遇到游戏、Canvas 这类"看不见结构"的界面，**自动降级视觉模式**，用免费的 GLM-4V-Flash 看图理解
也就是说，日常操作几乎不花钱，特殊界面才启用视觉。
**3. 真人操作感**
不是后台偷偷注入点击，而是真的有一个虚拟光标，带着弧线轨迹滑到目标上，再按下鼠标。看得见过程，像有人替你操作。
**4. 安全护栏**
- 观察快照有有效期（默认 15 秒），过期必须重新观察，杜绝"凭记忆盲点"
- 可选白名单：只允许操作指定应用
- 危险操作（删除、支付、转账等）会先问用户
- 密码框直接拒绝自动输入——密码必须本人敲
## 四、怎么安装
前提：装好 DeepSeek Harness（推荐用 harness-desktop 桌面版），再装 cua-driver 引擎并授权（macOS 需要辅助功能和屏幕录制权限）。
```bash
# 一键安装
dsh plugin --profile web add dsh-computer-use
```
装完重启，加载技能后就能用了。没配视觉 Key 也不影响——AX 模式正常跑，只是游戏类界面没有视觉兜底。
## 五、真实测试结果
在 macOS 15.6 上实测：打开备忘录 → 观察界面 → 点"新建" → 输入文字 → 回读验证，完整闭环通过。安全护栏也验证过：快照过期后点击会被拒绝，白名单外的应用操作会被拦下。
## 六、适合谁用
- **想给 Agent 加"手"的开发者**：插件是 MIT 开源的，可以直接改
- **需要自动化操作桌面软件的运营/办公人群**：重复的点来点去，可以交给 AI
- **玩 DeepSeek Harness 生态的玩家**：这应该是目前 dsh 生态里少数几个跨平台 Computer Use 方案
## 小结
Computer Use 是个新方向，dsh 生态 8 月中旬才开始有人做，现在正是早期。如果你也在用 DeepSeek Harness，装一个试试，让 AI 帮你点几下鼠标，感受会完全不一样。
如果你喜欢这类 AI 工具，可以来 [AI House 排行榜](https://www.aibunkhouse.com/rankings/) 看看其他人在用什么，也可以给这个插件一个 Star——开源项目靠反馈活着。
**项目地址**：https://github.com/988hj7tczd-oss/dsh-computer-use