跳到主要内容
AI工具库
AI智能体AI办公工具AI图像工具AI视频工具Token服务资讯
  1. 首页
  2. AI开发框架
  3. agent-desktop
INDEX · #829AI开发框架新收录
agent-desktop

agent-desktop

github.com

Vercel Labs 开源的 computer use 命令行工具:读系统辅助功能树让 Agent 看见并操作桌面应用,自带 MCP 模式

AI Agent MCP 命令行工具 开源 桌面工具
访问官网↗更多同类工具
网站截图 · 仅供参考在新标签打开官网↗
agent-desktop 官网首页截图

官网首页截图/最近检查 2026/11/16

工具介绍

关于 agent-desktop 的定位、能力与适用场景

DOSSIER

agent-desktop 是 Vercel Labs 开源的 computer use 工具,Apache-2.0 协议,给 AI Agent 补上「操作桌面应用」这一段能力。它走的不是截图加视觉模型的路子:直接读操作系统的辅助功能树(macOS 的 AX API、Windows 的 UI Automation、Linux 的 AT-SPI),把当前界面转成 JSON,每个可操作元素都带一个 ref,Agent 对着 ref 点击或输入,再读一次界面确认结果。

注意它本身没有模型。工具只负责「看见」和「操作」,观察—动作—再观察的循环写在你的 Agent 里。官方把这个设计讲得很直白:agent-desktop 不是 Agent,是 Agent 的手和眼。

为什么不用截图

截图方案要靠视觉模型认元素、算坐标,界面一密集就容易点偏,还要来回传图、烧 token。走辅助功能树拿到的是一份结构化的控件清单,角色、名称、可用动作都在,定位更接近程序员的思路而不是「看图猜」。副作用是默认 headless:通过辅助功能 API 操作,不移动鼠标、不抢焦点,可以后台批量跑;需要真实鼠标事件时再加 --headed。

怎么用

先装:npm install -g agent-desktop,macOS 和 Linux 也可以用 Homebrew。装完跑 agent-desktop status 看平台、权限和支持的界面,macOS 上还需要用 agent-desktop permissions --guide 走一遍辅助功能授权。

典型循环就三步:snapshot --app Finder -i 拿到带 ref 的元素,click @s8f3k2p9:e8 操作其中一个,再 snapshot 一次核对结果。ref 属于它所在的那次快照,界面变了会返回 STALE_REF 或 AMBIGUOUS_TARGET,重新拍一张换新 ref 就行。

61 个命令,一个 MCP 入口

命令分成十组:观察(snapshot、find、get、is、screenshot 等)、ref 操作(click、type、set-value、toggle、scroll 等)、键盘鼠标、应用与窗口(launch、focus-window、resize-window 等)、通知、剪贴板、等待、会话、沙箱和系统。官方统计 61 个命令名,其中 57 个可直接运行,key-down/up、mouse-down/up 四个要等守护进程就绪。

更省事的是 MCP:agent-desktop mcp 会把每个命令都暴露成 MCP 工具(desktop_snapshot、desktop_click 这样命名),在配置里加一段 mcpServers 就能接进 Claude Code 一类的 Agent 工具。它还自带技能说明,agent-desktop skills get desktop 和 skills get platform 会按版本给出循环规则和平台差异,也可以直接 npx skills add 装进 Agent 环境。

平台与形态

macOS 13 起(Intel 与 Apple Silicon)、Windows 10 1809 起(x64 / ARM64)、Ubuntu 24.04 起(x86_64 / aarch64,X11 或 Wayland)都有支持,每个平台各用自家的辅助功能接口。形态上提供 CLI,也随每个版本发布 libagent_desktop_ffi C 库,非 Node 进程可以直接通过 FFI 嵌进去用。

安全上要留意一点:快照、剪贴板读取、截图、命令输出和调试产物都可能包含桌面上的隐私内容,官方明确建议不要把它们放进公开日志或上传。项目当前 24.3k 星、1.8k fork,348 次提交。

核心功能

agent-desktop 能做什么

FEATURES
  • 辅助功能树代替截图

    直接读取 macOS AX API、Windows UI Automation、Linux AT-SPI 的界面结构,输出带角色与可用动作的 JSON,不依赖像素匹配。

  • 带 ref 的快照与动作

    每个可操作元素都有独立 ref,点击、输入、滚动都针对 ref 执行;界面变化后重新快照换新 ref 即可。

  • 默认 headless

    通过辅助功能接口操作,不移动指针、不抢焦点,适合后台批量执行;需要真实鼠标事件时加 --headed。

  • 61 个命令

    覆盖观察、ref 操作、键盘鼠标、应用窗口、通知、剪贴板、等待、会话、沙箱与系统十组能力。

  • MCP 服务器

    agent-desktop mcp 把每个命令暴露为 MCP 工具(desktop_snapshot、desktop_click 等),可直接接进 Claude Code 一类工具。

  • C 库与 FFI

    每个版本附带 libagent_desktop_ffi,非 Node 进程可以通过 FFI 在同一进程内调用。

  • 三平台支持

    macOS 13+(Intel / Apple Silicon)、Windows 10 1809+(x64 / ARM64)、Ubuntu 24.04+(X11 / Wayland)。

  • 内置技能说明

    skills get desktop / platform 按版本输出循环规则与平台差异,也能用 npx skills add 装进 Agent 环境。

  • 错误可判定重试

    STALE_REF、AMBIGUOUS_TARGET 等错误带 disposition.retry 标记,只在标记为 safe 时重试,避免瞎重跑。

  • 会话、沙箱与追踪

    提供 session、sandbox、trace、cursor-overlay,便于把多步操作组织成可回放的执行链。

优点与不足

基于实际使用整理

PROS / CONS

优点

  • 不靠截图和像素匹配,读系统辅助功能树拿结构化控件清单,元素定位比视觉方案稳。
  • 默认 headless,不移动指针不抢焦点,可以后台批量跑多步操作。
  • 61 个命令覆盖观察、点击、键鼠、窗口、通知、剪贴板、会话,粒度足够细。
  • 自带 MCP 模式,一条命令把全部能力暴露给 Claude Code 等 Agent 工具。
  • 提供 C 库 FFI,能嵌进非 Node 进程,语言选择不受限。
  • Apache-2.0 开源免费,24k+ 星、1.8k fork,迭代活跃。

不足

  • 三个平台都要单独授予辅助功能权限,首次配置有门槛,macOS 尤其需要手动走授权流程。
  • ref 绑定当次快照,界面一变就报 STALE_REF,必须重新快照,链路比坐标点击长。
  • 只负责看见和操作,不含模型与任务规划,观察循环要自己写。
  • 依赖各家系统的辅助功能 API,不同平台的支持度和行为存在差异。
  • 需要无障碍权限,企业环境里通常要过一轮安全合规评估。

适合谁

按使用场景选择

BEST FOR
给 Agent 补桌面操作能力的开发者做桌面自动化与 RPA 的团队需要 headless 批量操作的技术团队想用 MCP 接桌面工具的 Agent 玩家要把能力嵌进 C/C++ 进程的团队研究 computer use 方案的技术人员

常见问题

关于 agent-desktop 的常见疑问

FAQ
01agent-desktop 是什么?

Vercel Labs 开源的 computer use 工具,Apache-2.0。它读取桌面应用的辅助功能树,把界面转成带 ref 的 JSON,让 AI Agent 能对具体元素执行点击、输入等操作。

02和基于截图的 computer use 有什么区别?

截图方案要靠视觉模型识别元素并换算坐标,密集界面容易点偏,还要反复传图。agent-desktop 直接拿系统提供的控件树,元素身份明确;代价是依赖各平台的辅助功能 API。

03需要自己准备模型吗?

需要。工具内部不含模型,只提供观察与操作接口。观察—动作—再观察的循环、任务拆解和判断,都写在调用它的 Agent 里。

04支持哪些平台,权限怎么给?

macOS 13 及以上、Windows 10 1809 及以上、Ubuntu 24.04 及以上。装好后先跑 agent-desktop status 查看权限状态,macOS 用 agent-desktop permissions --guide 按指引授予辅助功能权限。

05怎么当作 MCP 服务器用?

在 MCP 客户端配置里加一段 mcpServers,command 填 agent-desktop、args 填 ["mcp"] 即可。每个命令会变成一个 MCP 工具,例如 desktop_snapshot、desktop_click,参数和命令行一致。

06支持哪些操作?

共 61 个命令名,覆盖快照与查找、ref 点击与输入、键盘鼠标、应用启动与窗口管理、通知、剪贴板、等待、会话、沙箱和系统信息。其中 key-down/up 与 mouse-down/up 四个需要守护进程就绪后才能运行。

07收费吗?

不收费。项目采用 Apache-2.0 协议开源,CLI 和 C 库都可以自由使用与修改,成本只有你自己运行 Agent 的模型开销。

08使用时要留意什么安全问题?

快照、剪贴板内容、截图、命令输出和调试产物都可能带出桌面上的隐私信息。官方建议把这些数据排除在公开日志和上传之外;另外它是无障碍级别的权限,企业环境要按内部合规要求评估。

09CLI 和 C 库怎么选?

Agent 跑在外部、通过子进程调用就用 CLI,配置最少;需要把能力嵌进已有进程、避免进程间开销,或宿主语言不是 Node 时,用随版本发布的 libagent_desktop_ffi 走 FFI。

收录说明

收录不代表推荐,请结合自己的工作流与预算做最终判断。

agent-desktop
agent-desktopgithub.com
访问官网↗

将在新标签页打开 github.com

分类
AI开发框架
浏览
0
收录
2026/11/16
检查
HTTP 200 · 2026/11/16
官网
github.com

Related

相关推荐

Hermes Agent

Hermes Agent

hermes-ai.net
访问官网↗

Nous Research 开源的自我进化 AI Agent:内置学习闭环,技能越用越多,一个网关打通 15+ 消息平台

AI智能体
Vue Skills

Vue Skills

github.com
访问官网↗

Vue 3 专属的 Agent Skills 合集,8 个技能覆盖 Composition API、Router、Pinia、测试与调试,一条命令装进 AI 编程助手

AI编程工具
DeepSeek Harness

DeepSeek Harness

deepseek.com
访问官网↗

DeepSeek 开源的通用智能体,开箱即用、插件自由组合

AI智能体

Same category

同类工具

查看 AI开发框架 全部 →
Loomy

Loomy

loomy.xunfei.cn
访问官网↗

让整理、创作、分析和执行在同一个入口里自然接力,工作也能顺着做下去。

AI对话聊天
Clawith

Clawith

clawith.ai
访问官网↗

Clawith(OpenClaw for Teams)是一款面向前沿组织的开源多智能体协作平台,可快速构建具备自主感知、协作、进化能力的数字员工团队,并提供企业级治理、监控与可扩展架构,而非单一聊天机器人。

AI开发框架
QClaw

QClaw

qclaw.qq.com
访问官网↗

QClaw,别名本地虾, 是腾讯基于OpenClaw研发的本地 AI 助手,于2026年3月9日由腾讯电脑管家团队推出,分为Mac端与Windows端版本。

AI开发框架
AutoClaw(澳龙)

AutoClaw(澳龙)

autoglm.zhipuai.cn
访问官网↗

AutoClaw支持一分钟本地部署,预置50+热门Skills,覆盖内容创作、办公、代码等高频场景

AI开发框架
agent-desktop
agent-desktopgithub.com
访问↗
AI工具库AI工具库

一份持续更新的 AI 与数字工具索引,记录真正值得使用的东西。

Q
Q群二维码
微信二维码

分类

AI智能体AI写作工具AI办公工具AI内容检测AI图像工具AI学习网站AI对话聊天AI开发框架AI提示词AI搜索引擎AI模型评测AI法律助手AI编程工具AI视频工具AI训练模型AI设计工具AI音频工具Token服务

关于

关于AI工具库导航免责声明全部资讯RSS 订阅

说明

所有外部链接经由站内跳转打开并统计点击,收录不代表推荐。

© 2026 AI工具库回到顶部 ↑
独立编辑 · 持续更新