Skip to content

Browser_Computer_Use.md

Latest commit

 

History

History
138 lines (110 loc) · 13.7 KB

Browser_Computer_Use.md

File metadata and controls

138 lines (110 loc) · 13.7 KB
Raw

浏览器与计算机自动化（Browser / Computer Use）

让 AI Agent 像人一样操作浏览器与电脑，是 agentic 时代最关键的能力之一。Browser Use 指让 agent 自主操控浏览器完成网页任务；Computer Use 更进一步，让 agent 通过截图 + 鼠标键盘直接操作整台电脑。本章收录相关框架、为 agent 打造的浏览器基础设施、自动化 MCP、反检测方案、桌面操作 Agent 与评测基准。

相关：浏览器类 MCP Server 见 MCP 指南，理念见 Agent-First。

Browser Use 浏览器操作 Agent（框架）

名称 链接 简介
browser-use GitHub 当前最热门的浏览器 Agent 框架（Python，MIT），让 AI 直接操控浏览器完成网页任务
Stagehand GitHub Browserbase 出品的"浏览器 Agent SDK"（TypeScript），融合自然语言与代码控制，带自愈与缓存
agent-browser GitHub Vercel Labs 出品的原生 Rust 浏览器自动化 CLI，accessibility-tree 快照省 token，兼容 Claude Code/Cursor，热度高
Midscene GitHub 字节跳动出品，视觉驱动的跨平台（Web/Android/iOS）UI 自动化，用自然语言写脚本
Skyvern GitHub 用 LLM + 计算机视觉自动化网页工作流，提供 Playwright 兼容 SDK 与无代码流程编排
Nanobrowser GitHub 开源 Chrome 扩展，定位 OpenAI Operator 的免费替代，多 Agent、本地运行、自带 API Key
LaVague GitHub 由 World Model + Action Engine 组成，将目标翻译为 Selenium/Playwright 可执行代码
Agent-E GitHub EmergenceAI 出品，基于多 Agent 框架，用自然语言驱动浏览器自动化
browser-use WebUI GitHub browser-use 官方的 Gradio 网页界面，支持多家 LLM、自定义浏览器与持久会话
Notte GitHub 主打速度、成本与可扩展性的网页 Agent 框架，支持结构化抽取
Index (Laminar) GitHub 结合视觉推理 LLM 自主执行复杂网页任务的开源浏览器 Agent，提供 CLI 与 serverless API
open-operator GitHub Browserbase 出品，基于 Stagehand 的 web agent 模板，对标 OpenAI Operator
browser-cli GitHub browsemake 出品的面向 LLM Agent 的命令行浏览器自动化工具，为 LLM 设计输出格式、本地运行、凭证隔离
Playwright（底层） GitHub 微软出品，跨 Chromium/Firefox/WebKit 的统一自动化 API，常作为上层 Agent 的底层驱动
Puppeteer（底层） GitHub Chrome 团队出品，通过 DevTools 协议控制浏览器的经典底层库

AI 网页抓取 / 转 LLM 数据

把网页/文档转成干净、结构化、LLM 友好的数据，是喂给 agent 的关键一环，也是当前 GitHub 上最火的方向之一。

名称 链接 简介
MarkItDown GitHub 微软出品，将 PDF/Office/图片/音频等多种文件转为 Markdown 供 LLM 使用，star 极高
Firecrawl GitHub 大规模搜索、抓取并与网页交互的 API，输出 LLM 友好的 markdown/JSON（注意 org 已迁至 firecrawl）
crawl4ai GitHub 开源 LLM 友好爬虫，将网页转为干净结构化 Markdown，GitHub 趋势榜常客
Scrapling GitHub 自适应爬虫框架，支持 HTTP/隐身/动态浏览器抓取，含 MCP server
Docling GitHub IBM 出品，文档（PDF/DOCX/PPTX）解析转 gen-AI 就绪格式，含表格/版面识别
ScrapeGraphAI GitHub 用 LLM + 图逻辑做抓取，只需自然语言 prompt 即可提取信息
Crawlee GitHub Apify 出品的 Node.js 爬虫与浏览器自动化库，内置反爬
gpt-crawler GitHub 抓取站点生成知识文件，用于构建自定义 GPT
Maxun GitHub 开源无代码网页数据平台，Extract/Scrape/Crawl/Search 四类机器人，可自托管
Jina Reader GitHub 通过 https://r.jina.ai/ 前缀把任意 URL 转为 LLM 友好的 markdown，含搜索
llm-scraper GitHub 用 LLM 把任意网页转为结构化数据，基于 Playwright，多模型支持

Agent 浏览器基础设施（开源 / 云）

为 agent 提供开箱即用、可扩展、带反检测与会话管理的浏览器运行环境。

名称 链接 简介
Steel / steel-browser GitHub 开源"为 Agent 打造的浏览器 API"，开箱即用浏览器沙箱，封装会话/代理/扩展/反检测，支持 Puppeteer/Playwright/Selenium
Browserbase 官网 为 AI Agent 而生的云端浏览器基础设施（Stagehand 出品方）
Browserless 官网 远程 Chrome 服务，支持 Playwright/Puppeteer/Selenium，可自托管
Hyperbrowser 官网 "Web Infra for AI Agents"，AI-first 的 serverless 浏览器，含 HyperAgent
Anchor Browser 官网 面向 Computer-Use Agent 的安全浏览器基础设施，fork Chromium 强化行为级反检测
BrowserCat 官网 Headless 浏览器 API，"浏览器界的 OpenRouter"，一份脚本路由到托管后端

浏览器自动化 MCP

名称 链接 简介
Chrome DevTools MCP（Google 官方） GitHub 官方 MCP，让编码 Agent 控制并检视真实 Chrome（性能分析、网络调试、自动化、截图），可对接 Claude/Copilot/Cursor/Gemini
Playwright MCP（微软官方） GitHub 微软官方 Playwright MCP，基于可访问性树驱动真实浏览器，比截图方案更快更可靠
Browser MCP GitHub MCP server，让 Claude/Cursor/VS Code/Windsurf 等控制你本地的浏览器
Stagehand GitHub "浏览器 Agent SDK"，可与 MCP 生态集成

反检测 / 隐身浏览器（anti-bot / stealth）

名称 链接 简介
CloakBrowser（官方） GitHub ・官网 在 Chromium C++ 源码层打入多处指纹补丁的 Stealth Chromium，Playwright drop-in 替代品
Camoufox GitHub Firefox fork 的反检测浏览器，在实现层拦改指纹（navigator/WebGL/屏幕等），面向爬取与 Agent

⚠️ 安全提醒：GitHub 上存在多个冒名 "CloakBrowser" 的李鬼仓库（如 SpikySituations/CloakBrowser 等），盗用官方描述、README 实为诱导下载 exe 安装包的页面，疑似分发恶意软件。请认准官方 CloakHQ/CloakBrowser 与官网 cloakbrowser.dev，切勿下载来路不明的 zip/exe。

Computer Use 计算机 / 桌面操作 Agent

让 Agent 通过"看屏幕 + 操作鼠标键盘"直接控制整台电脑。

名称 链接 简介
Anthropic Computer Use（官方文档） 文档 Anthropic 官方 Computer Use 工具，让 Claude 通过截图 + 鼠标键盘控制桌面
Anthropic 参考实现 GitHub 官方 quickstarts 仓库，含 computer-use-demo 让 Claude 控制桌面环境的参考实现
OpenAI Operator / CUA 公告 OpenAI 的 Computer-Using Agent，结合视觉与强化学习像人一样操作 GUI；产品 Operator 已并入 ChatGPT Agent
UI-TARS GitHub 字节跳动开源的多模态 GUI Agent 视觉语言模型，覆盖桌面/移动/浏览器，在 OSWorld 等取得 SOTA
UI-TARS Desktop GitHub 字节出品，含 Agent TARS 框架与原生桌面应用，自然语言控制电脑
Agent S GitHub simular-ai 开源 GUI Agent 框架，"像人一样使用电脑"，Agent S3 在 OSWorld 上表现突出
cua GitHub Computer-Use Agent 开源基础设施，提供沙箱、SDK 与基准，可操控 macOS/Linux/Windows 桌面
OmniParser GitHub 微软出品的屏幕解析工具，将 UI 截图解析为结构化元素，为纯视觉 GUI Agent 提供精准定位
Self-Operating Computer GitHub 早期框架，让多模态模型看屏幕并执行鼠标键盘操作
Open Interpreter GitHub "计算机的自然语言接口"，让 LLM 在本地执行代码与操作电脑（执行前需确认）
Bytebot GitHub 自托管 AI 桌面 Agent，在容器化 Linux 桌面内用自然语言执行任务，近期很火
open-computer-use GitHub E2B 出品，基于开源 LLM + E2B 桌面沙箱的 computer use
Computer Use OOTB GitHub Show Lab(NUS) 出品，开箱即用的 Windows/macOS GUI Agent，无需 Docker
OpenAdapt GitHub 生成式流程自动化（Generative RPA），录制-回放式桌面自动化

移动端 GUI Agent（Android / iOS）

名称 链接 简介
Mobile-Agent GitHub 阿里 X-PLUG 出品的强大 GUI Agent 家族（Mobile-Agent v1/v2/v3、PC-Agent 等）
droidrun / mobilerun GitHub LLM 无关的移动设备自然语言自动化 Agent，支持 Android/iOS，含无障碍 Portal app
AppAgent GitHub 腾讯出品，多模态智能体像用户一样操作智能手机 App
AgentCPM-GUI GitHub 面壁智能 OpenBMB 出品的端侧 Android GUI Agent，强化推理、中文优化

GUI 视觉模型 / 屏幕解析

让纯视觉 Agent 看懂屏幕、精准定位可操作元素的底层模型与工具。

名称 链接 简介
OmniParser GitHub 微软出品，把截图解析为结构化可点击元素，最主流的纯视觉解析底座
UI-TARS GitHub 字节跳动原生 GUI 交互视觉语言模型（模型本体/论文/权重）
Qwen3-VL GitHub 阿里通义多模态大模型，具备强 GUI grounding / agent 能力
CogAgent GitHub 智谱 AI 端到端 VLM GUI Agent 模型
ShowUI GitHub Show Lab(NUS) 出品，CVPR 2025，端到端 Vision-Language-Action GUI 模型

AI 浏览器产品（消费级）

名称 链接 简介
ChatGPT Atlas 链接 OpenAI 浏览器，含 Agent Mode 多步自主任务（先 macOS）
Perplexity Comet 链接 Perplexity 的浏览器，每个标签页内嵌多模型助手
Dia 链接 The Browser Company（Arc 团队）的新一代 AI 浏览器，AI 作为浏览器底层
Gemini in Chrome 链接 Google 在 Chrome 内集成 Gemini，提供侧边栏与自主浏览能力

注：AI 浏览器产品的功能、定价与上线时间变动较快，请以官方为准。

评测基准

名称 链接 简介
WebArena GitHub 可自托管的真实网站仿真环境，评测自主网页 Agent（含多模态扩展 VisualWebArena）
WebVoyager GitHub 基于多模态大模型的网页 Agent 与基准，含 15 个真实网站、600+ 任务
Mind2Web GitHub 首个通用网页 Agent 基准，覆盖 137 个网站、31 个领域、2000+ 任务
OSWorld GitHub 真实计算机环境中评测多模态 Agent 的开放式桌面任务基准
AndroidWorld GitHub 运行在真实 Android 模拟器上的移动端 Agent 基准
GAIA 链接 通用 AI 助手基准（含网页浏览任务），466 题分 3 个难度等级