深度解析 UI-TARS：字节跳动开源的 GUI 智能体，让 AI 像人一样操控你的电脑

快速摘要： UI-TARS 是字节跳动豆包团队联合清华大学开源的一款原生 GUI 智能体模型，它能够通过"看"屏幕截图来理解界面内容，并像真人一样操控鼠标和键盘完成任务。 与传统的聊天式 AI 不同，UI-TARS 具备感知、推理、行动和记忆四大核心能力，可以跨平台（Windows、macOS、Linux、Android）自动执行复杂的多步骤操作。该项目采用 Apache 2.0 协议完全开源，目前已迭代至 2.0 版本，在 OSWorld、AndroidWorld 等权威评测中取得了领先成绩。如果你想了解它的技术原理、部署方式和实际操作方法，请继续往下阅读，莫潇羽@复源AI社区 将为你做全面拆解。

一、从"聊天"到"行动"：AI 智能体的进化之路

过去两年，大语言模型（LLM）的发展可以说是势如破竹。无论是文本生成、代码编写还是多轮对话，AI 在"说"这件事上已经做得相当出色。但一个关键问题始终没有被很好地解决——AI 能不能不只是"说"，而是真正地"做"？

这里的"做"，指的不是调用一个后端 API 返回结果，而是像一个真实的人类用户那样，打开浏览器、移动鼠标、点击按钮、在输入框里填写内容、切换窗口、甚至在手机上滑动屏幕。这种能力，在学术界和工业界被统称为 GUI Agent（图形用户界面智能体）。

2025 年 1 月，字节跳动豆包大模型团队联合清华大学，在 GitHub 上开源了一个名为 UI-TARS 的项目。这个名字来源于科幻电影《星际穿越》中那个忠诚、能干且高度自主的机器人 TARS。而 UI-TARS 的目标，正是成为数字世界中的"TARS"——一个能够自主感知屏幕、理解意图、执行操作的智能助手。

项目一经发布便引发了开发者社区的广泛关注。截至莫潇羽撰写本文时（2025 年），UI-TARS 在 GitHub 上的 Star 数量已经相当可观，其桌面客户端项目 UI-TARS-desktop 也经历了从 v0.0.8 到 v0.3.0 的多次重大版本迭代。更重要的是，该项目采用 Apache 2.0 协议开源，支持商用，这意味着任何个人和企业都可以自由使用、修改和分发。

本文（莫潇羽@复源AI社区 原创）将从技术原理、架构设计、部署方式、实际操作到性能评测，为你全方位拆解这个项目。无论你是对 AI 感兴趣的入门新手，还是希望将智能体集成到自己产品中的开发者，都能从中获益。

二、UI-TARS 到底是什么？一句话讲清核心定位

在深入技术细节之前，我们先用最通俗的方式理解 UI-TARS 的本质。

传统的 AI 助手（比如你日常使用的各种聊天机器人）的工作方式是：你输入一段文字，它返回一段文字。整个交互发生在"文本"这个维度上。即使它能帮你生成代码、翻译文章、总结文档，最终的输出依然是一段文本。

UI-TARS 完全不同。它的工作方式更接近于"远程桌面"场景下的一个真人操作员。你告诉它你想完成什么任务（用自然语言描述即可），然后它会：

• 对当前屏幕进行截图，"看到"屏幕上的内容
• 分析截图中的界面元素（按钮、输入框、菜单、文字等）
• 决定下一步应该执行什么操作（点击、输入、滚动、快捷键等）
• 通过控制鼠标和键盘来执行这个操作
• 再次截图，确认操作结果，决定是否继续下一步

这个循环会不断进行，直到任务完成。整个过程中，UI-TARS 不需要调用任何 API 接口，不需要知道网页的 HTML 结构，不需要应用提供任何特殊的自动化支持。它就像一个坐在你电脑前的真人助手，用"眼睛"看屏幕，用"手"操作设备。

举几个具体的例子来感受一下：

• 你对它说"帮我搜索明天从北京到上海的航班"，它会自动打开浏览器，进入航班搜索页面，填写出发地、目的地和日期，然后点击搜索按钮
• 你对它说"把 Chrome 浏览器的字体调大一些"，它会自动打开 Chrome 的设置页面，找到外观设置，调整字体大小
• 你对它说"把这 10 个网页中的产品信息整理成表格"，它会逐一打开每个网页，提取关键信息，最终生成一个结构化的文档

这就是 GUI 智能体的魅力所在。它不是取代某一个具体的应用，而是成为所有应用之上的"通用操作层"。

三、四大核心技术模块深度拆解

UI-TARS 之所以能够实现上述能力，依赖于其精心设计的四大核心技术模块。这些模块不是简单拼凑的功能组件，而是在一个统一的视觉语言模型（VLM）内部端到端集成的完整系统。下面莫潇羽@复源AI社区 逐一拆解。

3.1 增强感知模块：让 AI 真正"看懂"界面

这是一切的基础。要想让 AI 操作界面，首先得让它理解界面上有什么。

传统的自动化工具（比如 Selenium、Appium 或企业级的 RPA 工具）依赖的是代码层面的元素定位。比如，要点击一个按钮，你需要告诉工具"这个按钮的 CSS 选择器是 .btn-primary"或者"它的 XPath 是 /html/body/div[2]/button"。这种方式有一个致命的缺陷：一旦网页结构发生变化（改版、更新、A/B 测试），脚本就会崩溃。

UI-TARS 采用了完全不同的策略——基于视觉的感知。

研究团队收集了海量的 GUI 截图数据，涵盖网页、桌面应用和移动端 App，使用专门的解析工具从这些截图中提取了丰富的元数据，包括但不限于：

• 元素类型：这是一个按钮、输入框、下拉菜单还是复选框？
• 位置信息（边界框）：这个元素在屏幕上的精确坐标是什么？
• 文本内容：这个元素上写着什么文字？
• 层级结构：这个元素在界面中处于什么层级？它和周围的元素是什么关系？
• 功能属性：这个元素是可点击的、可编辑的还是纯展示的？

基于这些数据，UI-TARS 被训练执行以下五类感知任务：

• 元素描述（Element Description）：对单个界面元素进行细粒度的结构化描述，比如"屏幕中央偏左有一个蓝色的'提交'按钮"
• 密集标注（Dense Captioning）：对整个界面进行全局理解，描述界面的整体布局、空间关系和层次结构
• 状态转换标注（State Transition Captioning）：捕捉屏幕上细微的视觉变化，比如"点击按钮后，下方出现了一个加载动画"
• 视觉问答（Question Answering）：增强模型的视觉推理能力，比如"当前页面显示的是哪个城市的天气？"
• 标记提示（Set-of-Mark Prompting）：使用视觉标记将界面元素与特定的空间和功能上下文关联起来

这种基于视觉的感知方式意味着，UI-TARS 不依赖任何底层的 DOM 结构或辅助功能接口。即使面对一个全新的、从未见过的应用界面，它也能像人类一样通过"看"来理解。

在 ScreenSpot Pro 这个衡量模型 GUI 元素定位能力的基准测试中，UI-TARS-1.5 取得了 61.6% 的准确率，远超同期的其他模型。

3.2 统一动作建模：一套指令兼容全平台

理解了界面之后，接下来就是"动手"了。但不同平台的操作方式差异很大：Windows 上有右键菜单和快捷键组合，macOS 上有触控板手势，手机上有长按、滑动和多指操作。如何让同一个模型在所有平台上都能正确操作？

UI-TARS 的解决方案是设计了一个统一的动作空间（Unified Action Space）。

这个动作空间将不同平台上语义相同的操作抽象为统一的动作定义。具体来说，模型可以执行的基本动作类型包括：

click(start_box="坐标")        # 在指定坐标处点击
type(content="文本内容")        # 在当前输入框中输入文本
scroll(direction="方向")        # 在指定方向上滚动页面
hotkey(key="快捷键组合")        # 按下快捷键
long_press(start_box="坐标")   # 在指定坐标处长按（移动端）
drag(start_box="起点", end_box="终点")  # 从起点拖拽到终点
finished()                      # 标记任务完成

这些动作在不同平台上的底层实现可能不同（比如 Windows 上的点击和 Android 上的触摸在系统层面完全不一样），但对 UI-TARS 模型来说，它只需要输出统一格式的动作指令，由下层的操作器（Operator）负责将其转换为平台特定的系统调用。

为了训练模型学会正确地使用这些动作，研究团队收集了大规模的多步骤动作轨迹数据。这些轨迹记录了人类用户完成各种任务时的完整操作序列，涵盖了网页浏览、桌面应用操作和移动端 App 使用等场景。通过在这些数据上训练，UI-TARS 学会了如何将高层次的任务意图分解为一系列具体的低层次操作。

3.3 System-2 推理：不只是执行，更会"思考"

如果说感知和动作分别对应人类的"眼睛"和"手"，那么推理就是"大脑"。

UI-TARS 引入了一种受"双系统理论"启发的推理机制。在心理学中，System-1 指的是快速、直觉式的思维（比如看到红灯就停下），System-2 指的是慢速、深思熟虑式的思维（比如计算一道数学题）。

大多数早期的 GUI 自动化工具只有 System-1 式的反应能力——给定一个界面状态，直接输出下一个动作。但面对复杂任务时，这种"想都不想就做"的方式很容易出错。

UI-TARS 在每次执行动作之前，会先生成一段"思考"（Thought），这段思考过程类似于人类的内心独白，记录了模型当前的推理过程。这种思考包含以下几种模式：

• 任务分解：面对一个复杂的任务（比如"帮我在某电商平台找到评价最好的蓝牙耳机并加入购物车"），模型会先将其拆解为多个子任务——打开网站、搜索商品、按评价排序、浏览商品详情、添加到购物车
• 反思与纠错：如果某一步操作失败（比如点击了错误的位置，或者页面没有按预期加载），模型会回顾之前的操作，分析失败原因，尝试其他方法
• 里程碑识别：在多步骤任务执行过程中，模型会识别关键的中间节点，确认当前进度是否正常
• 前瞻规划：在执行当前步骤时，模型会提前考虑后续步骤需要什么信息或前置条件

让我们通过一个具体的思考过程来感受一下。假设用户要求 UI-TARS"在 VS Code 中安装 autoDocstring 扩展"，它的思考过程大致如下：

思考 1：要安装 VS Code 扩展，首先需要打开 VS Code 应用程序。当前屏幕上还没有 VS Code 窗口，我需要先找到并启动它。
动作 1：点击任务栏中的 VS Code 图标。

思考 2：VS Code 正在启动，但窗口还没有完全加载。我需要等待应用初始化完成，确保所有功能可用后再进行下一步操作。
动作 2：等待。

思考 3：VS Code 已经打开完毕。现在我需要进入扩展视图来搜索和安装扩展。可以通过点击左侧边栏的扩展图标来实现。
动作 3：点击左侧边栏的扩展图标。

思考 4：扩展面板已经打开，顶部有一个搜索框。我需要在搜索框中输入"autoDocstring"来查找目标扩展。
动作 4：在搜索框中输入"autoDocstring"。

这种"先想后做"的方式，使得 UI-TARS 在处理复杂、多步骤的任务时，成功率显著高于那些"不假思索"直接行动的模型。

在 UI-TARS 1.5 版本中，研究团队通过强化学习（Reinforcement Learning）进一步增强了模型的推理能力，使其在推理时间内的表现可以随着交互轮次的增加而持续提升——换句话说，它会"越用越聪明"。

3.4 反思式在线迭代训练：自动进化的"数据飞轮"

最后一个核心模块，也是 UI-TARS 最具创新性的部分——反思式在线迭代训练（Iterative Training with Reflective Online Traces）。

传统的 AI 模型训练是一次性的：收集数据 → 训练模型 → 部署上线。但 GUI 智能体面临一个独特的挑战：真实世界的界面在不断变化，用户的需求也千差万别。一个静态训练的模型，很快就会遇到它从未见过的场景。

UI-TARS 的解决方案是构建了一个自动化的"数据飞轮"：

• 自动探索：研究团队部署了数百台虚拟机，让 UI-TARS 在真实的操作系统环境中 7×24 小时不间断地自动执行各种任务
• 数据收集：每次任务执行的完整轨迹（包括屏幕截图、模型的思考过程、执行的动作、任务的成功或失败）都会被自动记录
• 质量筛选：通过自动化的评估机制，筛选出高质量的成功轨迹和有价值的失败案例
• 反思优化：对于失败的案例，模型会进行"反思"——分析哪里出了问题，正确的做法应该是什么。这些反思数据被重新纳入训练
• 模型更新：基于新收集的数据，模型进行增量训练，然后重新部署到虚拟机中，开始下一轮循环

到了 UI-TARS-2 版本（2025 年 9 月发布的技术报告），这个数据飞轮机制得到了进一步增强。团队构建了一个统一的沙箱平台，支持大规模并行的强化学习训练，采用完全异步的推理系统来提高训练效率。每一轮迭代，模型不仅在它之前表现不好的任务上变得更强，还能将学到的能力迁移到全新的任务场景中。

这意味着什么？简单来说：你今天遇到的问题，可能明天模型就学会了怎么解决。 这不是一个静态的工具，而是一个持续进化的智能系统。

四、版本演进：从 1.0 到 2.0 的三次飞跃

了解了核心技术之后，莫潇羽@复源AI社区 再带你回顾一下 UI-TARS 的版本演进历程。每个版本都代表着一次重大的能力提升。

4.1 UI-TARS 1.0（2025 年 1 月）

这是 UI-TARS 的初始版本，发表了首篇技术论文《UI-TARS: Pioneering Automated GUI Interaction with Native Agents》（论文地址：https://arxiv.org/abs/2501.12326 ）。

这个版本建立了整个框架的基础架构，包括前面详细介绍的四大核心模块。模型基于 Qwen2-VL 架构构建，提供了 7B 和 72B 两种参数规模的版本，在 10 多个 GUI 智能体基准测试中取得了当时的最优性能。

在 OSWorld 基准测试中，UI-TARS 1.0 在 15 步限制下取得了 22.7% 的成功率，50 步限制下取得了 24.6% 的成功率。在 AndroidWorld 手机自动化测试中取得了 46.6% 的成功率。

4.2 UI-TARS 1.5（2025 年 4 月）

1.5 版本是一次重要的能力升级，核心改进在于引入了强化学习来增强模型的高阶推理能力。

用通俗的话说，1.0 版本的 UI-TARS 更像是一个"模仿学习"出来的学生——它通过观察大量人类操作的示范数据，学会了如何操作界面。而 1.5 版本则加入了"试错学习"的环节——模型在虚拟环境中不断尝试、犯错、反思、改进，从而获得了更强的自主推理能力。

这使得 UI-TARS 1.5 具备了以下新特性：

• "先想后做"策略：模型在执行每个动作之前，都会先进行一段内部推理，然后再决定行动，这大幅提高了复杂任务的成功率
• 推理时间扩展（Inference-time Scaling）：随着允许的交互步数增加，模型的性能会持续提升，而不是像早期版本那样在一定步数后趋于饱和
• 游戏能力：1.5 版本首次展示了在游戏场景中的能力，作为验证模型推理和决策能力的新维度

研究团队开源了 UI-TARS-1.5-7B 模型，可以在 HuggingFace 上下载使用（地址：https://huggingface.co/ByteDance-Seed/UI-TARS-1.5-7B ）。

4.3 UI-TARS 2.0（2025 年 9 月）

2.0 版本代表了又一次跨越式的进步，发表了第二篇技术报告《UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning》（论文地址：https://arxiv.org/abs/2509.02544 ）。

这个版本的核心创新包括：

• 数据飞轮（Data Flywheel）：构建了一个可扩展的自动数据生成管线，持续为模型提供高质量的训练数据
• 稳定化的多轮强化学习框架：解决了传统批量式训练中的效率瓶颈和分布漂移问题，采用完全异步的在线服务模式推理架构
• 混合 GUI 环境：不再局限于纯粹的图形界面操作，而是集成了文件系统和终端操作能力，使模型可以执行更复杂的系统级任务
• 统一沙箱平台：为大规模并行训练提供了稳定的基础设施

在性能方面，UI-TARS-2 实现了全面的提升：

特别值得关注的是，当 UI-TARS-2 搭配 GUI-SDK 使用时，它不仅能操作图形界面，还能使用终端命令和文件系统，这使其在 BrowseComp-zh 等需要深度信息检索的任务上，成绩从 32.1%（仅 GUI 模式）提升至 50.5%（GUI + SDK 模式），提升幅度超过 18 个百分点。

五、动手实操：三种方式使用 UI-TARS

理论讲了很多，现在进入最实际的部分——如何上手使用 UI-TARS。莫潇羽@复源AI社区 根据不同用户群体，整理了三种使用方式。

5.1 方式一：使用 UI-TARS Desktop 桌面客户端（推荐新手）

这是最简单的上手方式。字节跳动团队打包了一个开箱即用的桌面应用程序，支持 Windows 和 macOS 两大平台。

第一步：下载安装

访问 GitHub 发布页面下载对应系统的安装包：

https://github.com/bytedance/UI-TARS-desktop/releases

如果你使用 macOS 并且安装了 Homebrew，也可以通过命令行安装：

brew install --cask ui-tars-desktop

安装包大小约几百 MB，下载后按照常规的应用安装流程操作即可。

第二步：配置模型服务

UI-TARS Desktop 本身是一个客户端，它需要连接一个后端的视觉语言模型（VLM）服务来提供"大脑"能力。你有以下几种配置选择：

选项 A：使用火山引擎的豆包模型（推荐国内用户）

这是最便捷的方式。你需要在火山引擎平台注册一个账号，获取 API Key，然后在 UI-TARS Desktop 的设置中按如下方式配置：

语言（Language）：cn
VLM Provider：VolcEngine Ark for Doubao-1.5-UI-TARS
VLM Base URL：https://ark.cn-beijing.volces.com/api/v3
VLM API KEY：你的 ARK_API_KEY
VLM Model Name：doubao-1.5-ui-tars-250328

选项 B：使用 HuggingFace 上的开源模型自建服务

如果你有 GPU 资源（建议至少一张显存 16GB 以上的显卡用于运行 7B 模型），可以在本地或服务器上部署模型。

首先，你需要使用 vLLM 或 SGLang 等推理框架来加载模型：

# 使用 vLLM 部署 UI-TARS-1.5-7B（示例）
pip install vllm
python -m vllm.entrypoints.openai.api_server \
    --model ByteDance-Seed/UI-TARS-1.5-7B \
    --trust-remote-code \
    --port 8000

然后在 UI-TARS Desktop 中配置：

VLM Provider：Hugging Face for UI-TARS-1.5
VLM Base URL：http://localhost:8000/v1
VLM API KEY：你的 HuggingFace Token
VLM Model Name：tgi

选项 C：使用兼容 OpenAI API 格式的其他服务

UI-TARS Desktop 的 VLM Base URL 支持任何兼容 OpenAI API 协议的端点，这意味着你也可以接入其他支持视觉理解的模型服务。

第三步：选择操作模式

UI-TARS Desktop 提供两种操作模式：

• Computer Operator（电脑操作模式）：控制你的本地桌面环境，可以操作任何桌面应用程序
• Browser Operator（浏览器操作模式）：专门控制浏览器（需要提前安装 Chrome、Edge 或 Firefox），适合网页相关的自动化任务

注意事项：UI-TARS Desktop 目前仅支持单显示器设置。如果你使用多显示器配置，某些任务可能无法正常执行。

第四步：开始使用

在聊天窗口中输入你的任务指令即可。比如：

帮我在浏览器中搜索"2025年AI领域最新进展"，并打开前三个搜索结果

你会看到两个选项卡：一个显示 UI-TARS 的"思考过程"（它正在分析什么、计划做什么），另一个显示它正在操作的实际界面。

5.2 方式二：使用 Agent TARS CLI 命令行工具（推荐开发者）

如果你更习惯命令行环境，或者想将 UI-TARS 集成到自动化流程中，可以使用 Agent TARS CLI。

快速启动

确保你的系统已安装 Node.js（建议 18.x 或更高版本），然后运行：

npx @agent-tars/cli@latest

首次运行时会提示你输入模型服务的配置信息（Base URL、API Key、Model Name）。配置完成后，你可以直接在终端中输入指令让 AI 开始操作你的电脑。

Agent TARS CLI v0.3.0（2025 年 11 月发布的最新版本）带来了以下新特性：

• 支持多种工具的流式输出（Shell 命令、多文件结构化显示）
• 运行时设置，包含工具调用和深度思考的计时统计
• Event Stream Viewer，用于数据流追踪和调试

结合 Web UI 使用

Agent TARS 不仅有 CLI 模式，还提供了一个 Web UI 界面，让你可以在浏览器中以更友好的方式与智能体交互。

5.3 方式三：使用 UI-TARS SDK 进行深度开发（推荐高级开发者）

如果你想将 GUI 智能体能力集成到自己的应用中，UI-TARS 提供了一个功能完善的 SDK——@ui-tars/sdk。

这个 SDK 支持在 Node.js 和浏览器环境中运行，提供了灵活的框架来构建 GUI 自动化智能体。

基本使用示例

import { GUIAgent } from '@ui-tars/sdk';

// 创建智能体实例
const agent = new GUIAgent({
  baseURL: 'http://localhost:8000/v1',  // 你的模型服务地址
  apiKey: 'your-api-key',
  model: 'ui-tars-1.5-7b'
});

// 执行任务
await agent.execute('打开Chrome浏览器，搜索天气预报');

自定义操作器（Operator）

SDK 的强大之处在于，你可以通过扩展 Operator 基类来定义自己的操作器，实现对任意设备或平台的控制：

import { Operator } from '@ui-tars/sdk/core';

class CustomOperator extends Operator {
  // 定义动作空间
  static MANUAL = {
    ACTION_SPACES: [
      'click(start_box="") # 在指定坐标处点击',
      'type(content="") # 在当前输入框中输入文本',
      'scroll(direction="") # 在指定方向上滚动页面',
      'finished() # 标记任务完成',
    ],
  };

  // 实现截屏功能
  async screenshot() {
    // 你自己的截屏逻辑
    const base64 = await captureScreen();
    return { base64, scaleFactor: 1 };
  }

  // 实现动作执行功能
  async execute(params) {
    // 你自己的动作执行逻辑
    const { action, coordinates } = params;
    await performAction(action, coordinates);
  }
}

这种设计使得 UI-TARS 的智能体能力可以被移植到几乎任何平台——桌面应用、移动设备、嵌入式系统，甚至是工业控制界面。

六、Midscene.js：UI-TARS 在 Web 自动化中的得力搭档

在讲 UI-TARS 的实际应用时，不得不提另一个配套的开源项目——Midscene.js（https://midscenejs.com/ ，GitHub 地址：https://github.com/web-infra-dev/midscene ）。

Midscene.js 是一个基于视觉语言模型驱动的跨平台 UI 自动化框架。它与 UI-TARS 模型深度整合，让开发者可以使用 JavaScript 和自然语言来控制浏览器和移动设备。

6.1 Midscene.js 的核心能力

Midscene.js 提供了三类核心 API：

• 交互 API（Interaction API）：用自然语言描述操作意图，框架会自动识别界面元素并执行操作。比如你可以写 await agent.click('登录按钮')，而不需要知道这个按钮的 CSS 选择器是什么
• 数据提取 API（Data Extraction API）：从界面和 DOM 中提取结构化数据。你可以用自然语言描述你想提取什么信息，框架会返回 JSON 格式的结果
• 断言 API（Utility API）：提供 aiAssert()、aiLocate()、aiWaitFor() 等工具函数，用于自动化测试中的智能断言

6.2 多平台支持

Midscene.js 不仅支持网页自动化，还支持：

• Web：集成 Puppeteer 或 Playwright，也支持 Bridge Mode 控制桌面浏览器
• Android：通过 adb 使用自然语言控制 Android 设备
• iOS：通过 WebDriver 使用自然语言控制 iOS 设备
• 任意界面：突破 DOM 和辅助功能接口的限制，对任何界面进行自动化

6.3 实际应用示例

下面是一个使用 Midscene.js 配合 UI-TARS 模型进行网页数据采集的示例（莫潇羽@复源AI社区 提供）：

import { Agent } from '@midscene/web';

const agent = new Agent();

// 第一步：导航到目标网站
await agent.navigate('https://example.com/products');

// 第二步：使用自然语言提取数据
const products = await agent.extract(
  '提取页面上所有产品的名称、价格和评分'
);

console.log(products);
// 输出类似：
// [
//   { name: "产品A", price: "¥99", rating: "4.8" },
//   { name: "产品B", price: "¥158", rating: "4.6" },
//   ...
// ]

// 第三步：执行交互操作
await agent.click('下一页按钮');

// 第四步：智能断言
await agent.aiAssert('当前页面显示的是第2页的产品列表');

6.4 Chrome 扩展：零代码体验

如果你不想写代码，Midscene.js 还提供了一个 Chrome 扩展（可以在 Chrome 网上应用店搜索"Midscene.js"），安装后可以直接在浏览器中通过自然语言控制网页，实现零代码的自动化体验。

6.5 MCP 集成

Midscene.js 还支持 MCP（Model Context Protocol，模型上下文协议）。它可以将自己的原子操作能力暴露为 MCP 工具，让上层的智能体（比如 Agent TARS）能够通过自然语言调用这些工具来检查和操作界面。

这意味着你可以将 UI-TARS 的 GUI 操作能力与 Slack、Notion、数据库等任何支持 MCP 协议的工具连接起来，构建更加复杂的自动化工作流。

七、性能评测：权威基准测试中的表现

作为一篇技术导向的文章，莫潇羽有必要给大家呈现 UI-TARS 在各个权威基准测试中的真实表现。以下数据来源于 UI-TARS 官方论文和 OSWorld 官方排行榜。

7.1 OSWorld：真实操作系统任务

OSWorld 是目前评估 GUI 智能体最权威的基准测试之一。它在真实的操作系统环境（Ubuntu、Windows、macOS）中设置了 369 个开放式计算机任务，涵盖网页浏览、文件管理、办公软件操作等多种场景。

UI-TARS 各版本在 OSWorld 上的表现：