引言：移动端自动化测试的“DOM 陷阱”

在移动端自动化测试与底层交互领域，开发者们长期依赖 AccessibilityService 或 UIAutomator 框架来获取界面的 XML 节点树。然而，随着跨平台自绘引擎（如 Flutter、React Native）的普及，以及日益复杂的动态 UI 布局，基于 DOM 树解析的自动化脚本变得极其脆弱。

应用界面的微小改版、非预期的业务弹窗，都会导致预设的 XPath 失效，抛出 

，极大地增加了后期的代码维护成本。

如何在不依赖底层代码节点的前提下，构建高鲁棒性的自动化交互基建？在近期的 OpenClaw（开放执行生态）技术社区讨论中，基于端侧视觉大模型的 Mobile Agent 架构成为了一个新的技术共识。本文将分享笔者在个人的极客实验室（项目代号：侠客工坊）中，利用端侧视觉引擎重构移动端自动化的架构探索。

一、 核心架构重构：从节点解析到端侧视觉感知

要摆脱对 UI 节点的依赖，最直接的工程解法是让自动化程序直接“看懂”屏幕像素。但考虑到云端 API 调用的极高网络延迟，我们将轻量级的计算机视觉（CV）与 OCR 模型直接下沉到了 Android 终端本地（Edge Computing）。

在这一环节的异构计算选型上，

通过将视觉模型进行 INT8 极致量化，并对接 NCNN 的 Vulkan 硬件加速接口，我们将繁重的矩阵乘法运算从 CPU 卸载至 GPU。在测试环境中，一台普通的 Android 测试机也能在 80 毫秒内，将复杂的屏幕截图推理为一张结构化的“视觉语义映射图（Visual Semantic Graph）”。

以下是引擎底层 JNI 初始化 NCNN 的核心逻辑简化片段：

#include <jni.h>
#include <android/bitmap.h>
#include "net.h" // 引入 NCNN 核心库

static ncnn::Net* cv_agent_net = nullptr;

extern "C" JNIEXPORT jboolean JNICALL
Java_com_xiake_agent_VisionEngine_initVulkan(JNIEnv *env, jobject thiz, jstring modelDir) {
    if (cv_agent_net == nullptr) {
        cv_agent_net = new ncnn::Net();
        
        // 开启 Vulkan 硬件加速与半精度计算，极大降低端侧功耗
        cv_agent_net->opt.use_vulkan_compute = true; 
        cv_agent_net->opt.use_fp16_arithmetic = true; 
        
        const char *dir = env->GetStringUTFChars(modelDir, 0);
        std::string param_path = std::string(dir) + "/cv_agent.param";
        std::string bin_path = std::string(dir) + "/cv_agent.bin";
        
        // 加载量化后的视觉目标检测模型
        cv_agent_net->load_param(param_path.c_str());
        cv_agent_net->load_model(bin_path.c_str());
        
        env->ReleaseStringUTFChars(modelDir, dir);
        return JNI_TRUE;
    }
    return JNI_FALSE;
}


二、 流程控制流：视觉状态机 (VSM) 的引入

传统脚本是线性的，缺乏上下文感知。为此，我们在执行层引入了视觉状态机（Visual State Machine）。

端侧引擎高频采样屏幕，实时评估当前的“状态上下文”。Agent 不再机械执行“下一步”，而是基于视觉特征进行状态匹配：

这种基于视觉反馈的闭环控制，赋予了底层自动化引擎惊人的自愈能力。

三、 OS 级事件注入：零侵入的交互实现

在计算出目标控件的屏幕坐标后，最后一步是执行物理交互。

为了保证测试环境的纯净度和系统的安全沙箱不被破坏，“侠客工坊”的架构抛弃了高侵入性的 Hook 注入方案。我们选择在操作系统的硬件抽象层（HAL）与 Input Subsystem 之间进行适配。

。为了拟合真实的物理交互，事件构造器引入了贝塞尔曲线（Bézier curve）来生成非线性的滑动轨迹，并加入高斯随机抖动以模拟物理接触面积的微小变化。在应用层看来，这完全是一次标准的硬件级触摸事件，实现了彻底的“零侵入”。

将端侧 AI 推理（如 NCNN）与底层事件驱动相结合，移动端自动化的基建正在从“基于规则的代码执行”向“基于感知的自主执行”演进。

在探索 OpenClaw 开放生态的过程中，这种架构展现出了极大的工程潜力。未来，随着移动端 NPU 算力的进一步释放，端侧 Agent 必将在自动化测试、跨设备协同等领域发挥更为底层的基础设施作用。期待与社区各位开发者就移动端异构计算与 AI 落地进行更多深入探讨。

【架构实践】基于 NCNN 的端侧视觉 Agent 引擎设计与 Android 落地

人工智能

架构设计

客户端

本文探讨移动端自动化测试新方案，通过端侧视觉引擎替代传统DOM解析，利用NCNN框架实现本地AI推理，构建视觉状态机提升鲁棒性，采用OS级事件注入确保零侵入。该架构突破传统自动化测试局限，实现基于感知的自主执行，为移动端自动化领域带来革新。

计算机视觉

网络延迟

Android

Flutter

Agent

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

【架构实践】基于 NCNN 的端侧视觉 Agent 引擎设计与 Android 落地

【架构实践】基于 NCNN 的端侧视觉 Agent 引擎设计与 Android 落地

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐