2026/4/6 7:33:08
网站建设
项目流程
一个虚拟主机做2个网站,山东东营市广饶县,北京建设工程交易信息网官网,义乌市建设局官方网站Open-AutoGLM步骤详解#xff1a;从克隆仓库到首次运行全记录
1. 背景与核心价值
1.1 Open-AutoGLM#xff1a;智谱开源的手机端AI Agent框架
Open-AutoGLM 是由智谱AI推出的开源项目#xff0c;旨在构建一个可在移动端运行的AI智能体#xff08;Agent#xff09;框架。…Open-AutoGLM步骤详解从克隆仓库到首次运行全记录1. 背景与核心价值1.1 Open-AutoGLM智谱开源的手机端AI Agent框架Open-AutoGLM 是由智谱AI推出的开源项目旨在构建一个可在移动端运行的AI智能体Agent框架。该框架基于视觉语言模型VLM结合Android Debug BridgeADB实现对安卓设备的自动化控制。其核心目标是让AI具备“看懂屏幕、理解意图、自动操作”的能力从而成为真正意义上的手机端AI助手。与传统自动化脚本不同Open-AutoGLM 不依赖固定UI路径或硬编码规则而是通过多模态感知实时解析屏幕内容并结合大模型的推理能力动态规划操作路径。这种“感知-决策-执行”闭环使得系统能够适应界面变化、处理复杂交互流程极大提升了自动化任务的泛化能力和实用性。1.2 AutoGLM-Phone 的技术定位AutoGLM-Phone 是 Open-AutoGLM 框架的核心实现之一专为手机场景设计。它利用视觉语言模型理解当前屏幕状态如按钮位置、文本信息、布局结构并通过自然语言指令驱动整个操作流程。例如用户输入“打开小红书搜索美食”系统将自动完成以下动作解析语义意图识别“打开应用”、“关键词搜索”等子任务屏幕感知截图并分析当前界面元素动作规划决定点击、滑动、输入等操作序列执行控制通过 ADB 发送指令操控设备反馈验证确认操作结果是否符合预期。此外系统还内置了安全机制在涉及敏感操作如支付、权限授权时会暂停并提示人工确认支持在验证码、登录弹窗等不可控场景下进行人工接管。同时提供远程调试能力可通过WiFi连接设备便于开发测试和部署管理。2. 环境准备与依赖配置2.1 硬件与软件要求要成功部署 Open-AutoGLM 控制端并在真机上运行AI代理需满足以下基础环境条件类别要求操作系统Windows 10 或 macOS 12Python版本建议使用 Python 3.10 或更高版本安卓设备Android 7.0 及以上版本的手机或模拟器ADB工具必须安装并正确配置环境变量网络环境若使用远程连接需确保本地电脑与云服务器/手机处于同一局域网注意推荐使用虚拟环境如venv或conda隔离项目依赖避免与其他Python项目产生冲突。2.2 ADB 工具安装与配置ADBAndroid Debug Bridge是连接和控制安卓设备的关键工具。以下是不同平台下的配置方法。Windows 平台配置步骤下载 Android SDK Platform Tools 并解压。将解压后的文件夹路径添加至系统环境变量按Win R输入sysdm.cpl→ “高级” → “环境变量”在“系统变量”中找到Path点击“编辑”添加 platform-tools 所在目录路径如C:\platform-tools验证安装adb version若输出类似Android Debug Bridge version 1.xx.xx则表示配置成功。macOS 平台配置方式打开终端执行以下命令假设 platform-tools 解压在 Downloads 目录export PATH${PATH}:~/Downloads/platform-tools为永久生效可将上述命令写入 shell 配置文件如.zshrc或.bash_profileecho export PATH${PATH}:~/Downloads/platform-tools ~/.zshrc source ~/.zshrc再次运行adb version进行验证。3. 手机端设置与连接准备3.1 开启开发者选项与USB调试在安卓设备上启用调试功能是建立 ADB 连接的前提。进入设置 → 关于手机连续点击“版本号”7次直到提示“您已进入开发者模式”。返回设置主菜单进入开发者选项。启用USB调试部分厂商还需开启“USB安装”、“USB调试安全设置”等附加选项。提示某些品牌如小米、华为可能需要额外授权请根据提示允许电脑调试权限。3.2 安装 ADB Keyboard 输入法由于自动化过程中可能需要文本输入如搜索框、登录名而标准ADB无法直接调用软键盘因此需安装专用输入法访问 ADB Keyboard GitHub Release 页面 下载最新版 APK。将 APK 文件传输到手机并安装。进入设置 → 语言与输入法 → 默认键盘选择ADB Keyboard作为当前输入法。启用后可通过 ADB 命令发送文本adb shell am broadcast -a ADB_INPUT_TEXT --es msg hello world这将直接输入指定内容无需手动点击。4. 部署控制端代码与依赖安装4.1 克隆 Open-AutoGLM 仓库在本地电脑创建工作目录并拉取源码git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM该项目包含完整的客户端逻辑、ADB封装模块以及与云端模型通信的接口。4.2 安装 Python 依赖建议先创建虚拟环境python -m venv venv source venv/bin/activate # Linux/macOS # 或 venv\Scripts\activate # Windows然后安装项目依赖pip install -r requirements.txt pip install -e .其中-e .表示以可编辑模式安装当前包便于后续修改调试。常见问题若出现torch安装失败请访问 PyTorch官网 获取适配你系统的安装命令。5. 设备连接方式详解5.1 USB 连接模式推荐用于调试使用数据线将手机连接至电脑执行adb devices正常情况下输出如下List of devices attached ABCDEF1234567890 device若显示unauthorized请检查手机是否弹出“允许USB调试”对话框并点击“允许”。5.2 WiFi 远程连接模式适合无线部署当希望脱离数据线、实现远程控制时可使用 ADB over TCP/IP。步骤一通过USB启用TCP模式adb tcpip 5555此命令将设备监听在 5555 端口等待网络连接。步骤二断开USB使用IP连接获取手机局域网IP地址可在设置 → WLAN → 当前网络详情中查看然后执行adb connect 192.168.x.x:5555连接成功后再次运行adb devices应能看到设备ID及tcpip标记。优势支持跨房间、跨设备远程调试可用于无人值守自动化任务。6. 启动 AI 代理并执行任务6.1 命令行方式启动主程序一切准备就绪后即可启动 AI 代理并下发自然语言指令。python main.py \ --device-id 你的设备ID或IP:5555 \ --base-url http://云服务器IP:映射端口/v1 \ --model autoglm-phone-9b \ 打开抖音搜索抖音号为dycwo11nt61d 的博主并关注他参数说明参数说明--device-id通过adb devices获取的设备标识符支持物理ID或IP:端口格式--base-url指向运行 vLLM 或其他推理服务的公网地址格式为http://IP:PORT/v1--model指定使用的模型名称必须与后端注册的模型一致最后字符串用户输入的自然语言指令支持中文长句描述示例完整命令替换实际值python main.py \ --device-id 192.168.1.100:5555 \ --base-url http://47.98.123.45:8800/v1 \ --model autoglm-phone-9b \ 帮我打开微信进入设置清除缓存6.2 使用 Python API 实现远程连接管理对于集成到其他系统或批量控制多个设备的场景可使用内置的 Python 接口。from phone_agent.adb import ADBConnection, list_devices # 创建连接管理器 conn ADBConnection() # 连接远程设备 success, message conn.connect(192.168.1.100:5555) print(f连接状态: {message}) # 列出所有已连接设备 devices list_devices() for device in devices: print(f{device.device_id} - {device.connection_type.value}) # 在USB设备上启用TCP/IP方便后续无线调试 success, message conn.enable_tcpip(5555) if success: ip conn.get_device_ip() print(f设备 IP: {ip}) # 断开指定设备 conn.disconnect(192.168.1.100:5555)该API提供了更细粒度的控制能力适用于自动化测试平台、远程运维系统等工程化场景。7. 常见问题与排查建议7.1 连接类问题问题现象可能原因解决方案adb devices无设备显示USB调试未开启、驱动异常检查开发者选项重插数据线尝试更换线缆显示unauthorized未授权电脑调试手机端确认“允许USB调试”弹窗adb connect失败网络不通、端口未开放确保在同一局域网关闭防火墙或开放5555端口7.2 模型服务相关问题问题现象可能原因解决方案请求超时或返回空响应云服务器防火墙拦截检查安全组规则放行对应端口如8800返回乱码或格式错误vLLM 启动参数不匹配确认--max-model-len、--dtype等参数与模型兼容模型响应极慢GPU显存不足或batch过大调整--gpu-memory-utilization至0.8以下7.3 安全与稳定性建议敏感操作防护系统默认会在涉及支付、删除、权限变更等操作前暂停等待人工确认。人工接管机制遇到验证码、滑块验证、登录弹窗等情况可通过日志提示手动介入。定期重启ADB服务长时间运行可能导致 ADB 进程卡死建议定时执行adb kill-server adb start-server。8. 总结Open-AutoGLM 提供了一个完整且可扩展的手机端AI Agent实现方案融合了视觉语言模型的强大理解力与 ADB 的精确控制能力。本文详细记录了从环境搭建、代码部署、设备连接到最终运行的全流程涵盖 USB 与 WiFi 两种连接模式并提供了命令行与 Python API 两种调用方式。通过本指南开发者可以快速上手该项目将其应用于自动化测试、辅助操作、无障碍服务、远程运维等多个实际场景。未来随着多模态模型能力的持续提升此类AI代理有望进一步逼近“通用手机助手”的理想形态。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。