2026/5/21 19:51:27
网站建设
项目流程
石家庄做网站邮箱电话,dede本地搭建网站,出售app软件的平台,视频网站VIP卡怎么做赠品如何定制Open-AutoGLM系统提示词#xff1f;自定义指令教程
随着AI智能体在移动端的应用日益广泛#xff0c;Open-AutoGLM作为智谱AI开源的手机端AI Agent框架#xff0c;凭借其强大的多模态理解与自动化执行能力#xff0c;正在成为开发者和研究者构建个性化手机助手的重…如何定制Open-AutoGLM系统提示词自定义指令教程随着AI智能体在移动端的应用日益广泛Open-AutoGLM作为智谱AI开源的手机端AI Agent框架凭借其强大的多模态理解与自动化执行能力正在成为开发者和研究者构建个性化手机助手的重要工具。该系统基于视觉语言模型VLM通过ADB控制安卓设备用户只需输入自然语言指令如“打开小红书搜索美食”即可自动解析意图、识别界面并完成操作流程。然而标准配置下的系统提示词System Prompt虽然通用性强但在特定场景下可能无法满足专业需求或安全策略要求。例如在企业级应用中需要限制访问某些敏感App或在教育类任务中增强对学习类应用的理解能力。此时定制化系统提示词就显得尤为重要。本文将深入讲解如何修改和优化Open-AutoGLM的系统提示词帮助你实现更精准的任务规划、更强的领域适应性以及更高的安全性控制。1. 系统提示词的作用机制1.1 什么是系统提示词系统提示词是大模型在处理用户请求前被预设的引导性文本用于定义模型的角色、行为规范、输出格式及功能边界。在Open-AutoGLM中系统提示词不仅决定了Agent的“人格”设定还直接影响其对屏幕内容的理解方式操作路径的规划逻辑支持的应用范围安全确认机制的触发条件多语言支持的行为差异默认情况下系统提示词位于项目目录中的phone_agent/prompts/文件夹下主要包含两个文件system_prompt_cn.txt中文环境使用的系统提示词system_prompt_en.txt英文环境使用的系统提示词当调用PhoneAgent时若未显式指定语言参数默认加载中文提示词。1.2 提示词如何影响决策链以指令“打开抖音并关注博主dycwo11nt61d”为例模型需经历以下推理过程意图识别判断目标为“社交媒体操作”应用启动决定启动“抖音”App路径规划根据当前界面状态选择点击、滑动等动作输入执行使用ADB Keyboard输入账号名最终操作定位“关注”按钮并点击这一整套决策链的背后是由系统提示词预先设定的规则所驱动的。例如提示词中若明确列出“抖音属于允许操作的社交应用”则模型会优先信任该App反之若被标记为“受限应用”则会触发人工确认流程。2. 自定义系统提示词的实践步骤2.1 准备工作获取源码与依赖首先确保已克隆并安装 Open-AutoGLM 控制端代码git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM pip install -r requirements.txt pip install -e .进入提示词配置目录cd phone_agent/prompts ls # 输出应包含 # system_prompt_cn.txt system_prompt_en.txt2.2 修改系统提示词的核心结构打开system_prompt_cn.txt可以看到一个典型的结构如下你是一个运行在手机上的AI智能助理能够通过观察屏幕和自然语言指令来帮助用户完成任务。 你的能力包括 - 启动应用程序 - 点击屏幕上可见的元素 - 输入文本通过ADB键盘 - 滑动、返回、回到桌面等基础操作 - 在必要时请求人工接管 你可以操作以下类别的应用 社交通讯、电商购物、美食外卖、出行旅游、视频娱乐、音乐音频、生活服务、内容社区 禁止执行涉及支付、转账的操作所有敏感操作必须请求用户确认。可修改的关键部分包括部分修改建议角色定义调整语气风格如更正式/更口语化功能列表增加新操作类型如截图、录屏应用白名单添加或删除支持的应用类别安全策略强化敏感操作拦截规则输出格式明确思考过程的表达结构2.3 实战案例构建“办公助手”专用Agent假设我们要创建一个专用于办公场景的AI助手仅支持微信、钉钉、WPS Office 和浏览器并禁用所有娱乐类App。步骤一备份原始文件cp system_prompt_cn.txt system_prompt_cn_official.bak步骤二编辑新提示词新建文件system_prompt_cn_office.txt你是一个专注于办公效率提升的AI手机助手运行在Android设备上能够协助用户处理日常工作事务。 你的核心职责是 - 快速响应消息通知 - 查阅文档与邮件 - 记录待办事项 - 协助填写表单信息 - 执行非娱乐性质的自动化任务 你只能操作以下应用 - 微信仅限文件传输助手、工作群 - 钉钉打卡、审批、消息发送 - WPS Office查看PDF、Word文档 - Chrome / Safari 浏览器查阅资料 禁止操作任何短视频、游戏、直播类应用。 所有涉及个人信息上传或权限申请的操作必须请求人工接管。 每次执行前请先描述你的行动计划并等待隐式确认。步骤三在代码中加载自定义提示词由于Open-AutoGLM目前不直接支持命令行切换提示词文件我们需要在Python API层面进行扩展。创建custom_agent.pyfrom phone_agent import PhoneAgent from phone_agent.model import ModelConfig import os class CustomPhoneAgent(PhoneAgent): def __init__(self, model_config: ModelConfig, prompt_file: str None): super().__init__(model_configmodel_config) if prompt_file and os.path.exists(prompt_file): with open(prompt_file, r, encodingutf-8) as f: self.system_prompt f.read().strip() # 使用自定义提示词 model_config ModelConfig( base_urlhttp://localhost:8000/v1, model_nameautoglm-phone-9b ) agent CustomPhoneAgent( model_configmodel_config, prompt_file./phone_agent/prompts/system_prompt_cn_office.txt ) result agent.run(打开钉钉完成今日考勤打卡) print(result)运行后你会发现Agent不再尝试进入抖音或微博且对非办公类请求表现出拒绝倾向。3. 高级技巧动态提示词注入与上下文增强3.1 动态替换提示词字段为了实现更灵活的控制可以设计模板化的系统提示词利用占位符实现运行时注入。示例模板system_prompt_template.txt你是{{role}}运行在手机上的AI助手。 你的权限范围包括{{allowed_apps}} 禁止操作{{blocked_apps}} 安全策略{{security_policy}}在程序中使用Jinja2渲染from jinja2 import Template with open(system_prompt_template.txt, r, encodingutf-8) as f: template_str f.read() template Template(template_str) rendered_prompt template.render( role企业合规办公助手, allowed_apps钉钉、企业微信、WPS、Chrome, blocked_apps抖音、快手、淘宝、京东, security_policy所有网络请求需记录日志上传操作必须人工确认 )3.2 结合外部知识库增强语义理解对于特定行业术语如医疗、金融可在提示词中加入术语解释段落提升模型理解准确性。例如在银行内部使用的版本中添加术语说明 - “掌银”指中国农业银行手机银行App - “转账复核”需双人确认不得由AI单独完成 - “U盾”为物理认证设备AI无法模拟操作这样即使用户说“打开掌银转账”模型也能正确识别并提示人工介入。4. 安全与调试建议4.1 敏感操作防护机制尽管系统提示词可声明“禁止支付”但模型仍可能存在幻觉风险。建议结合代码层双重校验def on_sensitive_action(action: str, app: str): sensitive_keywords [支付, 付款, 转账, 购买] blocked_apps [支付宝, 微信支付] if any(kw in action for kw in sensitive_keywords) or app in blocked_apps: print(f[警告] 检测到敏感操作{action} {app}) return False # 返回False表示阻断执行 return True # 注册回调函数 agent.set_callback(before_action, on_sensitive_action)4.2 开启Verbose模式查看提示词效果启用详细日志输出观察模型是否遵循自定义提示词python main.py --verbose --base-url http://localhost:8000/v1 打开WPS阅读年度报告输出中应能看到类似[思考] 用户要求打开WPS阅读文件。WPS属于允许操作的办公应用符合当前角色设定。 [计划] 1. 启动WPS Office2. 寻找最近文档区域3. 点击标题含“年度报告”的条目。这表明提示词中的角色定义已被有效激活。5. 总结通过本文的系统性介绍我们掌握了如何深度定制Open-AutoGLM的系统提示词从而打造符合特定业务需求的AI手机助手。关键要点总结如下理解机制系统提示词是决定Agent行为模式的核心配置影响从意图识别到动作执行的全过程。实践路径可通过修改system_prompt_cn.txt文件实现基础定制并结合Python API实现运行时加载。场景适配针对办公、教育、企业等不同场景可设计专用提示词以提升专业性和安全性。安全加固提示词应与代码层权限控制相结合防止模型越权操作。持续优化利用模板引擎和外部知识注入实现提示词的动态化与智能化管理。未来随着更多开发者参与贡献Open-AutoGLM有望支持命令行参数直接指定提示词文件如--prompt-file custom.txt进一步降低定制门槛。掌握提示词工程意味着你不仅能“使用”AI Agent更能真正“塑造”它——这是迈向自主可控AI系统的关键一步。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。