autoglm-gui 0.3.0

Web GUI for AutoGLM Phone Agent - AI-powered Android automation

AutoGLM-GUI

AutoGLM 手机助手的现代化 Web 图形界面 - 让 AI 自动化操作 Android 设备变得简单

✨ 特性

• 对话式任务管理 - 通过聊天界面控制 Android 设备
• 实时屏幕预览 - 基于 scrcpy 的低延迟视频流，随时查看设备正在执行的操作
• 直接操控手机 - 在实时画面上直接点击操作，支持精准坐标转换和视觉反馈
• 零配置部署 - 支持任何 OpenAI 兼容的 LLM API
• ADB 深度集成 - 通过 Android Debug Bridge 直接控制设备

📸 界面预览

任务开始

任务执行完成

🚀 快速开始

🎯 模型服务配置

AutoGLM-GUI 只需要一个 OpenAI 兼容的模型服务。你可以：

• 使用官方已托管的第三方服务
  • 智谱 BigModel：--base-url https://open.bigmodel.cn/api/paas/v4，--model autoglm-phone，--apikey <你的 API Key>
  • ModelScope：--base-url https://api-inference.modelscope.cn/v1，--model ZhipuAI/AutoGLM-Phone-9B，--apikey <你的 API Key>
• 或自建服务：参考上游项目的部署文档用 vLLM/SGLang 部署 zai-org/AutoGLM-Phone-9B，启动 OpenAI 兼容端口后将 --base-url 指向你的服务。

示例：

# 使用智谱 BigModel
pip install autoglm-gui
autoglm-gui \
  --base-url https://open.bigmodel.cn/api/paas/v4 \
  --model autoglm-phone \
  --apikey sk-xxxxx

# 使用 ModelScope
pip install autoglm-gui
autoglm-gui \
  --base-url https://api-inference.modelscope.cn/v1 \
  --model ZhipuAI/AutoGLM-Phone-9B \
  --apikey sk-xxxxx

# 指向你自建的 vLLM/SGLang 服务
pip install autoglm-gui
autoglm-gui --base-url http://localhost:8000/v1 --model autoglm-phone-9b

前置要求

• Python 3.10+
• 已开启 USB 调试的 Android 设备
• 已安装 ADB 并添加到系统 PATH
• 一个 OpenAI 兼容的 API 端点

快捷运行（推荐）

无需手动准备环境，直接安装运行：

# 通过 pip 安装并启动
pip install autoglm-gui
autoglm-gui --base-url http://localhost:8080/v1

也可以使用 uvx 免安装启动（需已安装 uv，安装教程）：

uvx autoglm-gui --base-url http://localhost:8080/v1

传统安装

# 从源码安装
git clone https://github.com/your-repo/AutoGLM-GUI.git
cd AutoGLM-GUI
uv sync

# 构建前端（必须）
uv run python scripts/build.py

# 启动服务
uv run autoglm-gui --base-url http://localhost:8080/v1

启动后，在浏览器中打开 http://localhost:8000 即可开始使用！

📖 使用说明

AI 自动化模式

1. 连接设备 - 启用 USB 调试并通过 ADB 连接设备
2. 对话 - 描述你想要做什么（例如："去美团点一杯霸王茶姬的伯牙绝弦"）
3. 观察 - Agent 会逐步执行操作

手动控制模式

除了 AI 自动化，你也可以直接在实时画面上操控手机：

1. 实时画面 - 界面右侧显示手机屏幕的实时视频流（基于 scrcpy）
2. 点击操作 - 直接点击画面中的任意位置，操作会立即发送到手机
3. 视觉反馈 - 每次点击都会显示涟漪动画和成功提示
4. 精准转换 - 自动处理屏幕缩放和坐标转换，确保点击位置准确

技术细节：

• 使用 scrcpy 提供低延迟（~30-50ms）的 H.264 视频流
• 前端自动获取设备实际分辨率（如 1080x2400）
• 智能处理视频流缩放（如 576x1280）与设备分辨率的映射
• 支持 letterbox 黑边的精确坐标计算

🛠️ 开发指南

# 后端开发（自动重载）
uv run autoglm-gui --base-url http://localhost:8080/v1 --reload

# 前端开发服务器
cd frontend && pnpm dev

# 构建完整包
uv run python scripts/build.py --pack

📝 开源协议

Apache License 2.0

🙏 致谢

本项目基于 Open-AutoGLM 构建，感谢 zai-org 团队在 AutoGLM 上的卓越工作。