page-eyes 0.2.4

PageEyes Agent 是一个轻量级 UI Agent，通过自然语言指令驱动，无需编写脚本既可实现Web、Android平台的UI自动化任务。

PageEyes Agent

PageEyes Agent 是基于 Pydantic AI 框架开发的一个轻量级 UI Agent， 其中元素信息感知能力依靠 OmniParserV2 模型，整个 Agent 的优势在于不依赖视觉语言大模型， 即使小参数的 LLM 也能胜任路径规划能力，同时支持多平台（Web、Android），目前主要包含以下功能：

1. 完全由自然语言指令驱动，无需编写脚本，既可实现自动化测试，UI巡检等任务
2. 跨平台、夸端支持，在 Python 环境中安装 page-eyes 库和配置 OmniParser 服务后即可开始 Web、Android 平台的自动化任务，未来还将继续支持iOS平台
3. 支持多种大模型接入，包括DeepSeek、OpenAI、千问等，默认使用 DeepSeek V3 模型，后续会支持更多大模型接入
4. 可通过自然语言进行断言，并生成详细的执行日志和报告，方便测试人员查看执行过程和结果

---

安装

pip install page-eyes

快速开始

配置环境变量

环境变量	默认值	说明
AGENT_MODEL	openai:deepseek-v3	使用的AI模型，当前设置为deepseek-v3
AGENT_DEBUG	False	是否启用调试模式
AGENT_HEADLESS	False	是否使用无头模式
AGENT_LOG_GRAPH_NODE	False	是否记录图节点日志
AGENT_OMNI_KEY	test-UfcWMpXW	Omni服务的认证密钥
OPENAI_BASE_URL	http://deepseek.tmeoa.com/v1/	DeepSeek API的服务端点
OPENAI_API_KEY	a22a37d7-xxx	调用DeepSeek API所需的认证密钥
COS_SECRET_ID	xxx	腾讯云COS服务的Secret ID
COS_SECRET_KEY	xxx	腾讯云COS服务的Secret Key

使用示例

import asyncio

from page_eyes.agent import WebAgent, MobileAgent


async def main():
    # Web 端
    ui_agent = await WebAgent.create(simulate_device='iPhone 15 Pro')

    # 移动端
    # ui_agent = await MobileAgent.create(serial='android-udid')

    report = await ui_agent.run(
        ('1.打开 url "https://yobang.tencentmusic.com/chart/uni-chart/rankList/"\n'
         '2.点击"查找icon"\n'
         '3.在搜索输入框中输入"小美满"\n'
         '4.点击"小美满> "\n'
         '5.点击"日榜"'
         ))


if __name__ == "__main__":
    asyncio.run(main())