Vision MCP Server

为 CatPawAI 等 IDE 中的纯文本模型（GLM-5.2、DeepSeek 等）添加视觉能力。

通过 ModelScope Qwen3.5-122B-A10B 视觉模型，让文本模型能够"看"图片 — 分析截图、提取文字、诊断错误、理解 UI、解读图表。

工作原理

用户截图/图片 → CatPawAI 文本模型 → 调用 MCP 视觉工具 → MCP 服务器
                                                          ↓
                                                  ModelScope 视觉模型 API
                                                          ↓
                                                  返回图像文本描述
                                                          ↓
                                        文本模型基于描述进行推理和回答

提供的工具

安装

1. 克隆并安装

cd g:\Code_Warehouse\CatPawAI_glm_version\vision-mcp

# 创建虚拟环境
python -m venv .venv

# Windows
.venv\Scripts\activate
# macOS/Linux
source .venv/bin/activate

# 安装
pip install -e .

2. Windows 额外依赖

Windows 下剪贴板功能需要 pywin32：

pip install pywin32

3. 配置 API Key

在 MCP 客户端配置中设置环境变量：

{
  "VISION_API_KEY": "ms-aacc6c05-74a0-438b-a65a-b94407b5659a",
  "VISION_BASE_URL": "https://api-inference.modelscope.cn/v1",
  "VISION_MODEL": "Qwen/Qwen3.5-122B-A10B"
}

CatPawAI 配置

在 CatPawAI 的 MCP 配置中添加：

{
  "mcpServers": {
    "vision-mcp": {
      "command": "g:\\Code_Warehouse\\CatPawAI_glm_version\\vision-mcp\\.venv\\Scripts\\python.exe",
      "args": ["-m", "vision_mcp.server"],
      "env": {
        "VISION_API_KEY": "ms-aacc6c05-74a0-438b-a65a-b94407b5659a",
        "VISION_BASE_URL": "https://api-inference.modelscope.cn/v1",
        "VISION_MODEL": "Qwen/Qwen3.5-122B-A10B"
      }
    }
  }
}

使用示例

安装并配置后，在 CatPawAI 对话中直接使用：

• 截屏后提问："帮我看看剪贴板里的截图有什么问题" → 自动调用 analyze_clipboard
• 分析图片文件："分析一下 C:/Users/screenshot.png 这张图" → 自动调用 analyze_image
• 提取文字："提取 error.png 里的文字" → 自动调用 extract_text
• 诊断错误：截屏报错后 → "帮我诊断这个错误" → 自动调用 diagnose_error
• UI 转代码：截屏 UI 后 → "把这个界面转成 React 代码" → 自动调用 ui_to_code

环境变量

技术栈

• MCP SDK: mcp (Model Context Protocol Python SDK v2)
• 视觉模型: ModelScope Qwen3.5-122B-A10B (OpenAI 兼容 API)
• 图像处理: Pillow
• 剪贴板: pywin32 (Windows) / pngpaste (macOS) / xclip (Linux)
• 传输方式: stdio

支持的图像格式

PNG, JPG, JPEG, GIF, BMP, WEBP, TIFF

限制

• 单张图像最大 20 MB（超过自动压缩）
• 大图自动压缩到 2048px 长边
• API 请求超时 120 秒，最多重试 2 次