x-scraper-tool 0.1.0

A tool for scraping user data from X (Twitter)

X (Twitter) Scraper

基于 twscrape 的 X (Twitter) 数据爬取工具，支持用户资料、推文、粉丝列表和互动数据的抓取，输出为 JSON 或 CSV。

功能

• 用户资料（profile）爬取
• 用户推文时间线（最多 3200 条，X API 硬限制）
• 粉丝列表（followers）和关注列表（following）
• 推文回复（replies）和转推用户（retweeters）
• 多账号自动轮换，cookie 导入绕过 CAPTCHA
• JSON / CSV 双格式输出

前置条件

• Python >= 3.11
• uv 包管理器
• 至少一个 X 账号的 cookie（非主账号）

安装

git clone https://github.com/ChaNg1o1/x-scraper.git
cd x-scraper
uv sync

配置

复制示例配置并填入你的账号 cookie：

cp config.example.toml config.toml

编辑 config.toml：

[scraper]
output_dir = "./output"
request_delay = 1.5
max_tweets = 3200

[[accounts]]
username = "your_account"
cookies = "ct0=YOUR_CT0; auth_token=YOUR_AUTH_TOKEN"
# proxy = "http://user:pass@host:port"  # 可选

获取 Cookie

1. 在浏览器中登录 X
2. 打开 DevTools（F12）-> Application -> Cookies -> https://x.com
3. 复制 ct0 和 auth_token 的值

使用方法

# 爬取用户全部数据（资料 + 推文 + 粉丝 + 关注）
x-scraper scrape --user elonmusk --all

# 只爬取推文和粉丝
x-scraper scrape --user elonmusk --tweets --followers

# 爬取推文互动数据
x-scraper scrape --tweet 1234567890 --replies --retweeters

# 指定输出格式为 CSV
x-scraper scrape --user elonmusk --all --format csv

# 限制爬取数量
x-scraper scrape --user elonmusk --tweets --limit 100

# 使用指定配置文件
x-scraper scrape --config ./my_config.toml --user elonmusk --all

# 查看已配置账号
x-scraper accounts

输出结构

output/
  {username}/
    profile.json
    tweets.json
    followers.json
    following.json
  tweet_{id}/
    replies.json
    retweeters.json

项目结构

x-scraper/
  pyproject.toml
  config.example.toml
  src/x_scraper/
    cli.py          # CLI 入口（click）
    config.py       # TOML 配置加载
    auth.py         # 账号管理与 cookie 导入
    scraper.py      # 核心爬取逻辑
    models.py       # 数据模型（dataclass）
    export.py       # JSON/CSV 导出
  tests/
    test_models.py  # 数据模型单元测试

注意事项

• 请勿使用主账号，账号存在被封禁的风险
• X 的 ToS 禁止未授权的自动化访问，请自行承担使用风险
• X 的反爬策略大约每 2-4 周变更，工具可能需要随之调整
• 本工具已内置对 twscrape xclid 脚本解析错误的 monkey-patch 修复（vladkens/twscrape#284）

许可证

MIT