parsehub 1.0.4

支持AI总结的社交媒体聚合解析器

ParseHub

支持AI总结的社交媒体聚合解析器

视频总结会调用 whisper-1 模型

支持的平台:
Twitter 视频|图文
Instagram 视频|图文
微博 视频|图文
贴吧 视频|图文
小红书 视频|图文
Youtube 视频|音乐
Facebook 视频
Bilibili 视频|动态
抖音|TikTok 视频|图文
......

安装

pip install parsehub

安装yt-dlp: wiki

---

[!IMPORTANT]

注意

Linux用户在导入skia-python包时可能会遇到以下报错

libGL.so.1: cannot open shared object file: No such file or directory

Windows用户在缺少Microsoft Visual C++ Runtime时可能会遇到以下报错

ImportError: DLL load failed while importing skia: The specified module could not be found.

解决方法

ubuntu用户

apt install libgl1-mesa-glx

ArchLinux用户

pacman -S libgl

centos用户

yum install mesa-libGL -y

Windows用户

下载链接Microsoft Visual C++ 2015 Redistributable Update 3 RC

使用

from parsehub import ParseHub
from parsehub.config import ParseConfig, DownloadConfig
import asyncio


async def main():
    ph = ParseHub(config=ParseConfig())
    result = await ph.parse('https://twitter.com/aobuta_anime/status/1827284717848424696')
    print(result)

    # dr = await result.download()
    # print(dr.media)
    # sr = await dr.summary()
    # await dr.delete()

    sr = await result.summary(download_config=DownloadConfig())
    print(sr.content)


if __name__ == '__main__':
    asyncio.run(main())

环境变量

名称	描述	默认值
PROVIDER	模型提供商, 暂只支持openai	openai
API_KEY	API Key
BASE_URL	API 地址	https://api.openai.com/v1
MODEL	AI总结使用的模型	gpt-4o-mini
PROMPT	AI总结提示词	You are a useful assistant to summarize the main points of articles and video captions. Summarize 3 to 8 points in "Simplified Chinese" and summarize them all at the end.

参考项目

• Evil0ctal/Douyin_TikTok_Download_API
• BalconyJH/DynRender-skia
• langchain-ai/langchain
• yt-dlp/yt-dlp
• instaloader/instaloader
• JoeanAmier/XHS-Downloader