mmkg-mm-hoi-detection 0.1.3

MMKG Models

人-物交互关系检测使用说明

1. 算法描述

该算法用于人-物交互关系检测，检测图像内部细粒度人-物三元组列表。该算法基于PyTorch框架开发，输入文本与图像，输出人-物三元组关系列表及概率。

2. 依赖及安装

CUDA版本: 11.3 其他依赖库的安装命令如下：

conda install pytorch==1.9.0 torchvision==0.10.0 cudatoolkit=11.3

可使用如下命令下载安装算法包：

pip install -U mmkg-mm-hoi-detection

3. 使用示例及运行参数说明

from mmkg_mm_hoi_detection import MMHOIDetection
from PIL import Image
ckpt_path =  '***.pth'
model = MMHOIDetection(ckpt_path)
img_path = '***.jpg'
img = Image.open(img_path)
res,_ = model.inference(img,output_path='')

4. 论文

@article{liao2022gen,
  title={GEN-VLKT: Simplify Association and Enhance Interaction Understanding for HOI Detection},
  author={Liao, Yue and Zhang, Aixi and Lu, Miao and Wang, Yongliang and Li, Xiaobo and Liu, Si},
  journal={arXiv preprint arXiv:2203.13954},
  year={2022}
}