use pure attention implement cv/nlp backbone
Project description
介绍
attention 在 cv 和 nlp 领域都有很多的应用,比如在 cv 中,可以使用 detr 进行目标检测任务,使用 vit / mae 进行图片预训练任务。
在 nlp 领域中的作用更不用提, bert 以及后续的更多工作将 attention 彻底的发扬光大。
cv 和 nlp 中的很多方法和技巧也在相互影响,比如大规模的预训练、mask 的设计(mae 、vilbert)、自监督学习的设计(从 imageNet 做有监督的预训练到纯粹的自监督预训练)。
这些方面都非常的有趣,我希望可以设计一个 backbone 结构,让其可以在 cv 任务和 nlp 任务上均取到 sota 的效果。
从而为之后的任务提供一个 baseline。
目标
提供一套完整的的基础算法服务
1、python 训练任务,包含 NLP 和 CV 任务。
2、java 环境下使用 onnx 的在线推理部署。
todo
第一阶段:实现 NLP 和 CV 的典型任务,并评估下游效果。
-
Pytorch 实现 Transformer 的 encode 阶段,并实现 bert ;
参考 transformers 的设计,但只保留与关键 encode 相关的代码,简化代码量。 保持与原始 huggingface encode 的结果一致, 使用方法和一致性校验可以参考 backbone_bert 。
- 提供 transformers 中 bert-base-chinese 、chinese-roberta-wwm-ext 、chinese-roberta-wwm-ext-large 、ernie 1.0 的国内下载镜像, 下载方式具体可参考 transformers国内下载镜像 。
-
Pytorch 实现 Transformer 的 decode 阶段,并实现 seq2seq 任务。
todo
-
NLP 下游任务 序列标注、分类 的实现,并在公开数据集上进行评估,这里主要是想证明实现的 backbone 效果是符合预期的;
todo
-
实现 Vit,并在下游任务上验证实现 Vit 的效果是否符合预期;
todo
第二阶段:增加 NLP 和 CV 的其余常见任务,扩增项目的能力范围。
- UNILM;
- MAE;
- GPT系列;
- seq2seq,搞一个翻译任务;
- 实现模型的 onnx export;
- 实现 java 下的 onnx 推理过程;
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
File details
Details for the file pure_attention-0.0.26.tar.gz
.
File metadata
- Download URL: pure_attention-0.0.26.tar.gz
- Upload date:
- Size: 18.5 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/3.8.0 pkginfo/1.8.2 readme-renderer/32.0 requests/2.27.1 requests-toolbelt/0.9.1 urllib3/1.26.8 tqdm/4.62.3 importlib-metadata/4.11.0 keyring/23.5.0 rfc3986/2.0.0 colorama/0.4.4 CPython/3.9.10
File hashes
Algorithm | Hash digest | |
---|---|---|
SHA256 | 3351ce70561121ed747988af83a5f3a5762e6d7675b5c1079f5c94e4ff52a4ba |
|
MD5 | a625d90696f89089e94bbe50b7ff1cdb |
|
BLAKE2b-256 | 35652bf84a11fbf8bb1ab71ac1e0a1ad1f91d546e8c71266b6c71b6b7b28b447 |
File details
Details for the file pure_attention-0.0.26-py3-none-any.whl
.
File metadata
- Download URL: pure_attention-0.0.26-py3-none-any.whl
- Upload date:
- Size: 2.5 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/3.8.0 pkginfo/1.8.2 readme-renderer/32.0 requests/2.27.1 requests-toolbelt/0.9.1 urllib3/1.26.8 tqdm/4.62.3 importlib-metadata/4.11.0 keyring/23.5.0 rfc3986/2.0.0 colorama/0.4.4 CPython/3.9.10
File hashes
Algorithm | Hash digest | |
---|---|---|
SHA256 | 482a5ff8676aaf2c3d07090ca4253a7ac1e92f684ef40b814845e658fcd9da41 |
|
MD5 | 4a466f260c378701a8fcfb363207053b |
|
BLAKE2b-256 | 05023bc43574ae02680fc3c1b0980e6a35fb187e6ca7c9eddc3c543c4a8671ed |