Skip to main content

use pure attention implement cv/nlp backbone

Project description

介绍

attention 在 cv 和 nlp 领域都有很多的应用,比如在 cv 中,可以使用 detr 进行目标检测任务,使用 vit / mae 进行图片预训练任务。

在 nlp 领域中的作用更不用提, bert 以及后续的更多工作将 attention 彻底的发扬光大。

cv 和 nlp 中的很多方法和技巧也在相互影响,比如大规模的预训练、mask 的设计(mae 、vilbert)、自监督学习的设计(从 imageNet 做有监督的预训练到纯粹的自监督预训练)。

这些方面都非常的有趣,我希望可以设计一个 backbone 结构,让其可以在 cv 任务和 nlp 任务上均取到 sota 的效果。

从而为之后的任务提供一个 baseline。

目标

提供一套完整的的基础算法服务

1、python 训练任务,包含 NLP 和 CV 任务。

2、java 环境下使用 onnx 的在线推理部署。

todo

第一阶段:实现 NLP 和 CV 的典型任务,并评估下游效果。

  • Pytorch 实现 Transformer 的 encode 阶段,并实现 bert ;

    参考 transformers 的设计,但只保留与关键 encode 相关的代码,简化代码量。 保持与原始 huggingface encode 的结果一致, 使用方法和一致性校验可以参考 backbone_bert

  • Pytorch 实现 Transformer 的 decode 阶段,并实现 seq2seq 任务。

    todo

  • NLP 下游任务 序列标注、分类 的实现,并在公开数据集上进行评估,这里主要是想证明实现的 backbone 效果是符合预期的;

    todo

  • 实现 Vit,并在下游任务上验证实现 Vit 的效果是否符合预期;

    todo

第二阶段:增加 NLP 和 CV 的其余常见任务,扩增项目的能力范围。

  • UNILM;
  • MAE;
  • GPT系列;
  • seq2seq,搞一个翻译任务;
  • 实现模型的 onnx export;
  • 实现 java 下的 onnx 推理过程;

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

pure_attention-0.0.26.tar.gz (18.5 kB view details)

Uploaded Source

Built Distribution

pure_attention-0.0.26-py3-none-any.whl (2.5 kB view details)

Uploaded Python 3

File details

Details for the file pure_attention-0.0.26.tar.gz.

File metadata

  • Download URL: pure_attention-0.0.26.tar.gz
  • Upload date:
  • Size: 18.5 kB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/3.8.0 pkginfo/1.8.2 readme-renderer/32.0 requests/2.27.1 requests-toolbelt/0.9.1 urllib3/1.26.8 tqdm/4.62.3 importlib-metadata/4.11.0 keyring/23.5.0 rfc3986/2.0.0 colorama/0.4.4 CPython/3.9.10

File hashes

Hashes for pure_attention-0.0.26.tar.gz
Algorithm Hash digest
SHA256 3351ce70561121ed747988af83a5f3a5762e6d7675b5c1079f5c94e4ff52a4ba
MD5 a625d90696f89089e94bbe50b7ff1cdb
BLAKE2b-256 35652bf84a11fbf8bb1ab71ac1e0a1ad1f91d546e8c71266b6c71b6b7b28b447

See more details on using hashes here.

File details

Details for the file pure_attention-0.0.26-py3-none-any.whl.

File metadata

  • Download URL: pure_attention-0.0.26-py3-none-any.whl
  • Upload date:
  • Size: 2.5 kB
  • Tags: Python 3
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/3.8.0 pkginfo/1.8.2 readme-renderer/32.0 requests/2.27.1 requests-toolbelt/0.9.1 urllib3/1.26.8 tqdm/4.62.3 importlib-metadata/4.11.0 keyring/23.5.0 rfc3986/2.0.0 colorama/0.4.4 CPython/3.9.10

File hashes

Hashes for pure_attention-0.0.26-py3-none-any.whl
Algorithm Hash digest
SHA256 482a5ff8676aaf2c3d07090ca4253a7ac1e92f684ef40b814845e658fcd9da41
MD5 4a466f260c378701a8fcfb363207053b
BLAKE2b-256 05023bc43574ae02680fc3c1b0980e6a35fb187e6ca7c9eddc3c543c4a8671ed

See more details on using hashes here.

Supported by

AWS AWS Cloud computing and Security Sponsor Datadog Datadog Monitoring Fastly Fastly CDN Google Google Download Analytics Microsoft Microsoft PSF Sponsor Pingdom Pingdom Monitoring Sentry Sentry Error logging StatusPage StatusPage Status page