nlhappy 2024.5.7.post1

自然语言处理(NLP)

nlhappy

📌   简介

nlhappy致力于复现自然语言处理各类任务的SOTA模型(不包含LLM相关任务)。

文档地址:

• notion文档

它主要的依赖有

• transformers: 下载预训练权重
• pytorch-lightning: 模型训练
• datasets: 构建数据集
• pydantic: 数据校验

📌   支持NLP任务

• 实体抽取
• 嵌套实体抽取
• 非连续实体抽取
• 关系抽取
• 事件抽取
• 文本单标签分类
• 文本多标签分类
• 阅读理解
• 文本对分类
• 文本对相似度(文本向量化)

📌   安装

安装nlhappy

推荐先去pytorch官网安装pytorch和对应cuda

# pip 安装
pip install --upgrade pip
pip install --upgrade nlhappy

其他可选

推荐安装wandb用于可视化训练日志

• 安装:

pip install wandb 

• 注册: https://wandb.ai/
• 获取认证: https://wandb.ai/authorize
• 登陆:

wandb login

• 使用

# 命令行训练
nlhappy datamodule=xxx model=xxx trainer=xxx logger=wandb

模型训练开始后去官网查看训练实况