an elegant bert4torch
Project description
Documentation | Torch4keras | Examples | build_MiniLLM_from_scratch | bert4vector
目录
1. 下载安装
安装稳定版
pip install bert4torch
安装最新版
pip install git+https://github.com/Tongjilibo/bert4torch
- 注意事项：pip包的发布慢于git上的开发版本，git clone注意引用路径，注意权重是否需要转换
- 测试用例：
git clone https://github.com/Tongjilibo/bert4torch，修改example中的预训练模型文件路径和数据路径即可启动脚本 - 自行训练：针对自己的数据，修改相应的数据处理代码块
- 开发环境：原使用
torch==1.10版本进行开发，现已切换到torch2.0开发，如其他版本遇到不适配，欢迎反馈
2. 功能
-
LLM模型: 加载chatglm、llama、 baichuan、ziya、bloom等开源大模型权重进行推理和微调，命令行一行部署大模型
-
核心功能：加载bert、roberta、albert、xlnet、nezha、bart、RoFormer、RoFormer_V2、ELECTRA、GPT、GPT2、T5、GAU-alpha、ERNIE等预训练权重继续进行finetune、并支持在bert基础上灵活定义自己模型
-
丰富示例：包含llm、pretrain、sentence_classfication、sentence_embedding、sequence_labeling、relation_extraction、seq2seq、serving等多种解决方案
-
实验验证：已在公开数据集实验验证，使用如下examples数据集和实验指标
-
易用trick：集成了常见的trick，即插即用
-
其他特性：加载transformers库模型一起使用；调用方式简洁高效；有训练进度条动态展示；配合torchinfo打印参数量；默认Logger和Tensorboard简便记录训练过程；自定义fit过程，满足高阶需求
-
训练过程：
| 功能 | bert4torch | transformers | 备注 |
|---|---|---|---|
| 训练进度条 | ✅ | ✅ | 进度条打印loss和定义的metrics |
| 分布式训练dp/ddp | ✅ | ✅ | torch自带dp/ddp |
| 各类callbacks | ✅ | ✅ | 日志/tensorboard/earlystop/wandb等 |
| 大模型推理，stream/batch输出 | ✅ | ✅ | 各个模型是通用的，无需单独维护脚本 |
| 大模型微调 | ✅ | ✅ | lora依赖peft库，pv2自带 |
| 丰富tricks | ✅ | ❌ | 对抗训练等tricks即插即用 |
| 代码简洁易懂，自定义空间大 | ✅ | ❌ | 代码复用度高, keras代码训练风格 |
| 仓库的维护能力/影响力/使用量/兼容性 | ❌ | ✅ | 目前仓库个人维护 |
| 一键部署大模型 |
3. 快速上手
3.1 上手教程
3.2 命令行快速部署大模型服务
- 本地 / 联网加载
# 联网下载全部文件 bert4torch serve --checkpoint_path Qwen2-0.5B-Instruct # 加载本地大模型，联网下载bert4torch_config.json bert4torch serve --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --config_path Qwen/Qwen2-0.5B-Instruct # 加载本地大模型，且bert4torch_config.json已经下载并放于同名目录下 bert4torch serve --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct
- 命令行 / gradio网页 / openai_api
# 命令行 bert4torch serve --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode cli # gradio网页 bert4torch serve --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode gradio # openai_api bert4torch serve --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode openai
- 命令行聊天示例
4. 版本和更新历史
4.1 版本历史
| 更新日期 | bert4torch | torch4keras | 版本说明 |
|---|---|---|---|
| 20260114 | 0.6.1 | 0.3.3 | 增加paddleocr-vl，优化代码结构，去除硬代码模型配置项 |
| 20250925 | 0.6.0 | 0.3.2 | 增加 Qwen3-moe, 支持 gptq、awq等主流量化方式，其他代码优化 |
| 20250721 | 0.5.9.post2 | 0.3.1 | 增加 Ernie4_5, 修复hub下载bug, 拆分出 openai_client |
4.2 更新历史
5. 预训练权重
-
预训练模型支持多种代码加载方式
from bert4torch.models import build_transformer_model # 1. 仅指定config_path: 从头初始化模型结构, 不加载预训练模型 model = build_transformer_model('./model/bert4torch_config.json') # 2. 仅指定checkpoint_path: ## 2.1 文件夹路径: 自动寻找路径下的*.bin/*.safetensors权重文件 + 需把bert4torch_config.json下载并放于该目录下 model = build_transformer_model(checkpoint_path='./model') ## 2.2 文件路径/列表: 文件路径即权重路径/列表, bert4torch_config.json会从同级目录下寻找 model = build_transformer_model(checkpoint_path='./pytorch_model.bin') ## 2.3 model_name: hf上预训练权重名称, 会自动下载hf权重以及bert4torch_config.json文件 model = build_transformer_model(checkpoint_path='google-bert/bert-base-chinese') # 3. 同时指定config_path和checkpoint_path(本地路径名或model_name排列组合): # 本地路径从本地加载，pretrained_model_name会联网下载 config_path = './model/bert4torch_config.json' # 或'google-bert/bert-base-chinese' checkpoint_path = './model/pytorch_model.bin' # 或'google-bert/bert-base-chinese' model = build_transformer_model(config_path, checkpoint_path)
-
预训练权重链接和bert4torch_config.json
*注：
-
高亮格式(如bert-base-chinese)的表示可直接build_transformer_model()联网下载 -
国内镜像网站加速下载
HF_ENDPOINT=https://hf-mirror.com python your_script.pyexport HF_ENDPOINT=https://hf-mirror.com后再执行python代码- 在python代码开头如下设置
import os os.environ['HF_ENDPOINT'] = "https://hf-mirror.com"
6. 鸣谢
- 感谢苏神实现的bert4keras，本实现有不少地方参考了bert4keras的源码，在此衷心感谢大佬的无私奉献;
- 其次感谢项目bert4pytorch，也是在该项目的指引下给了我用pytorch来复现bert4keras的想法和思路。
7. 引用
@misc{bert4torch,
title={bert4torch},
author={Bo Li},
year={2022},
howpublished={\url{https://github.com/Tongjilibo/bert4torch}},
}
8. 其他
- Wechat & Star History Chart
- 微信群人数超过200个（有邀请限制），可添加个人微信拉群，备注：bert4torch-姓名-公司名
 微信号 |
 微信群 |
 Star History Chart |
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
bert4torch-0.6.1.tar.gz
(326.9 kB
view details)
File details
Details for the file bert4torch-0.6.1.tar.gz.
File metadata
- Download URL: bert4torch-0.6.1.tar.gz
- Upload date:
- Size: 326.9 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/3.8.0 colorama/0.4.4 importlib-metadata/4.6.4 keyring/23.5.0 pkginfo/1.8.2 readme-renderer/34.0 requests-toolbelt/0.9.1 requests/2.25.1 rfc3986/1.5.0 tqdm/4.57.0 urllib3/1.26.5 CPython/3.10.12
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
c7f9e2fad41f6ab217268bee4e0a72141f1ad54f13c50b86a9aa293c7f4762ec
|
|
| MD5 |
96240b278ce84d7ac382af181c2eb2fb
|
|
| BLAKE2b-256 |
c44c711f55078ba4dc04f6216ebe5552748d5937916c0f3bddbd2992371ddbf2
|
