llm-tokenizers 0.1.0

LLM tokenizers tools

llm_tokenizers

介绍

收集llm的各种 tokenizer

软件架构

软件架构说明

项目安装教程

1. 克隆项目到本地：

git clone https://gitee.com/sky_flash/llm_tokenizers.git

2. 进入项目目录：

cd llm_tokenizers

3. 使用 pip 安装依赖：

pip install -r requirements.txt

软件包安装程

使用说明

1. xxxx
2. xxxx
3. xxxx

项目打包

1. 确保已安装构建工具：

pip install build

2. 在项目根目录下执行打包命令：

python -m build

打包完成后，生成的 .whl 和 .tar.gz 文件会保存在 dist/ 目录下。

3. 安装打包好的 .whl 文件（以生成的文件名为例）：

pip install dist/llm_tokenizers-0.1.0-py3-none-any.whl

参与贡献

1. Fork 本仓库
2. 新建 Feat_xxx 分支
3. 提交代码
4. 新建 Pull Request

特技

1. 使用 Readme_XXX.md 来支持不同的语言，例如 Readme_en.md, Readme_zh.md
2. Gitee 官方博客 blog.gitee.com
3. 你可以 https://gitee.com/explore 这个地址来了解 Gitee 上的优秀开源项目
4. GVP 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5. Gitee 官方提供的使用手册 https://gitee.com/help
6. Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 https://gitee.com/gitee-stars/