nonebot-plugin-chatglm 0.1.1

基于ChatGLM-6B的NoneBot2插件

nonebot-plugin-chatglm

✨ NoneBot ChatGLM-6B 支持插件 ✨

介绍

使用ChatGLM-6B为后端，nonebot2为平台的极其简单的本地 AI chat 插件。

环境要求

量化等级	最低显存
FP16	13GB
INT8	10GB
INT4	6GB

已配置 INT4 量化，可自行修改chat.py文件调整。

需要 13GiB 左右的存储空间（模型），NVIDIA 显卡（使用 CUDA）、6G 及以上的显存[^1]。

实际可以低于 python3.9，但没测试过。

[^1]: CPU 推理也可，但需要 16G 及以上的内存，可自行修改。

安装与更新

软件环境

CUDA

• Windows：见CUDA 官方文档|英文
• Linux：见CUDA 官方文档|英文

PyTorch

见PyTorch 官方导引

插件

（一）使用 nb-cli 安装与更新

在 nonebot2 项目的根目录下打开命令行, 输入以下指令即可安装

nb plugin install nonebot-plugin-chatglm --upgrade

（二）使用包管理器安装与更新

1、在 nonebot2 项目的插件目录下, 打开命令行, 根据你使用的包管理器, 输入相应的安装命令：

pip

pip install nonebot-plugin-chatglm

pdm

pdm add nonebot-plugin-chatglm

poetry

poetry add nonebot-plugin-chatglm

conda

conda install nonebot-plugin-chatglm

2、打开 nonebot2 项目根目录下的 pyproject.toml 文件, 在 [tool.nonebot] 部分追加写入

plugins = ["nonebot_plugin_chatglm"]

配置

下载模型及其配置文件，→清华云盘（仅模型文件）、🤗 Hugging Face（完整文件），约 12.8 GiB。

可关注ChatGLM-6B更新

安装模型运行所需依赖

pip install protobuf==3.20.0 transformers==4.26.1 icetk cpm_kernels

在 nonebot2 项目的.env文件中添加下表中的必填配置

配置项	必填	类型	默认值	说明
chatglm_model	是	str	无	chatglm 模型及其配置文档路径
chatglm_his	否	str	"./data/history/"	历史记录保存路径
chatglm_cmd	否	str/list[str]	"hi"	对话命令

使用

指令表

指令	权限	需要@	范围	说明
hi	所有人	否	私聊/群聊	与 chatglm 对话

ToDo

• 保存对话记录以实现多轮对话
• 配置角色功能
• 图片输出功能
• 其他中文文本生成模型

致谢

• @A-kirami 项目使用了 README模板，有修改
• chatGLM-6B
• nonebot2