Create a Python package.
Project description
🔥ChatLLM 基于知识库🔥
Install
pip install -U chatllm
Docs
Usages
from chatllm.applications import ChatBase
qa = ChatBase()
qa.load_llm4chat(model_name_or_path="THUDM/chatglm-6b")
for i, _ in qa(query='周杰伦是谁', knowledge_base='周杰伦是傻子'):
pass
# 根据已知信息无法回答该问题,因为周杰伦是中国内地流行歌手、演员、音乐制作人、导演,
# 是具有一定的知名度和专业能力的人物,没有提供足够的信息无法判断他是傻子。
Click to ChatPDF
from chatllm.applications.chatpdf import ChatPDF
qa = ChatPDF(encode_model='nghuyong/ernie-3.0-nano-zh')
qa.load_llm4chat(model_name_or_path="THUDM/chatglm-6b")
qa.create_index('财报.pdf') # 构建知识库
for i, _ in qa(query='东北证券主营业务'):
pass
# 根据已知信息,东北证券的主营业务为证券业务。公司作为证券公司,主要从事证券经纪、证券投资咨询、与证券交易、
# 证券投资活动有关的财务顾问、证券承销与保荐、证券自营、融资融券、证券投资基金代销和代销金融产品待业务。
一键启动 webui chatllm-run webui --name chatpdf
Click to 开发部署
-
ChatGLM-6B 模型硬件需求
量化等级 最低 GPU 显存(推理) 最低 GPU 显存(高效参数微调) FP16(无量化) 13 GB 14 GB INT8 8 GB 9 GB INT4 6 GB 7 GB -
Embedding 模型硬件需求
本项目中默认选用的 Embedding 模型 GanymedeNil/text2vec-large-chinese 约占用显存 3GB,也可修改为在 CPU 中运行。
软件需求
本项目已在 Python 3.8 - 3.10,CUDA 11.7 环境下完成测试。已在 Windows、ARM 架构的 macOS、Linux 系统中完成测试。
从本地加载模型
1. 安装环境
参见 安装指南。
Click to TODO
-
增加一键启动 webui
chatllm-run webui --name chatpdf
-
增加ChatPDF
-
增加ChatWoosh
-
增加本地知识库组件
-
增加互联网搜索组件
-
增加知识图谱组件
-
增加微调模块
-
增加流式输出
-
增加http接口
-
增加grpc接口
======= History
0.0.0 (2023-04-11)
- First release on PyPI.
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Close
Hashes for ChatLLM-2023.4.27.13.0.53.tar.gz
Algorithm | Hash digest | |
---|---|---|
SHA256 | 0056833b4b505813b29611d25f485eb287d4a73a9ce34381d622f741ab9e1b30 |
|
MD5 | fd79f0083a9779e8102721b3107be0cd |
|
BLAKE2b-256 | fdc3de1ae72025f68da0018f86a34dacf88bca5e06c4b27fb3ab9676a4c9f5d6 |
Close
Hashes for ChatLLM-2023.4.27.13.0.53-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | afd80bc2d6deb9081f9ba93fd29635cd6e03e446eb5a6584ed6e0d5ce4a66d05 |
|
MD5 | fc64fc3d1bc27350e574d00a63ec4811 |
|
BLAKE2b-256 | 988bc450bb992a1c8d2584a17d0ffb6fde026801c6eed50079c8c2d7d9b9a453 |