开始使用
环境配置完成后，启动步骤为先启动chatchat-server，然后启动chatchat-frontend。 chatchat可通过pypi安装一键启动，您也可以选择使用源码启动。(Tips: 源码配置可以帮助我们更快的寻找bug，或者改进基础设施。我们不建议新手使用这个方式)
pypi安装一键启动
- 安装chatchat
pip install langchain-chatchat -U
注意：chatchat请放在独立的虚拟环境中，比如conda，venv，virtualenv等
已知问题，不能跟xf一起安装，会让一些插件出bug，例如文件无法上传
工作空间配置
操作指令
chatchat-config
Usage: chatchat-config [OPTIONS] COMMAND [ARGS]...
指令` chatchat-config` 工作空间配置
Options:
--help Show this message and exit.
Commands:
basic 基础配置
kb 知识库配置
model 模型配置
server 服务配置
模型服务配置
如果您已经有了一个openai endpoint的能力的地址，可以在MODEL_PLATFORMS这里直接配置
chatchat-config model --set_model_platforms TEXT 模型平台配置 as a JSON string.
- platform_name 可以任意填写，不要重复即可
- platform_type 以后可能根据平台类型做一些功能区分,与platform_name一致即可
- 将框架部署的模型填写到对应列表即可。不同框架可以加载同名模型，项目会自动做负载均衡。
- 设置模型
$ chatchat-config model --set_model_platforms "[{
\"platform_name\": \"xinference\",
\"platform_type\": \"xinference\",
\"api_base_url\": \"http://127.0.0.1:9997/v1\",
\"api_key\": \"EMPT\",
\"api_concurrencies\": 5,
\"llm_models\": [
\"autodl-tmp-glm-4-9b-chat\"
],
\"embed_models\": [
\"bge-large-zh-v1.5\"
],
\"image_models\": [],
\"reranking_models\": [],
\"speech2text_models\": [],
\"tts_models\": []
}]"
初始化知识库
chatchat-kb -r
启动服务
chatchat -a
模型？
chatchat 0.3版本中，为保证平台、模型、及本地服务的兼容，在保证可扩展性的同时，
我们对模型的加载进行了重新设计. chatchat 0.3之后的版本，我们将分离模型加载和服务启动.
您可以使用提供了openaiEndpoint任何服务,在MODEL_PLATFORMS这里直接配置
chatchat-config model --set_model_platforms TEXT 模型平台配置 as a JSON string.
- platform_name 可以任意填写，不要重复即可
- platform_type 以后可能根据平台类型做一些功能区分,与platform_name一致即可
- 将框架部署的模型填写到对应列表即可。不同框架可以加载同名模型，项目会自动做负载均衡。
部署手册
移步这里 xinference环境配置手册
1 maintainer
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file langchain_chatchat-0.3.0.20240625.tar.gz.
File metadata
- Download URL: langchain_chatchat-0.3.0.20240625.tar.gz
- Upload date:
- Size: 23.0 MB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via:
twine/5.1.0 CPython/3.12.4
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
3fa3d0c2ef5b802643f8dfbf352db3cc611af35d0ac2d7d6d096edb798be818a
|
|
| MD5 |
0b622e396f767bd369b9fa91b48cfa20
|
|
| BLAKE2b-256 |
c4ea72cd2b88b5b78449fe82b690e38dfdb429989ced52863d69afc98bf077da
|
File details
Details for the file langchain_chatchat-0.3.0.20240625-py3-none-any.whl.
File metadata
- Download URL: langchain_chatchat-0.3.0.20240625-py3-none-any.whl
- Upload date:
- Size: 23.2 MB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via:
twine/5.1.0 CPython/3.12.4
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
33ff16462a1d6c23a82bc81d9f58440ce255d34e888ce998f6565b4418529448
|
|
| MD5 |
bac51eeaa582a4cb9761404a1f1ef1bd
|
|
| BLAKE2b-256 |
42c0ff1261b8a82baaf7726dcb140dfdb6fed604da050947037388cb7e8b6b80
|
