No project description provided
Project description
开始使用
当项目安装完成,配置这个model_providers.yaml
文件,即可完成平台加载
注意: 在您配置平台之前,请确认平台依赖完整,例如智谱平台,您需要安装智谱sdk
pip install zhipuai
model_providers包含了不同平台提供的 全局配置provider_credential
,和模型配置model_credential
不同平台所加载的配置有所不同,关于如何配置这个文件
请查看包model_providers.core.model_runtime.model_providers
下方的平台 yaml
文件
关于schemas
信息详细描述设计,请查看 README.md
相关平台配置说明
要加载xinference平台,操作如下
- 查看
schemas
信息
在xinference.yaml包含了如下信息,
supported_model_types
描述支持了llm
、text-embedding
、rerank
模型类型
configurate_methods
描述包含变量 customizable-model
表示这个是一个可以自定义模型的平台
model_credential_schema
描述包含了自定义模型需要的凭据信息
- 安装sdk
pip install xinference-client
- 编辑
model_providers.yaml
xinference:
model_credential:
- model: 'chatglm3-6b'
model_type: 'llm'
model_credentials:
server_url: 'http://127.0.0.1:9997/'
model_uid: 'chatglm3-6b'
要加载ollama平台,操作如下
-
查看
schemas
信息在ollama.yaml包含了如下信息,
supported_model_types
描述支持了llm
和text-embedding
两种模型类型configurate_methods
描述包含变量customizable-model
表示这个是一个可以自定义模型的平台
model_credential_schema
描述包含了自定义模型需要的凭据信息 -
安装sdk
$ pip install openai
- 编辑
model_providers.yaml
ollama:
model_credential:
- model: 'llama3'
model_type: 'llm'
model_credentials:
base_url: 'http://172.21.192.1:11434/v1'
要加载openai平台,操作如下
-
查看
schemas
信息在openai.yaml包含了如下信息,
supported_model_types
描述支持了llm
和text-embedding
两种模型类型configurate_methods
描述包含变量predefined-model
表示这个是一个使用预定义模型的平台customizable-model
表示这个是一个可以自定义模型的平台
model_credential_schema
描述包含了自定义模型需要的凭据信息provider_credential_schema
描述包含平台的凭据信息 -
安装sdk
$ pip install openai
- 编辑
model_providers.yaml
openai:
model_credential:
- model: 'gpt-3.5-turbo'
model_type: 'llm'
model_credentials:
openai_api_key: 'sk-'
openai_organization: ''
openai_api_base: ''
- model: 'gpt-4'
model_type: 'llm'
model_credentials:
openai_api_key: 'sk-'
openai_organization: ''
openai_api_base: ''
provider_credential:
openai_api_key: 'sk-'
openai_organization: ''
openai_api_base: ''
要加载智谱平台,操作如下
-
查看
schemas
信息在zhipuai.yaml包含了如下信息,
supported_model_types
描述支持了llm
和text-embedding
两种模型类型configurate_methods
描述包含变量predefined-model
表示这个是一个使用预定义模型的平台provider_credential_schema
描述包含平台的凭据信息 -
安装sdk
$ pip install zhipuai
- 编辑
model_providers.yaml
zhipuai:
provider_credential:
api_key: 'd4fa0690b6dfa205204cae2e12aa6fb6.2'
要加载deepseek平台,操作如下
-
查看
schemas
信息在deepseek.yaml包含了如下信息,
supported_model_types
描述支持了llm
和text-embedding
两种模型类型configurate_methods
描述包含变量predefined-model
表示这个是一个使用预定义模型的平台provider_credential_schema
描述包含平台的凭据信息 -
安装sdk
$ pip install openai
- 编辑
model_providers.yaml
deepseek:
model_credential:
- model: 'deepseek-chat'
model_type: 'llm'
model_credentials:
base_url: 'https://api.deepseek.com'
api_key: 'sk-dcb625fcbc1e497d80b7b9493b51d758'
额外协议
本文件夹中的部分代码参考了Dify中的相关代码。 如果您使用这部分代码并再分发,你需要包含 ADDITIONAL_LICENSE 的完整内容。
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Hashes for model_providers-0.3.1-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 904f1f4dd89ad704711df42133ffb9b78fb005f38e666cdb868eeca8bd598c84 |
|
MD5 | e7e47c32ea709f27e1e1c2c79e779382 |
|
BLAKE2b-256 | a32d1996c25337defce5ea9a9cd032eb43285499b339b1ca5efd592e70a48723 |