No project description provided
Project description
开始使用
当项目安装完成,配置这个model_providers.yaml
文件,即可完成平台加载
注意: 在您配置平台之前,请确认平台依赖完整,例如智谱平台,您需要安装智谱sdk
pip install zhipuai
model_providers包含了不同平台提供的 全局配置provider_credential
,和模型配置model_credential
不同平台所加载的配置有所不同,关于如何配置这个文件
请查看包model_providers.core.model_runtime.model_providers
下方的平台 yaml
文件
关于schemas
信息详细描述设计,请查看 README.md
相关平台配置说明
要加载xinference平台,操作如下
- 查看
schemas
信息
在xinference.yaml包含了如下信息,
supported_model_types
描述支持了llm
、text-embedding
、rerank
模型类型
configurate_methods
描述包含变量 customizable-model
表示这个是一个可以自定义模型的平台
model_credential_schema
描述包含了自定义模型需要的凭据信息
- 安装sdk
pip install xinference-client
- 编辑
model_providers.yaml
xinference:
model_credential:
- model: 'chatglm3-6b'
model_type: 'llm'
model_credentials:
server_url: 'http://127.0.0.1:9997/'
model_uid: 'chatglm3-6b'
要加载ollama平台,操作如下
-
查看
schemas
信息在ollama.yaml包含了如下信息,
supported_model_types
描述支持了llm
和text-embedding
两种模型类型configurate_methods
描述包含变量customizable-model
表示这个是一个可以自定义模型的平台
model_credential_schema
描述包含了自定义模型需要的凭据信息 -
安装sdk
$ pip install openai
- 编辑
model_providers.yaml
ollama:
model_credential:
- model: 'llama3'
model_type: 'llm'
model_credentials:
base_url: 'http://172.21.192.1:11434/v1'
要加载openai平台,操作如下
-
查看
schemas
信息在openai.yaml包含了如下信息,
supported_model_types
描述支持了llm
和text-embedding
两种模型类型configurate_methods
描述包含变量predefined-model
表示这个是一个使用预定义模型的平台customizable-model
表示这个是一个可以自定义模型的平台
model_credential_schema
描述包含了自定义模型需要的凭据信息provider_credential_schema
描述包含平台的凭据信息 -
安装sdk
$ pip install openai
- 编辑
model_providers.yaml
openai:
model_credential:
- model: 'gpt-3.5-turbo'
model_type: 'llm'
model_credentials:
openai_api_key: 'sk-'
openai_organization: ''
openai_api_base: ''
- model: 'gpt-4'
model_type: 'llm'
model_credentials:
openai_api_key: 'sk-'
openai_organization: ''
openai_api_base: ''
provider_credential:
openai_api_key: 'sk-'
openai_organization: ''
openai_api_base: ''
要加载智谱平台,操作如下
-
查看
schemas
信息在zhipuai.yaml包含了如下信息,
supported_model_types
描述支持了llm
和text-embedding
两种模型类型configurate_methods
描述包含变量predefined-model
表示这个是一个使用预定义模型的平台provider_credential_schema
描述包含平台的凭据信息 -
安装sdk
$ pip install zhipuai
- 编辑
model_providers.yaml
zhipuai:
provider_credential:
api_key: 'd4fa0690b6dfa205204cae2e12aa6fb6.2'
要加载deepseek平台,操作如下
-
查看
schemas
信息在deepseek.yaml包含了如下信息,
supported_model_types
描述支持了llm
和text-embedding
两种模型类型configurate_methods
描述包含变量predefined-model
表示这个是一个使用预定义模型的平台provider_credential_schema
描述包含平台的凭据信息 -
安装sdk
$ pip install openai
- 编辑
model_providers.yaml
deepseek:
model_credential:
- model: 'deepseek-chat'
model_type: 'llm'
model_credentials:
base_url: 'https://api.deepseek.com'
api_key: 'sk-dcb625fcbc1e497d80b7b9493b51d758'
额外协议
本文件夹中的部分代码参考了Dify中的相关代码。 如果您使用这部分代码并再分发,你需要包含 ADDITIONAL_LICENSE 的完整内容。
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Hashes for model_providers-0.3.0.20240621.2.tar.gz
Algorithm | Hash digest | |
---|---|---|
SHA256 | 8f740b1d502fa1d07feb85997ff4e43aac2b5c99609000df5c84f24a9d2f7d91 |
|
MD5 | 52235b9df09584389f1011c6a4028e0f |
|
BLAKE2b-256 | e554657679fc433bb4d3e8bfd2f4fc3d2784132935a2f23e7a1b93469f9a6c84 |
Hashes for model_providers-0.3.0.20240621.2-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 808de3ac60889baeed417eeff71bc496bb3a08d3baef3044aa50312e3686b0d2 |
|
MD5 | 00f13a682ba27d5fa1bade20c9beb6ba |
|
BLAKE2b-256 | db7d94311651158caec24b9a2253f1f579fd563459303e3aa3e3911160d98b85 |