No project description provided
Project description
开始使用
当项目安装完成,配置这个model_providers.yaml
文件,即可完成平台加载
注意: 在您配置平台之前,请确认平台依赖完整,例如智谱平台,您需要安装智谱sdk
pip install zhipuai
model_providers包含了不同平台提供的 全局配置provider_credential
,和模型配置model_credential
不同平台所加载的配置有所不同,关于如何配置这个文件
请查看包model_providers.core.model_runtime.model_providers
下方的平台 yaml
文件
关于schemas
信息详细描述设计,请查看 README_CN.md
相关平台配置说明
要加载xinference平台,操作如下
- 查看
schemas
信息
在xinference.yaml包含了如下信息,
supported_model_types
描述支持了llm
、text-embedding
、rerank
模型类型
configurate_methods
描述包含变量 customizable-model
表示这个是一个可以自定义模型的平台
model_credential_schema
描述包含了自定义模型需要的凭据信息
- 安装sdk
$ pip install xinference-client
- 编辑
model_providers.yaml
xinference:
model_credential:
- model: 'chatglm3-6b'
model_type: 'llm'
model_credentials:
server_url: 'http://127.0.0.1:9997/'
model_uid: 'chatglm3-6b'
要加载ollama平台,操作如下
-
查看
schemas
信息在ollama.yaml包含了如下信息,
supported_model_types
描述支持了llm
和text-embedding
两种模型类型configurate_methods
描述包含变量customizable-model
表示这个是一个可以自定义模型的平台
model_credential_schema
描述包含了自定义模型需要的凭据信息 -
安装sdk
$ pip install openai
- 编辑
model_providers.yaml
ollama:
model_credential:
- model: 'llama3'
model_type: 'llm'
model_credentials:
base_url: 'http://172.21.192.1:11434/v1'
要加载openai平台,操作如下
-
查看
schemas
信息在openai.yaml包含了如下信息,
supported_model_types
描述支持了llm
和text-embedding
两种模型类型configurate_methods
描述包含变量predefined-model
表示这个是一个使用预定义模型的平台customizable-model
表示这个是一个可以自定义模型的平台
model_credential_schema
描述包含了自定义模型需要的凭据信息provider_credential_schema
描述包含平台的凭据信息 -
安装sdk
$ pip install openai
- 编辑
model_providers.yaml
openai:
model_credential:
- model: 'gpt-3.5-turbo'
model_type: 'llm'
model_credentials:
openai_api_key: 'sk-'
openai_organization: ''
openai_api_base: ''
- model: 'gpt-4'
model_type: 'llm'
model_credentials:
openai_api_key: 'sk-'
openai_organization: ''
openai_api_base: ''
provider_credential:
openai_api_key: 'sk-'
openai_organization: ''
openai_api_base: ''
要加载智谱平台,操作如下
-
查看
schemas
信息在zhipuai.yaml包含了如下信息,
supported_model_types
描述支持了llm
和text-embedding
两种模型类型configurate_methods
描述包含变量predefined-model
表示这个是一个使用预定义模型的平台provider_credential_schema
描述包含平台的凭据信息 -
安装sdk
$ pip install zhipuai
- 编辑
model_providers.yaml
zhipuai:
provider_credential:
api_key: 'd4fa0690b6dfa205204cae2e12aa6fb6.2'
要加载deepseek平台,操作如下
-
查看
schemas
信息在deepseek.yaml包含了如下信息,
supported_model_types
描述支持了llm
和text-embedding
两种模型类型configurate_methods
描述包含变量predefined-model
表示这个是一个使用预定义模型的平台provider_credential_schema
描述包含平台的凭据信息 -
安装sdk
$ pip install openai
- 编辑
model_providers.yaml
deepseek:
model_credential:
- model: 'deepseek-chat'
model_type: 'llm'
model_credentials:
base_url: 'https://api.deepseek.com'
api_key: 'sk-dcb625fcbc1e497d80b7b9493b51d758'
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Hashes for model_providers-0.3.0.20240612.tar.gz
Algorithm | Hash digest | |
---|---|---|
SHA256 | 8a3d317badcfb4e2b6fd593a16a514c5f136b2528762119f5da81f8de4dfa2aa |
|
MD5 | 05402b4bc1142ea844b930ad6bea721d |
|
BLAKE2b-256 | f83d53230d26d8a0b27e5c8031875b2de3b108a94ce8b65a061f1cf10dc81970 |
Hashes for model_providers-0.3.0.20240612-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | b93a0273f073c98561d6272037ae8808dd0c9c5ae9670f417704b4dba5f595f5 |
|
MD5 | 348521af42e53f1a81bf7b8e9b643365 |
|
BLAKE2b-256 | f0bf7fe031c5032482e132cefc622a4bef3711e2a16e11c714c38efd8626230e |