langchain-amvera 0.2.0

LangChain интеграция для Amvera LLM API

LangChain Amvera

Интеграция LangChain для работы с Amvera LLM API.

Установка

pip install langchain-amvera

Быстрый старт

from langchain_amvera import AmveraLLM
from langchain_core.messages import HumanMessage

# Инициализация модели
llm = AmveraLLM(
    model="llama70b",
    temperature=0.7,
    api_token="your-token"  # или через переменную AMVERA_API_TOKEN
)

# Синхронное использование
response = llm.invoke([HumanMessage(content="Привет!")])
print(response.content)

# Асинхронное использование  
import asyncio

async def main():
    response = await llm.ainvoke([HumanMessage(content="Привет!")])
    print(response.content)
    await llm.aclose()  # Закрытие соединений

asyncio.run(main())

Поддерживаемые модели

• llama8b - Llama 3.1 8B модель
• llama70b - Llama 3.1 70B модель (по умолчанию)

Конфигурация

Переменные окружения

Создайте файл .env:

AMVERA_API_TOKEN=your-amvera-api-token

Параметры инициализации

llm = AmveraLLM(
    model="llama70b",           # Модель для использования
    temperature=0.7,            # Параметр творчества (0.0-2.0)
    max_tokens=1000,            # Максимальное количество токенов
    timeout=60,                 # Таймаут запроса в секундах
    verbose=True,               # Детальное логирование
    json_mode=False,            # JSON режим ответа
    json_schema={},             # JSON схема для валидации
    tools=None,                 # Инструменты для function calling
    api_token="your-token",     # API токен
    base_url="https://..."      # Базовый URL API
)

Возможности

Function Calling

from langchain_core.tools import tool
from pydantic import BaseModel, Field

# Определяем схему аргументов
class WeatherArgs(BaseModel):
    location: str = Field(description="Название города")
    unit: str = Field(default="celsius", description="Единицы температуры")

# Создаем инструмент с декоратором @tool
@tool("get_weather", args_schema=WeatherArgs)
def get_weather(location: str, unit: str = "celsius") -> str:
    """Получить прогноз погоды для указанного города."""
    # Ваша логика здесь
    return f"Погода в {location}: солнечно, {unit}"

# Привязываем инструменты к модели
llm = AmveraLLM(model="llama70b")
llm_with_tools = llm.bind_tools([get_weather])

# Использование
response = llm_with_tools.invoke([HumanMessage(content="Какая погода в Москве?")])

JSON режим

llm = AmveraLLM(
    model="llama70b",
    json_mode=True,
    json_schema={
        "type": "object",
        "properties": {
            "answer": {"type": "string"}
        }
    }
)

Получение информации об использовании

response = llm.invoke([HumanMessage(content="Привет!")])

# Информация о токенах
usage = llm.get_token_usage(response)
print(f"Использовано токенов: {usage}")

# Версия модели
version = llm.get_model_version(response)
print(f"Версия модели: {version}")

Примеры использования

Смотрите папку examples/ для подробных примеров:

• Базовый пример
• Асинхронное использование
• Function calling
• JSON режим
• Интеграция с LangChain

Требования

• Python 3.8+
• langchain-core >= 0.1.0
• langchain >= 0.1.0
• httpx >= 0.24.0
• pydantic >= 2.0.0
• python-dotenv >= 0.19.0

Разработка

Установка для разработки

git clone https://github.com/amvera-ru/langchain-amvera.git
cd langchain-amvera
pip install -e ".[dev]"

Запуск тестов

pytest

Форматирование кода

black langchain_amvera/
ruff langchain_amvera/

Лицензия

MIT License. Смотрите LICENSE для подробностей.

Поддержка

• Документация Amvera
• GitHub Issues
• Email: [e-mail]