litellm-gigachat 0.1.0

Полнофункциональная интеграция GigaChat API с LiteLLM

Интеграция GigaChat с LiteLLM

Полнофункциональная интеграция GigaChat API с LiteLLM - готовое решение для подключения российской языковой модели Сбер GigaChat через стандартный OpenAI-совместимый интерфейс. Включает автоматическое обновление токенов, преобразование контента и полную совместимость с AI-ассистентом Cline.

📚 Документация

Полная документация | FAQ | Тестовые запросы | Причины несовместимости с OpenAI API

🚀 Основные возможности

• Автоматическое обновление токенов
• Автоматическая настройка сертификатов
• Совместимость с Cline
• Streaming поддержка

📦 Быстрая установка

# 1. Клонирование репозитория
git clone https://github.com/stp008/litellm-gigachat.git
cd litellm-gigachat

# 2. Установка зависимостей
pip install -r requirements.txt

# 3. Настройка ключа API
export GIGACHAT_AUTH_KEY="ваш_authorization_key"

# 4. Запуск прокси-сервера
python start_proxy.py

🎯 Быстрый старт

Использование через OpenAI API

import openai

client = openai.OpenAI(
    base_url="http://localhost:4000",
    api_key="any-key"  # Токен управляется автоматически
)

response = client.chat.completions.create(
    model="gigachat",
    messages=[{"role": "user", "content": "Привет, GigaChat!"}]
)

print(response.choices[0].message.content)

Использование через Cline

Допустимо использовать сервер как в качестве OpenAI совместимого провайдера, так и в качестве LiteLLM провайдера. В случае использования второго варианта появляется больше доступных опций.

Настройки OpenAI Compatible провайдера:

Настройка LiteLLM провайдера:

В настройках Cline укажите следующие параметры:

Основные настройки:

1. API Provider: Выберите OpenAI Compatible или LiteLLM из выпадающего списка
2. Base URL: Введите http://localhost:4000 (без слэша в конце)
3. API Key: Введите любое значение, например gigachat-key (токен управляется автоматически)
4. Model: Выберите одну из моделей:
   • gigachat - основная модель (рекомендуется для начала)
   • gigachat-pro - продвинутая модель для сложных задач
   • gigachat-max - модель с максимальными возможностями

4.3 Дополнительные настройки (опционально)

• Temperature: 0.7 (для баланса между креативностью и точностью)
• Max Tokens: 4000 (максимальная длина ответа)
• Timeout: 60 секунд

Тестирование интеграции с Cline

python test_cline_integration.py

📊 Доступные модели

Модель API	Описание
gigachat	Основная модель для общих задач
gigachat-pro	Продвинутая модель для сложных задач
gigachat-max	Модель с максимальными возможностями

🧪 Тестирование

# Базовая функциональность
python gigachat.py

# Интеграция с Cline
python test_cline_integration.py

# Интерактивные примеры
python examples.py

🚨 Устранение неполадок

Ошибка "Authorization key не найден"

export GIGACHAT_AUTH_KEY="ваш_ключ"

Проблемы с Cline

• Убедитесь, что прокси запущен: python start_proxy.py
• Проверьте URL: http://localhost:4000
• Тест интеграции: python test_cline_integration.py

Полное руководство: ❓ FAQ

🔗 Полезные ссылки

• 📚 Полная документация - подробное руководство
• ❓ FAQ - часто задаваемые вопросы
• 🔧 API Reference - примеры запросов

---

Лицензия: MIT | Поддерживаемые версии: Python 3.8+