docsite-ingest-mcp 0.3.0

Scrape documentation websites, index in Chroma, expose retrieval through MCP

Guide d'Installation et d'Utilisation - docsite-ingest-mcp

Guide simple pour installer et utiliser docsite-ingest-mcp dans votre projet.

Installation

Prérequis

• Python 3.11+
• pip

Installer le package

pip install docsite-ingest-mcp

Vérifier l'installation

python -m docsite_ingest_mcp --help

Ou si la commande n'est pas reconnue:

python -m docsite_ingest_mcp --help

Configuration Rapide

1. Créer un fichier sites.json

Créer un fichier sites.json pour définir les documentations à indexer:

{
  "sites": [
    {
      "site_id": "haystack",
      "site_name": "Haystack Documentation",
      "start_url": "https://docs.haystack.deepset.ai/docs/intro",
      "allowed_host": "docs.haystack.deepset.ai",
      "allowed_path_prefix": "/docs/"
    }
  ]
}

Paramètres:

• site_id: Identifiant unique (utilisé pour nommer les fichiers)
• site_name: Nom de la documentation
• start_url: URL de départ du crawl
• allowed_host: Domaine du site
• allowed_path_prefix: Préfixe des URLs à crawler

2. Indexer les documentations

Première fois (peut prendre plusieurs minutes):

python -m docsite_ingest_mcp ingest --sites-config sites.json

python -m docsite_ingest_mcp ingest --sites-config sites.json

Les données seront stockées dans data/:

• data/raw/: Documents scrapés
• data/chroma/: Base de données vectorielle

Mises à jour futures:

python -m docsite_ingest_mcp ingest --incremental

Intégrer dans Claude (via MCP)

1. Lancer le serveur MCP

python -m docsite_ingest_mcp mcp-server

Le serveur expose une recherche sémantique des documentations indexées.

2. Configurer Claude pour utiliser votre MCP

Option A: Avec claude-desktop (Recommandé)

Éditer %APPDATA%\Claude\claude_desktop_config.json (Windows):

{
    "docsite_ingest_mcp": {
      "command": "python",
      "args": ["-m", "docsite_ingest_mcp", "serve"],    
      "env": {
        "MCP_SYSTEM_PROMPT": "You have access to indexed documentation for: FastApi, Python, Django. ALWAYS search this documentation first before using your training data. For ANY technical question about these products, call list_indexed_doc_sites() then search_documentation() immediately. Provide source URLs in all answers."
      }
    },
}

À personnaliser :

• Remplacez Django, FastAPI, Python par les noms exacts des documentations que vous avez indexées (visibles avec la commande list_indexed_doc_sites())

Impact : L'orchestrateur comprendra exactement quelles documentations sont disponibles et cherchera en priorité dans votre MCP plutôt que dans sa mémoire d'entraînement.

Puis redémarrer Claude Desktop.

Option B: Via cURL (Test rapide)

# Terminal 1: Lancer le serveur
python -m docsite_ingest_mcp serve

Option C: Intégration Programmatique

Dans votre application Python:

import subprocess
import json

# Démarrer le serveur
process = subprocess.Popen(
    ["docsite_ingest_mcp", "serve"],
    stdin=subprocess.PIPE,
    stdout=subprocess.PIPE,
    stderr=subprocess.PIPE
)

Commandes Utiles

Indexer un seul site (ad-hoc)

python -m docsite_ingest_mcp ingest \
  --site-id my-docs \
  --site-name "My Docs" \
  --start-url "https://docs.example.com/" \
  --allowed-host "docs.example.com" \
  --allowed-path-prefix "/"

Limiter l'indexation à N pages

python -m docsite_ingest_mcp ingest --sites-config sites.json --max-pages 500

Réinitialiser la base (efface tout ⚠️)

python -m docsite_ingest_mcp ingest --sites-config sites.json --reset

Dépannage

La commande docsite-ingest-mcp ne fonctionne pas

# Vérifier l'installation
pip list | grep docsite-ingest-mcp

# Réinstaller
pip install --upgrade docsite-ingest-mcp

# Ou utiliser la commande module
python -m docsite_ingest_mcp --help

Le serveur MCP ne démarre pas

# Lancer avec logs détaillés
python -m docsite_ingest_mcp mcp-server 2>&1 | more

Pas de données indexées

# Vérifier que les données existent
ls -la data/chroma/

# Réindexer depuis zéro
python -m docsite_ingest_mcp ingest --sites-config sites.json --reset

Documentation Complète

• Pour les développeurs: Voir DEVELOPMENT.md
• Pour le README général: Voir README.md