mcpserver-judge 0.1.0

Juiz Computacional para LLMs - MCP Server

mcp_judge

Índice

• Introdução
• Estrutura do projeto
• Tecnologias utilizadas
• Requisitos
• Como instalar no Claude Desktop
• Links úteis
• Contribuições
• Licença
• Contato

Introdução

O mcp-judge é um servidor que implementa o Model Context Protocol (MCP) para atuar como um juiz imparcial e rigoroso de saídas de LLMs. Diferente de uma avaliação puramente subjetiva, este projeto utiliza uma ferramenta computacional para aplicar pesos exatos e penalidades lógicas baseadas em critérios como alucinação e precisão. O objetivo é fornecer um veredito matemático ("Aprovado", "Requer Revisão" ou "Reprovado"), punindo erros graves independentemente da qualidade da escrita.

Estrutura do projeto

É um MCP-Server simples que utiliza somente o pacote FastMCP, seguindo também as orientações do repositório oficial do Model Context Protol, da Anthropic.

Este MCP-Server tem as seguintes classes:

calcular_veredito (Tool)

Realiza o cálculo da nota final aplicando pesos e penalidades:

• Pesos: Alucinação (40%), Precisão (30%), Completude (15%), Clareza (15%).
• Penalidades: Notas baixas em Alucinação ou Precisão travam o score final em "Reprovado".

prompt_juiz (Prompt)

Define a persona de um "Juiz Crítico" para o Claude. Instrui o modelo a analisar o input/output, atribuir notas mentais e obrigatoriamente invocar a tool calcular_veredito para o resultado oficial.

[!IMPORTANT] Se quiser conversar sobre esse projeto, basta acessar a versão TalkToGitHub
Want to better understand this repository, but you don't speak Portuguese? Check out this complete tutorial: Codebase - mcp_judge

Tecnologias utilizadas

               

• MCP (Model Context Protocol);
• Python;
• Claude Desktop;
• Antigravity.

Requisitos

Antes de começar, certifique-se de ter instalado:

• Python 3.10 ou superior.
• UV (Recomendado) ou PIP.
• Claude Desktop.

Como instalar no Claude Desktop

1. Baixar o projeto

Se você não sabe usar o Git, pode simplesmente baixar o projeto clicando no botão verde Code no topo da página do GitHub e selecionando Download ZIP. Extraia a pasta em um local de sua preferência (Ex: Área de Trabalho).

2. Configurar o Claude Desktop

Abra o arquivo de configuração do Claude Desktop (claude_desktop_config.json). Na docuemntação oficial do MCP a orientação do caminho para o arquivo .json é esta:

• Windows: %APPDATA%\Claude\claude_desktop_config.json
• macOS: ~/Library/Application Support/Claude/claude_desktop_config.json

[!IMPORTANT] Depois de instalar o Claude Desktop, verifique se o caminho para o json é este mesmo da documentação. Por via das dúvidas, você pode acessar o arquivo via Claude Deskktop: Menu da barra lateral > Desenvolvedor > Abrir Arquivo de Configuração de Aplicativo

Adicione a configuração abaixo. Importante: Substitua o caminho em args e --directory pelo local onde você salvou a pasta extraída (mcp_judge).

    "mcp-judge": {
      "command": "uv",
      "args": [
        "--directory",
        "C://Users//meu_usuario//OneDrive//area_de_trabalho//MCPs//mcp_judge",
        "run",
        "server.py"
      ]
    }

O comando acima usa o uv para criar ambiente e instalar dependências automaticamente antes de rodar.

Links úteis

• Documentação oficial do Model Context Protocol - Você saberá todos os detalhes dessa inovação da Anthropic
• Site oficial da Anthropic - Para ficar por dentro das novidaddes e estudos dos modelos Claude
• Como baixar o Claude Desktop - Link direto para download
• Como instalar o VSCode- Link direto para download
• Documentação oficial do pacote uv - Você saberá todos os detalhes sobre o uv e como ele é importante no python
• venv — Criação de ambientes virtuais - Explicação completa de como funcionam os venvs
• Conjunto de ícones de modelos de IA/LLM - site muito bom para conseguir ícones do ecossistema de IA
• Devicon - site bem completo também com ícones gerais sobre tecnologia
• Smolagents - documenttação oficial da biblioteca smolagents
• Como baixar o Antigravity - Página oficial de download da IDE do Google DeepMind
• LLM as a Judge (Paper) - Explicação técnica sobre o conceito de usar LLMs para avaliar outros modelos ("Judging LLM-as-a-Judge")

Contribuições

Contribuições são bem-vindas! Se você tem ideias para melhorar este projeto, sinta-se à vontade para fazer um fork do repositório.

Licença

Este projeto está licenciado sob a licença MIT - veja o arquivo LICENSE para detalhes.

Contato

Mário Lúcio - Prazo Certo®