attnview

attnview é um explorador HTML para pesquisa de atenção em Transformers. A interface foi feita para notebooks: ela começa com uma pergunta (query), mostra os tokens que essa posição consulta e deixa a matriz completa como inspeção secundária.

O caso normal: uma célula de notebook

pip install -U attnview

import attnview

# attention: [n_heads, query_length, key_length]
attnview.display(attention, tokens=tokens)

O resultado é um relatório interativo dentro do notebook. Você pode trocar camada, head e query; procurar um token; ver os maiores destinos; ordenar todos os pesos; e abrir a matriz exata quando precisar conferir um detalhe.

Prompts longos

O relatório não tenta colocar todos os tokens em uma linha. Ele mostra uma janela ao redor da query selecionada, com um campo de busca para saltar diretamente para qualquer posição. Nenhum valor é descartado: a tabela e a matriz completa ficam disponíveis abaixo.

TransformerLens

Passe o ActivationCache retornado por model.run_with_cache(...). O adaptador procura automaticamente os padrões ("pattern", layer) e reúne todas as camadas em um único relatório.

import attnview

logits, cache = model.run_with_cache(tokens)
view = attnview.display_cache(cache, tokens=model.to_str_tokens(tokens))

Para salvar o mesmo relatório:

attnview.export_cache(cache, "attention-atlas.html", tokens=model.to_str_tokens(tokens))

TransformerLens não é uma dependência obrigatória. A integração aceita qualquer objeto com a mesma interface de cache; para dados sem cache, use display.

Exportar um padrão

attnview.export_html(attention, "attention.html", tokens=tokens)

Use query_tokens e key_tokens separadamente para cross-attention. Os pesos exibidos são os valores brutos fornecidos; o relatório não os normaliza e não afirma causalidade a partir deles.

Instalação para notebooks

Jupyter normalmente já instala IPython. Se necessário:

pip install 'attnview[notebook]'

Desenvolvimento

python -m pip install -e '.[dev,notebook]'
python -m pytest
python -m build
python -m twine check dist/*

Licença

MIT