pyprocessors-coreference

Processor grouping the mentions of the same entity.

Ce dépôt enregistre un processeur dans le groupe d'entry-points pyprocessors.plugins :

Il regroupe les mentions d'une même entité avant le linking, pour qu'elles soient liées une seule fois, à partir de leur forme la plus longue. C'est l'étape de regroupement des mentions de l'ADR-0001 de pyannotators_entityfishing (docs/adr/), palier 1 : les noms seulement.

Ce qu'il fait

Pour chaque document, entre mentions de même label :

• même surface normalisée → même groupe. La normalisation ignore la casse, les espaces, le style des apostrophes, et les civilités en tête d'un nom de personne (« M. », « Mme », « Dr »…) ;
• tous les labels de personne forment une seule famille : le person du NER et l'afpperson des lexiques AFP annotent le même span, et vont dans le même groupe ;
• un nom partiel de personne rejoint le nom complet dont il est la fin, que le nom complet soit avant ou après lui dans le document : « Macron » et « M. Macron » rejoignent « Emmanuel Macron » ;
• un prénom seul ne rejoint jamais un nom complet : « Emmanuel » reste à part ;
• un nom partiel ambigu n'est pas fusionné : avec « Emmanuel Macron » et « Brigitte Macron » dans le texte, « Macron » garde son propre groupe, et liste les groupes possibles pour que l'étape de linking tranche ;
• la règle du nom partiel ne vaut que pour les personnes : « Airbus » ne rejoint pas « Airbus Defence and Space ».

Sur chaque annotation d'un label regroupé, il écrit dans properties :

Les autres propriétés de l'annotation sont gardées, et traiter deux fois un document donne le même résultat. La portée est le document entier, ce qui convient à une dépêche ; les documents longs sont une question ouverte (SHERPA-3048).

Requirements

• Python 3.12+
• pymultirole_plugins (>=1.6.0,<1.7.0)

Installation

pip install pyprocessors-coreference

Usage

from pymultirole_plugins.v1.schema import Annotation, Document

from pyprocessors_coreference.coreference import CoreferenceParameters, CoreferenceProcessor

text = "Emmanuel Macron est arrivé. M. Macron a parlé."
document = Document(
    text=text,
    annotations=[
        Annotation(start=0, end=15, labelName="person", text="Emmanuel Macron"),
        Annotation(start=28, end=37, labelName="person", text="M. Macron"),
    ],
)
[document] = CoreferenceProcessor().process([document], CoreferenceParameters())
# Both annotations: entity_group "g1", canonical_form "Emmanuel Macron".

Parameters

Development

Le build est piloté par Task et uv, les stages venant du submodule python-archetype :

git submodule update --init
task stages          # les stages du pipeline, dans l'ordre
task                 # tout sauf le dernier stage — donc tout sauf la publication
task -- --skip-tests # idem, sans le stage de test
task up-to -- py:lint
task jenkins         # tout, exactement ce que joue Jenkins
task --list

uv.lock n'est pas versionné ici, donc py:sync résout les dépendances à neuf.