cvgruplac-json
Une los JSON de cvlac-json (el CvLAC de una persona) y de
gruplac-json (el GrupLAC de un grupo) de Minciencias: cada producto de
los dos recibe un id y una lista scrapping_ids con sus ids en una y otra fuente, así que un producto del grupo
apunta al mismo producto en el CV de cada integrante que lo firmó, y al revés.
No descarga nada ni llama a ninguna API: lee los JSON que ya escribieron los dos paquetes y escribe copias unidas, sin tocar los originales. Solo usa la biblioteca estándar.
Instalación
pip install cvgruplac-json
Uso
cvgruplac-json --cvlac cvlac/ --gruplac gruplac/ --out unidos/
cvgruplac-json --cvlac cvlac_udea/ cvlac_colombia/json/ --gruplac gruplac/json/ --out unidos/ --workers 4
cvgruplac-json --gruplac gruplac_COL0008423.json --cvlac cvlac_0000707619.json --out unidos/
cvgruplac-json --gruplac gruplac/ --out unidos/ # sin CvLAC: ids de CvLAC sin verificar
--cvlacy--gruplacreciben archivos o carpetas (cvlac_*.json[.gz],gruplac_*.json[.gz]). Si un COD_RH o un grupo está en más de una entrada, gana la primera.- Escribe
unidos/gruplac/yunidos/cvlac/con el mismo nombre y compresión de cada entrada, yunidos/cvgruplac_summary.jsoncon los conteos y los archivos que no pudo leer.--only gruplacescribe solo los GrupLAC. - Hace tres pasadas: lee los hashes de los CvLAC, une los GrupLAC y luego los CvLAC.
En Python:
from cvgruplac_json import link, link_gruplac, link_cvlac, id_hash
index = link(gruplacs, cvlacs) # listas de dicts de gruplac-json y cvlac-json, unidos en su lugar
Los identificadores
Cada producto (obras, proyectos, eventos, patentes y cada ítem de other_products) empieza con dos claves:
"id": "efc8d0bb2fa50a617767aa814a57a7a40c1c956f",
"scrapping_ids": [
{"id": "efc8d0bb2fa50a617767aa814a57a7a40c1c956f", "source": "cvlac"},
{"id": "efc8d0bb2fa50a617767aa814a57a7a40c1c956f", "source": "gruplac"}
]
En un GrupLAC
source: "cvlac": una por integrante autor conproduct_hash, en el orden de los autores. Es el id del producto en el CvLAC de ese integrante (elproduct_hashque cvlac-json pone en la entrada del dueño). Si el CvLAC del integrante está entre las entradas, se pone solo si el producto está en él; si no está, se pone con"verified": false. No hay ninguna en las secciones que solo tiene el GrupLAC (data/sections.json), ni en proyectos y eventos, que el GrupLAC lista sin autores.source: "gruplac", siempre la última: el primer id de CvLAC si lo hay, así que un producto que está en los dos tiene el mismo id. Si no, el SHA-1 detítulo|código COL|tipo|año(abajo).ides el desource: "gruplac".
En un CvLAC
source: "cvlac": elproduct_hashdel dueño. Los productos sin él (los eventos) usan el SHA-1 detítulo|COD_RH|event|año.source: "gruplac", congroup(código COL): una por cada producto de un GrupLAC que lo lista como id de CvLAC verificado. Un artículo del CV que está en dos grupos tiene dos.ides el desource: "cvlac"y reemplaza elidpor posición de cvlac-json (cvlac:COD_RH:n).
El hash. id_hash(título, dueño, tipo, año, n) es la receta del product_hash con el dueño que corresponda: el
SHA-1 de
<título>|<dueño>|<tipo>|<año>
- título en minúsculas, sin tildes y solo con letras y dígitos; un ítem sin título usa su nombre (eventos) o su texto;
- dueño: el código COL del grupo (el número GrupLAC de 14 dígitos si no tiene), o el COD_RH con 10 dígitos (con un
COD_RH y los tipos
work,project,patentyotherda exactamente elproduct_hash); - tipo:
work,project,event,patentuother; - año:
year_published,year, el año destarto el dedate.
Si varios productos del mismo JSON dan la misma clave, el n-ésimo, en el orden de la página, lleva |n al final; y
un candidato ya usado en ese JSON pasa al siguiente n. Por eso id es único dentro de cada GrupLAC y de cada
CvLAC. Ejemplo de clave de un evento: juevesdelaciencia|COL0008423|event|2023.
product_hash.py es una copia sin cambios del de cvlac-json y gruplac-json; tests/product_hash_vectors.json fija
su resultado en los tres paquetes.
Un producto por línea: --products
cvgruplac-json --cvlac cvlac/ --gruplac gruplac/ --out unidos/ --products
Escribe además unidos/products.jsonl.gz, con una línea por producto distinto, también los que ningún grupo lista:
{"id": "…", "kind": "work", "section": "Artículos", "title": "…", "year": "2019",
"groups": ["COL0008423"],
"owners": [{"cod_rh": "0001668438", "cvlac_id": "…", "group_status": "in_group"},
{"cod_rh": "0001376231", "cvlac_id": "…", "group_status": "in_group_other_author",
"candidate_groups": ["COL0008423"]}],
"scrapping_ids": [{"id": "…", "source": "cvlac"}, {"id": "…", "source": "gruplac", "group": "COL0008423"}],
"merged_by": ["product_hash", "doi"], "record_source": "cvlac", "record": {…}}
-
Qué se une. Los registros que comparten un id de CvLAC (el
product_hashde una persona: su CvLAC y los GrupLAC que lo listan con ese id), o el mismo DOI con el mismo año y las mismas primeras 20 letras del título. Los demás son una línea cada uno: productos del GrupLAC sin id de CvLAC, y productos del CvLAC que ningún grupo lista. -
owners[].group_status, por qué el producto de esa persona está o no en un grupo:Valor Significado in_groupUn GrupLAC lo lista con el id de esta persona ( "verified": falsesi su CvLAC no estaba entre las entradas).in_group_other_authorUn grupo de la persona en ese año lo lista, con el id de otro integrante (unido por DOI). cvlac_only_sectionSección que el GrupLAC no tiene (Par evaluador, Patentes, Secretos empresariales…). unmatchable_kindProyecto o evento: el GrupLAC los lista sin autores. no_groupLa persona no es integrante de ningún GrupLAC. no_yearIntegrante de algún grupo, pero el producto no tiene año. member_not_reportedIntegrante de candidate_groupsen el año del producto, y ninguno lo lista.outside_membershipIntegrante de algún grupo, pero no en el año del producto. candidate_groupssale de los periodos de vinculación de los integrantes; es una sugerencia y no se agrega a las afiliaciones del registro. -
record: el producto como lo escribe el CvLAC del primer dueño, si lo hay; si no, como lo escribe el primer GrupLAC (record_source), sin suidni susscrapping_ids. -
Autores de una línea unida.
record.authorsreúne a todos los dueños de la línea. La entrada de autor de cada otro dueño (la de su CvLAC o, si su CvLAC no está entre las entradas, la del GrupLAC):- completa al autor con el mismo COD_RH, si ya está;
- si no, reemplaza al autor sin COD_RH cuyo nombre coincide (las mismas palabras, en otro orden, un nombre dentro del otro con tres palabras o más, o una palabra con una letra distinta, como gruplac-json identifica a los integrantes), si es uno solo;
- si no, se agrega al final.
Esas entradas llevan
"cvgruplac": {"merged_from": <id de CvLAC>, "name_match": "exact" | "words" | "spelling" | null}, yauthors_countsube si era menor que el número de autores. Por eso los CvLAC de esos dueños se leen una vez más antes de la tercera pasada. -
possible_duplicates.jsonl.gz: grupos de líneas de personas distintas, de productos que ningún grupo lista, con el mismo título (20 letras o más), tipo y año, que no se unieron por no tener DOI en común. Pueden ser el mismo producto en dos CV o productos distintos con el mismo título; no se unen. -
Los productos de dos personas fuera de los grupos se unen solo por DOI: su id lleva el COD_RH de cada una.
En Python: cvgruplac_json.products.product_lines(gruplacs, cvlacs), sobre JSON ya unidos con link, da
(líneas, grupos de posibles duplicados).
Desarrollo
python -m pip install -e ".[dev]"
python -m pytest
ruff check . && ruff format --check .
Las versiones se publican en PyPI desde GitHub Actions al subir una etiqueta v*; ver
PUBLISHING.md y CHANGELOG.md.
Metadata
Release files for cvgruplac-json 0.3.0
For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.
Source distribution (sdist)
| File | Size | Uploaded | Provenance | Actions |
|---|---|---|---|---|
| cvgruplac_json-0.3.0.tar.gz | 26.9 kB | With provenance | Details for cvgruplac_json-0.3.0.tar.gz |
Built distribution (wheel)
| File | Interpreter | ABI | Platform | Actions Reset |
|---|---|---|---|---|
| cvgruplac_json-0.3.0-py3-none-any.whl | Python 3 | none | any | Details for cvgruplac_json-0.3.0-py3-none-any.whl |
Total release size: 49.7 kB
Release files / cvgruplac_json-0.3.0.tar.gz
| Download URL | cvgruplac_json-0.3.0.tar.gz |
|---|---|
| Size | 26.9 kB |
| Tags | Source |
|
SHA-256 checksum How to use checksums |
4843b2de3e01688935875020f841985931a488a4e022a17d18d35ebb1c4bc166
|
|
BLAKE2b-256 checksum How to use checksums |
b806c5066a1c6e435e04d9312033c9db408a1cd52c8c74fb412441f51afe1967
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
Yes |
| Uploaded via |
twine/7.0.0 CPython/3.13.16
|
Provenance
Provenance describes where a file came from. On PyPI, provenance is shared via attestations, which provide a verifiable record of the build or publishing details. View details, limitations and caveats.
PyPI Publish Attestation
PyPI verified that this artifact, at this checksum, originated from the publisher listed below.
Signed by GitHub Actions, verified by PyPI on Nov 16, 2026.
Transparency logRelease files / cvgruplac_json-0.3.0-py3-none-any.whl
| Download URL | cvgruplac_json-0.3.0-py3-none-any.whl |
|---|---|
| Size | 22.8 kB |
| Tags | Python 3 |
|
SHA-256 checksum How to use checksums |
1e7e1032e61cefe6a48a874492c66edd73ccb5ec15ec4bf4df054336bd5d3736
|
|
BLAKE2b-256 checksum How to use checksums |
820fe5e5ebaddb45a806cab4766889cc42bfb54a53d037a9db4131edd8569790
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
Yes |
| Uploaded via |
twine/7.0.0 CPython/3.13.16
|
Provenance
Provenance describes where a file came from. On PyPI, provenance is shared via attestations, which provide a verifiable record of the build or publishing details. View details, limitations and caveats.
PyPI Publish Attestation
PyPI verified that this artifact, at this checksum, originated from the publisher listed below.
Signed by GitHub Actions, verified by PyPI on Nov 16, 2026.
Transparency logSecurity for cvgruplac-json 0.3.0
Provenance
Provenance describes where a file came from. On PyPI, provenance is shared via attestations, which provide a verifiable record of the build or publishing details. View details, limitations and caveats.
Full provenance
Both files in this release have been uploaded with provenance metadata.
Attestation for cvgruplac_json-0.3.0.tar.gz
PyPI Publish Attestation
PyPI verified that this artifact, at this checksum, originated from the publisher listed below.
Signed by GitHub Actions, verified by PyPI on Nov 16, 2026.
Transparency logA note on package security
PyPI is a repository for distributing packages, not a service for auditing them. While third-party security researchers and our staff do their best to detect and remove malicious packages, PyPI cannot guarantee the quality, security or suitability of any given package.
To learn more about protecting yourself from malicious actors, visit our package security documentation.