iar-tokenizer 1.0.12

A tokenizer focused on Spanish language.

IAR Tokenizer

The IAR (Iván Arias Rodríguez) Tokenizer is a tokenizer developed mainly for Spanish. It is able to divide a text in paragraphs, those in sentences, and each sentence in a list of tokens.

The creation of this software was supported by the Spanish Ministry of Education, Culture and Sport via a doctoral grant to Iván Arias Rodríguez (FPU16/04039). It has also been funded by research projects TIN2014-52010-R (RedR+Human) and TIN2017-88092 R (CetrO+Spec).

You can install this software with pip :

pip install iar-tokenizer

If you change or adapt a function, change its name (for example add your initial after the name)

This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License. http://creativecommons.org/licenses/by-nc-sa/4.0/

This code is given as is without warranty of any kind. In no event shall the authors or copyright holder be liable for any claim damages or other liability.

---

El IAR (Iván Arias Rodríguez) Tokenizer es un tokenizador desarrollado principalmente para la lengua española. Es capaz de dividir un texto en párrafo, estos en frases, y cada frase en una lista de tokens.

La creación de este software fue apoyada por el Ministerio de Educación, Cultura y Deporte de España, a través de una beca doctoral otorgada a Iván Arias Rodríguez (FPU16/04039). También ha sido financiado por los proyectos de investigación TIN2014-52010-R (RedR+Human) y TIN2017-88092 R (CetrO+Spec).

Puedes instalar este software con pip :

pip install iar-tokenizer

Si cambias o adaptas una función, cambia su nombre (por ejemplo añade tus iniciales tras el nombre)

Este trabajo se ofrece bajo la licencia Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License. http://creativecommons.org/licenses/by-nc-sa/4.0/

Este código se ofrece como es sin ninguna garantía de ningún tipo. En ningún caso los autores o el titular de los derechos de autor serán responsables de cualquier reclamación por daños y perjuicios u otra responsabilidad.