한국어 말뭉치용 langumo parser 모음
Project description
langumo-ko
한국어 말뭉치용 langumo parser 모음
Introduction
langumo-ko
는 langumo
라이브러리에서 사용할 수 있는 한국어용 Parser
를 제공합니다. langumo
를 사용하여
데이터셋을 빌드할 시, 해당 라이브러리에서 구현된 Parser
를 사용하여 다양한 말뭉치
데이터를 간단하게 사용할 수 있습니다. langumo-ko
가 지원하는 말뭉치 종류는 다음과
같습니다.
- 나무위키
(
langumo_ko.namuwiki.NamuWikiParser
): 나무위키 덤프 파일을 파싱합니다. 7z 형식으로 압축된 덤프 파일에 포함된 원본 json 파일을 사용해야 합니다. - 모두의 말뭉치 - 신문 말뭉치
(
langumo_ko.moducorpus.ModuNewsCorpus
): 모두의 말뭉치에서 제공하는 신문 말뭉치 데이터를 파싱합니다. - 모두의 말뭉치 - 문어 말뭉치
(
langumo_ko.moducorpus.ModuWrittenCorpus
): 모두의 말뭉치에서 제공하는 문어 말뭉치 데이터를 파싱합니다. - 모두의 말뭉치 - 웹 말뭉치
(
langumo_ko.moducorpus.ModuWebCorpus
): 모두의 말뭉치에서 제공하는 웹 말뭉치 데이터를 파싱합니다.
Installation
With pip
langumo-ko
는 PyPI 저장소에 배포되어 있습니다. pip
을
이용하여 다음과 같이 설치할 수 있습니다.
$ pip install langumo-ko
From source
pip
을 사용하는 대신, 해당 레포지토리를 내려받고 직접 빌드해 설치할 수 있습니다.
$ git clone https://github.com/affjljoo3581/langumo-ko.git
$ cd langumo-ko
$ python setup.py install
Usage
langumo
로 위에서 나열한 말뭉치를
빌드하기 위해서 다음과 같이 build.yml
을 수정하면 됩니다.
langumo:
inputs:
- path: src/NIKL_NEWSPAPER(v1.0).zip
parser: langumo_ko.moducorpus.ModuNewsParser
# other configurations...
License
langumo-ko
라이브러리는 Apache-2.0 라이센스를 갖습니다.
Project details
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
langumo-ko-0.1.1.tar.gz
(5.1 kB
view hashes)
Built Distribution
langumo_ko-0.1.1-py3-none-any.whl
(10.9 kB
view hashes)
Close
Hashes for langumo_ko-0.1.1-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | f925da90b50c186034ac9d980f3e0e2852f9acfa2ebdcacac78a365a6443bdf1 |
|
MD5 | b5c865701eeff800922fdfcee192f878 |
|
BLAKE2b-256 | 21c623890d38b73d0dc6eba2b26f87afd18bea703624693024eafb9485f2827a |