한국어 말뭉치용 langumo parser 모음
Project description
langumo-ko
한국어 말뭉치용 langumo parser 모음
Introduction
langumo-ko
는 langumo
라이브러리에서 사용할 수 있는 한국어용 Parser
를 제공합니다. langumo
를 사용하여
데이터셋을 빌드할 시, 해당 라이브러리에서 구현된 Parser
를 사용하여 다양한 말뭉치
데이터를 간단하게 사용할 수 있습니다. langumo-ko
가 지원하는 말뭉치 종류는 다음과
같습니다.
- 나무위키
(
langumo_ko.namuwiki.NamuWikiParser
): 나무위키 덤프 파일을 파싱합니다. 7z 형식으로 압축된 덤프 파일에 포함된 원본 json 파일을 사용해야 합니다. - 모두의 말뭉치 - 신문 말뭉치
(
langumo_ko.moducorpus.ModuNewsCorpus
): 모두의 말뭉치에서 제공하는 신문 말뭉치 데이터를 파싱합니다. - 모두의 말뭉치 - 문어 말뭉치
(
langumo_ko.moducorpus.ModuWrittenCorpus
): 모두의 말뭉치에서 제공하는 문어 말뭉치 데이터를 파싱합니다. - 모두의 말뭉치 - 웹 말뭉치
(
langumo_ko.moducorpus.ModuWebCorpus
): 모두의 말뭉치에서 제공하는 웹 말뭉치 데이터를 파싱합니다.
Installation
With pip
langumo-ko
는 PyPI 저장소에 배포되어 있습니다. pip
을
이용하여 다음과 같이 설치할 수 있습니다.
$ pip install langumo-ko
From source
pip
을 사용하는 대신, 해당 레포지토리를 내려받고 직접 빌드해 설치할 수 있습니다.
$ git clone https://github.com/affjljoo3581/langumo-ko.git
$ cd langumo-ko
$ python setup.py install
Usage
langumo
로 위에서 나열한 말뭉치를
빌드하기 위해서 다음과 같이 build.yml
을 수정하면 됩니다.
langumo:
inputs:
- path: src/NIKL_NEWSPAPER(v1.0).zip
parser: langumo_ko.moducorpus.ModuNewsParser
# other configurations...
License
langumo-ko
라이브러리는 Apache-2.0 라이센스를 갖습니다.
Project details
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
langumo-ko-0.1.0.tar.gz
(5.0 kB
view hashes)
Built Distribution
langumo_ko-0.1.0-py3-none-any.whl
(10.9 kB
view hashes)
Close
Hashes for langumo_ko-0.1.0-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | ae40ea061c16c187926f9a6be936d2aefa49a51ca2a1c3d5200f5e92142dd490 |
|
MD5 | 197e8094a476fccafbd66dda9580b1d8 |
|
BLAKE2b-256 | 0b6f8c5c19d838f90eb5782e9117a4e0b402b5446a0ae02e1a658e830b12cd34 |