JarCastingKoalaNLP
소개
KoalaNLP는 한국어 처리의 통합 인터페이스를 지향하는 Java/Kotlin/Scala Library입니다.
이 프로젝트는 서로 다른 형태의 형태소 분석기를 모아, 동일한 인터페이스 아래에서 사용할 수 있도록 하는 것이 목적입니다. (정렬은 개발단체/개발자명 국문 가나다순)
- 김상준님의 Daon 분석기
- Shineware의 코모란 v3.3.9
- 서울대의 꼬꼬마 형태소/구문 분석기 v2.1
- ETRI의 공공 인공지능 Open API
- OpenKoreanText의 오픈 소스 한국어 처리기 v2.3.1 (구 Twitter 한국어 분석기)
- 울산대학교의 UTagger 2018년 10월 31일자 1-2, (별도설치 필요: 설치법)
- 은전한닢 프로젝트의 SEunjeon(S은전) v1.5.0 (Mecab-ko의 Scala/Java 판본)
- 이수명님의 Arirang Morpheme Analyzer 1-1
- 최석재님의 RHINO v3.7.8
- KAIST의 한나눔 형태소 분석기와 NLP_HUB 구문분석기
- Kakao의 카이(Khaiii) v0.4 (별도설치 필요: 설치법)
주1-1 Arirang 분석기의 출력을 형태소분석에 적합하게 조금 다듬었으므로, 원본과 약간 다른 결과를 낼 수도 있습니다.
주1-2 UTagger의 2019-7 버전도 공개되어 있지만, 리눅스 개발환경을 위한 라이브러리 파일이 공개되어있지 않아 지원하지 않습니다.
분석기의 개선이나 추가 등을 하고 싶으시다면,
- 개발이 직접 가능하시다면 pull request를 보내주세요. 테스트 후 반영할 수 있도록 하겠습니다.
- 개발이 어렵다면 issue tracker에 등록해주세요. 검토 후 답변해드리겠습니다.
특징
KoalaNLP는 다음과 같은 특징을 가지고 있습니다.
-
복잡한 설정이 필요없는 텍스트 분석:
모델은 자동으로 Maven으로 배포되기 때문에, 각 모델을 별도로 설치할 필요가 없습니다.
-
코드 2~3 줄로 수행하는 텍스트 처리:
모델마다 다른 복잡한 설정 과정, 초기화 과정은 필요하지 않습니다. Dependency에 추가하고, 객체를 생성하고, 분석 메소드를 호출하는 3줄이면 끝납니다.
-
모델에 상관 없는 동일한 코드, 동일한 결과:
모델마다 실행 방법, 실행 결과를 표현하는 형태가 다릅니다. KoalaNLP는 이를 정부 및 관계기관의 표준안에 따라 표준화합니다. 따라서 모델에 독립적으로 응용 프로그램 개발이 가능합니다.
-
Java, Kotlin, Scala, Python 3, NodeJS에서 크게 다르지 않은 코드:
KoalaNLP는 여러 프로그래밍 언어에서 사용할 수 있습니다. 어디서 개발을 하더라도 크게 코드가 다르지 않습니다.
참고
모든 코드는 Kotlin으로 작성되어 있습니다. Java나 Scala에 비해서 유지 보수에 편리하다고 판단하여 변경하였습니다.
- Kotlin의 사용법은 Try Kotlin (공식)에서 학습하실 수 있습니다.
- 모든 코드는 Java와 Kotlin에서 완벽히 상호 호환됩니다.
- 더불어 기존 1.x의 Scala 사용을 지원하기 위해서
koalanlp-scala를 통해 Implicit 변환을 지원합니다.
License 조항
이 프로젝트 자체(KoalaNLP-core)와 인터페이스 통합을 위한 코드는 소스코드에 저작권 귀속에 대한 별도 지시사항이 없는 한 v1.8.0부터 MIT License을 따르며, 원본 분석기의 License와 저작권은 각 저작권자가 지정한 바를 따릅니다.
단, GPL의 저작권 조항에 따라, GPL 하에서 이용이 허가되는 패키지들의 저작권은 해당 저작권 규정을 따릅니다.
- Hannanum 및 NLP_HUB: GPL v3
- KKMA: GPL v2 (GPL v2를 따르지 않더라도, 상업적 이용시 별도 협의 가능)
- KOMORAN 3.x: Apache License 2.0
- Open Korean Text: Apache License 2.0
- UTagger: 교육 및 연구용으로 사용시 제한 없음. 상업용인 경우 울산대와 기술이전 등의 유료 협약 필요
- SEunjeon: Apache License 2.0
- 아리랑: Apache License 2.0
- RHINO: MIT (참고: 이전 버전은 GPL v3)
- Daon: 지정된 조항 없음
- ETRI: 별도 API 키 발급 동의 필요
- Khaiii: Apache License 2.0
Dependency 추가
Java 패키지 목록
| 패키지명 | 설명 | 버전 | License (원본) |
|---|---|---|---|
koalanlp-core |
통합 인터페이스의 정의가 등재된 중심 묶음입니다. |  |
MIT |
koalanlp-scala |
Scala를 위한 편의기능 (Implicit conversion 등) |  |
MIT |
koalanlp-server |
HTTP 서비스 구성을 위한 패키지입니다. | (2.x 개발중) | MIT |
koalanlp-kmr |
코모란 Wrapper / 분석범위: 형태소 |  |
Apache 2.0 |
koalanlp-eunjeon |
은전한닢 Wrapper / 분석범위: 형태소 |  |
Apache 2.0 |
koalanlp-arirang |
아리랑 Wrapper / 분석범위: 형태소 2-1 |  |
Apache 2.0 |
koalanlp-rhino |
RHINO Wrapper / 분석범위: 형태소 2-1 |  |
MIT |
koalanlp-daon |
Daon Wrapper / 분석범위: 형태소 2-1 |  |
MIT(별도 지정 없음) |
koalanlp-khaiii |
Kakao Khaiii Wrapper / 분석범위: 형태소 2-3 |  |
Apache 2.0 |
koalanlp-utagger |
울산대 UTagger Wrapper / 분석범위: 형태소 2-4 |  |
교육/연구용 무료, 상업용 별도협약 |
koalanlp-okt |
Open Korean Text Wrapper / 분석범위: 문장분리, 형태소 |  |
Apache 2.0 |
koalanlp-kkma |
꼬꼬마 Wrapper / 분석범위: 형태소, 의존구문 2-1 |  |
GPL v2 |
koalanlp-hnn |
한나눔 Wrapper / 분석범위: 문장분리, 형태소, 구문분석, 의존구문 2-1 |  |
GPL v3 |
koalanlp-etri |
ETRI Open API Wrapper / 분석범위: 형태소, 구문분석, 의존구문, 개체명, 의미역 |  |
MIT2-2 |
주2-1 꼬꼬마, 한나눔, 아리랑, RHINO 분석기는 타 분석기와 달리 Maven repository에 등재되어 있지 않아, 원래는 수동으로 직접 추가하셔야 합니다. 이 점이 불편하다는 것을 알기에, KoalaNLP는 assembly 형태로 해당 패키지를 포함하여 배포하고 있습니다. 포함된 패키지를 사용하려면,
assemblyclassifier를 사용하십시오. "assembly" classifier가 지정되지 않으면, 각 분석기 라이브러리가 빠진 채로 dependency가 참조됩니다.주2-2 ETRI의 경우 Open API를 접근하기 위한 코드 부분은 KoalaNLP의 License 정책에 귀속되지만, Open API 접근 이후의 사용권에 관한 조항은 ETRI에서 별도로 정한 바를 따릅니다. 따라서, ETRI의 사용권 조항에 동의하시고 키를 발급하셔야 하며, 다음 위치에서 발급을 신청할 수 있습니다: 키 발급 신청
주2-3 Khaiii 분석기의 경우는 Java가 아닌 C++로 구현되어 사용 전 분석기의 설치가 필요합니다. Python3.6 및 CMake 3.10+만 설치되어 있다면 설치 자체가 복잡한 편은 아니니 여기를 참조하여 설치해보세요. 참고로, KoalaNLP가 Travis CI에서 패키지를 자동 테스트하기 위해 구현된 bash script는 여기에 있습니다.
주2-4 UTagger 분석기의 경우에도 C/C++로 구현되어, 사용 전 분석기의 설치가 필요합니다. 윈도우와 리눅스(우분투, CentOS)용 라이브러리 파일만 제공되며, 설치 방법은 여기를 참조하십시오.
실행환경
- KoalaNLP의 모든 코드는 OpenJDK 12에서 테스트 되었습니다.
- Kotlin의 경우는 1.3.50이 기준입니다.
- Scala의 경우는
KoalaNLP-scala패키지의 버전에 따릅니다. 단, 은전한닢과 Open Korean Text는 의존하는 라이브러리가 Scala에서 개발되어 Scala에서 사용시 제한이 있을 수 있으며, 이는를 참조하십시오.
- Python과 NodeJS는 각각의 저장소를 참고하십시오:
Gradle
ext.koala_version = '2.1.4'
repositories {
mavenCentral()
jcenter()
maven { url "https://jitpack.io" } // 코모란의 경우에만 추가.
}
dependencies{
// 코모란의 경우
implementation "kr.bydelta:koalanlp-kmr:${ext.koala_version}"
// 은전한닢 프로젝트(Mecab-ko)의 경우
implementation "kr.bydelta:koalanlp-eunjeon:${ext.koala_version}"
// 아리랑의 경우
implementation "kr.bydelta:koalanlp-arirang:${ext.koala_version}:assembly"
// RHINO의 경우
implementation "kr.bydelta:koalanlp-rhino:${ext.koala_version}:assembly"
// Daon의 경우
implementation "kr.bydelta:koalanlp-daon:${ext.koala_version}:assembly"
// OpenKoreanText의 경우
implementation "kr.bydelta:koalanlp-okt:${ext.koala_version}"
// 꼬꼬마의 경우
implementation "kr.bydelta:koalanlp-kkma:${ext.koala_version}:assembly"
// 한나눔의 경우
implementation "kr.bydelta:koalanlp-hnn:${ext.koala_version}:assembly"
// ETRI Open API의 경우
implementation "kr.bydelta:koalanlp-etri:${ext.koala_version}"
// Khaiii의 경우 (Khaiii C++ 별도 설치 필요)
implementation "kr.bydelta:koalanlp-khaiii:${ext.koala_version}"
// REST Server Service의 경우 (준비중)
implementation "kr.bydelta:koalanlp-server:${ext.koala_version}"
}
SBT
(버전은 Latest Release 기준입니다. SNAPSHOT을 사용하시려면, latest.integration을 사용하세요.)
val koalaVer = "2.1.4"
// 코모란 분석기의 경우
resolvers += "jitpack" at "https://jitpack.io/"
libraryDependencies += "kr.bydelta" % "koalanlp-kmr" % koalaVer
// 은전한닢 분석기의 경우
libraryDependencies += "kr.bydelta" % "koalanlp-eunjeon" % koalaVer
// 아리랑 분석기의 경우
libraryDependencies += "kr.bydelta" % "koalanlp-arirang" % koalaVer classifier "assembly"
// RHINO 분석기의 경우
libraryDependencies += "kr.bydelta" % "koalanlp-rhino" % koalaVer classifier "assembly"
// Daon 분석기의 경우
libraryDependencies += "kr.bydelta" % "koalanlp-daon" % koalaVer classifier "assembly"
// Open Korean Text 분석기의 경우
libraryDependencies += "kr.bydelta" % "koalanlp-okt" % koalaVer
// 꼬꼬마 분석기의 경우
libraryDependencies += "kr.bydelta" % "koalanlp-kkma" % koalaVer classifier "assembly"
// 한나눔 분석기의 경우
libraryDependencies += "kr.bydelta" % "koalanlp-hannanum" % koalaVer classifier "assembly"
// ETRI 분석기의 경우
resolvers += Resolver.JCenterRepository
libraryDependencies += "kr.bydelta" % "koalanlp-etri" % koalaVer
// Khaiii 분석기의 경우 (Khaiii C++ 별도 설치 필요)
resolvers += Resolver.JCenterRepository
libraryDependencies += "kr.bydelta" % "koalanlp-khaiii" % koalaVer
// UTagger 분석기의 경우 (UTagger C++ 별도 설치 필요)
resolvers += Resolver.JCenterRepository
libraryDependencies += "kr.bydelta" % "koalanlp-utagger" % koalaVer
// REST Server Service의 경우 (준비중)
libraryDependencies += "kr.bydelta" % "koalanlp-server" % koalaVer
Maven
Maven을 사용하시는 경우, 다음과 같습니다. ${TAGGER_PACK}위치에는 원하는 품사분석기의 패키지를 써주시고, ${TAGGER_VER}위치에는 품사분석기의 버전을 써주세요.
<dependency>
<groupId>kr.bydelta</groupId>
<artifactId>koalanlp-${TAGGER.PACK}</artifactId>
<version>${TAGGER_VER}</version>
</dependency>
Classifier를 추가하실 경우, <artifactId>다음 행에 다음 코드를 추가하세요.
<classifier>assembly</classifier>
예를 들어서, 꼬꼬마 분석기(koalanlp-kkma) 버전 2.1.3을 추가하고자 한다면, 아래와 같습니다.
<dependency>
<groupId>kr.bydelta</groupId>
<artifactId>koalanlp-kkma</artifactId>
<classifier>assembly</classifier>
<version>2.1.3</version>
</dependency>
사용방법
아래에는 대표적인 특징만 기술되어 있습니다.
상세한 사항은 Usage, Sample 또는 API Doc을 참고하십시오.
여러 패키지의 사용
통합 인터페이스는 여러 패키지간의 호환이 가능하게 설계되어 있습니다. 이론적으로는 타 패키지의 품사 분석 결과를 토대로 구문 분석이 가능합니다.
Note:
- 본 분석의 결과는 검증되지 않았습니다.
- 신조어 등으로 인해 한나눔이나 꼬꼬마에서 품사 분석이 제대로 수행되지 않을 경우를 위한 기능입니다.
- 사용자 정의 사전은
Tagger와Parser의 대상이 되는 패키지에 모두에 추가하여야 합니다.- 타 패키지의 분석 결과는 ETRI 분석기의 입력으로 쓸 수 없습니다.
Kotlin
/* 패키지 명: 한나눔(hnn), 코모란(kmr), 꼬꼬마(kkma), 은전한닢(eunjeon), 트위터(twt), 아리랑(arirang) */
// 예시에서는 트위터 문장분석기, 은전한닢 품사 분석, 꼬꼬마 구문 분석을 진행함.
import kr.bydelta.koala.twt.SentenceSplitter
import kr.bydelta.koala.eunjeon.Tagger
import kr.bydelta.koala.kkma.Parser
val splitter = SentenceSplitter()
val tagger = Tagger()
val parser = Parser()
val paragraph = "누군가가 말했다. Python에는 KoNLPy가 있다. Kotlin은 KoalaNLP가 있다."
val sentences = splitter(paragraph)
val tagged = sentences.map{ tagger.tagSentence(it) }
val parsed = tagged.map{ parser.parse(it) }
Scala
import kr.bydelta.koala.twt.SentenceSplitter
import kr.bydelta.koala.eunjeon.Tagger
import kr.bydelta.koala.kkma.Parser
val splitter = new SentenceSplitter
val tagger = new Tagger
val parser = new Parser
val paragraph = "누군가가 말했다. Python에는 KoNLPy가 있다. Scala는 KoalaNLP가 있었다."
val sentences = splitter.invoke(paragraph)
val tagged = sentences.map(tagger.tagSentence)
val parsed = tagged.map(parser.parse)
Java
import kr.bydelta.koala.twt.SentenceSplitter;
import kr.bydelta.koala.eunjeon.Tagger;
import kr.bydelta.koala.kkma.Parser;
import kr.bydelta.koala.Sentence;
SentenceSplitter splitter = new SentenceSplitter();
Tagger tagger = new Tagger();
Tagger parser = new Parser();
String paragraph = "누군가가 말했다. Python에는 KoNLPy가 있다. Java는 KoalaNLP가 있었다.";
List<String> sentences = splitter.invoke(paragraph);
for(String line : sentences){
Sentence tagged = tagger.tagSentence(line);
Sentence parsed = parser.parse(tagged);
}
품사분석기별 결과 비교
Sample: 결과비교를 참조해주세요.
