새 언어 프로필 추가 — langdetect.jar로 프로필 만들기

새 언어 프로필 추가

기본 55개 언어로 충분하지 않다면, 직접 언어 프로필을 만들어 추가할 수 있어요. 원본 Java 프로젝트가 제공하는 langdetect.jar 도구로 위키피디아 초록 데이터베이스나 평문 텍스트에서 프로필을 생성해요.

출처: https://github.com/shuyo/language-detection

위키피디아 초록에서 생성

위키피디아 다운로드 페이지에서 (언어코드)wiki-(버전)-abstract.xml 형식의 파일을 받아 프로필을 만들어요(예: enwiki-20101004-abstract.xml).

java -jar langdetect.jar --genprofile -d [directory path] [language codes]
  • -d 옵션으로 초록 데이터베이스가 있는 디렉터리를 지정해요.
  • 이 도구는 gzip 압축 파일도 처리할 수 있어요.

중국어 파일명은 zhwiki-(버전)-abstract-zh-cn.xml 또는 zhwiki-(버전)-abstract-zh-tw.xml 형태라서, 각각 zh-cnwiki-(버전)-abstract.xml 또는 zh-twwiki-(버전)-abstract.xml로 바꿔줘야 해요.

평문에서 생성

평문 텍스트로 프로필을 만들려면 genprofile-text 명령을 써요.

java -jar langdetect.jar --genprofile-text -l [language code] [text file path]

각도로 보는 탐지

이 Java 라이브러리는 n-gram 기반 통계로 텍스트의 언어를 추정하는 방식을 써요. 프로필은 언어별 문자·n-gram 출현 패턴을 담고 있고, 이것이 파이썬 langdetect가 감지에 사용하는 데이터예요.

더 알아보기