프로세서와 패키지
프로세서와 패키지
Stanza의 신경 파이프라인은 토큰화, MWT(다중 단어 토큰) 확장, 기본형 생성(lemmatization), 품사(POS)·형태소 태깅, 의존 구문 분석(dependency parsing), 엔티티 인식(NER) 을 포함해요. 프로세서마다 다른 데이터셋으로 훈련된 패키지를 고를 수 있어요.
프로세서별로 패키지를 다르게 지정하는 예제를 보면 이해가 빨라요. 네덜란드어에서 NER만 WikiNER 데이터로 훈련된 wikiner를 쓰고, 나머지는 lassysmall 패키지를 쓰고 싶다면 이렇게 해요.
nlp = stanza.Pipeline('nl', processors={'ner': 'wikiner'}, package='lassysmall')
독일어처럼 프로세서마다 다른 데이터셋을 섞을 수도 있어요.
processor_dict = {
'tokenize': 'gsd',
'pos': 'hdt',
'ner': 'conll03',
'lemma': 'default',
}
nlp = stanza.Pipeline('de', processors=processor_dict, package=None)
언어별로 쓰이는 모델들은 Universal Dependencies 체계를 따르고, 지원 프로세서 전체 목록은 Processors List 페이지에서 확인할 수 있어요. 파이프라인에 넣기 전에 해당 프로세서의 모델이 먼저 내려받아져 있어야 해요.