Hugging Face에서 SpanMarker 사용하기

Hugging Face에서 SpanMarker 사용하기 (Using SpanMarker at Hugging Face)

SpanMarker는 BERT, RoBERTa, DeBERTa 같은 익숙한 인코더를 사용해 강력한 Named Entity Recognition(개체명 인식) 모델을 학습하는 프레임워크예요. 🤗 Transformers 라이브러리 위에 긴밀하게 구현되어 있어서 그 장점을 잘 살릴 수 있습니다. 그래서 Transformers에 익숙한 사람이라면 SpanMarker를 직관적으로 사용할 수 있어요.

출처: 문서

본문

SpanMarker는 BERT, RoBERTa, DeBERTa 같은 익숙한 인코더를 사용해 강력한 Named Entity Recognition(개체명 인식) 모델을 학습하는 프레임워크입니다. 🤗 Transformers 라이브러리 위에 긴밀하게 구현되어 있어서 그 장점을 잘 활용할 수 있어요. 따라서 Transformers에 익숙한 사람이라면 누구나 SpanMarker를 직관적으로 사용할 수 있습니다.

Hub에서 SpanMarker 살펴보기 (Exploring SpanMarker in the Hub)

models 페이지 왼쪽에서 필터링하면 span_marker 모델을 찾을 수 있어요.

Hub의 모든 모델에는 다음과 같은 유용한 기능이 함께 제공됩니다:

  1. 간단한 설명이 있는 자동 생성 모델 카드.
  2. 브라우저에서 모델을 직접 만져볼 수 있는 대화형 위젯.
  3. 추론 요청을 할 수 있는 Inference Providers 위젯.

설치 (Installation)

시작하려면 SpanMarker 설치 가이드를 따라 하면 됩니다. 또는 pip로 한 줄 설치할 수도 있어요:

pip install -U span_marker

기존 모델 사용하기 (Using existing models)

모든 span_marker 모델은 Hub에서 쉽게 불러올 수 있습니다.

from span_marker import SpanMarkerModel

model = SpanMarkerModel.from_pretrained("tomaarsen/span-marker-bert-base-fewnerd-fine-super")

불러온 뒤에는 SpanMarkerModel.predict를 사용해 추론을 수행할 수 있어요.

model.predict("Amelia Earhart flew her single engine Lockheed Vega 5B across the Atlantic to Paris.")

[
    {"span": "Amelia Earhart", "label": "person-other", "score": 0.7629689574241638, "char_start_index": 0, "char_end_index": 14},
    {"span": "Lockheed Vega 5B", "label": "product-airplane", "score": 0.9833564758300781, "char_start_index": 38, "char_end_index": 54},
    {"span": "Atlantic", "label": "location-bodiesofwater", "score": 0.7621214389801025, "char_start_index": 66, "char_end_index": 74},
    {"span": "Paris", "label": "location-GPE", "score": 0.9807717204093933, "char_start_index": 78, "char_end_index": 83}
]

특정 SpanMarker 모델을 불러오고 싶다면 Use in SpanMarker를 클릭하면 동작하는 코드 스니펫이 주어져요!

추가 리소스 (Additional resources)

더 알아보기 (Learn more)

SpanMarkerModel.from_pretrained(...)로 Hub에서 모델을 불러온 뒤 .predict(...)로 개체명 인식 추론을 수행할 수 있어요. 모델 페이지 왼쪽의 span-marker 라이브러리 필터로 원하는 모델을 찾고, Use in SpanMarker 버튼으로 바로 사용 가능한 코드를 얻을 수 있습니다. 자세한 사용법은 SpanMarker 공식 문서를 참고하세요.