Python API로 임베딩 만들기
Python API로 임베딩 만들기
Voyage 텍스트 임베딩은 파이썬에서 voyageai 패키지로 접근해요. 먼저 패키지를 설치하고 API 키를 세팅한 뒤, voyageai.Client.embed()로 입력을 벡터화해요.
voyageai.Client.embed(
texts : List[str],
model : str,
input_type : Optional[str] = None,
truncation : Optional[bool] = None,
output_dimension: Optional[int] = None,
output_dtype: Optional[str] = "float"
)
texts는 문자열 하나나 문자열 리스트예요. 예를 들면 ["I like cats", "I also like dogs"]처럼 넘기면 되죠. 이때 두 가지 제약이 있어요. 리스트의 최대 길이는 1,000개, 그리고 리스트 전체 토큰 합은 voyage-4-lite·voyage-3.5-lite의 경우 최대 1M, voyage-4·voyage-3.5·voyage-2는 320K, voyage-4-large·voyage-3-large·voyage-code-3·voyage-large-2-instruct·voyage-finance-2·voyage-multilingual-2·voyage-law-2는 120K예요. 모델마다 배치 토큰 상한이 다르다는 점 꼭 기억해 두세요.