VertexAITextGenerator

Google Vertex AI의 생성 모델로 텍스트를 생성해 주는 컴포넌트예요. 프롬프트를 주면 답변을 생성해 줘요.

필수 run 변수: prompt — 모델에 보낼 프롬프트가 담긴 문자열 출력 변수: replies — 모델이 생성한 답변을 담은 문자열 리스트 / safety_attributes — 안전 속성 점수를 담은 딕셔너리 / citations — grounding 인용(출처)을 담은 딕셔너리 리스트 API 레퍼런스: Google Vertex GitHub 링크: https://github.com/deepset-ai/haystack-core-integrations/tree/main/integrations/google_vertex 패키지 이름: google-vertex-haystack

VertexAITextGenerator는 text-bison, text-unicorn, text-bison-32k 모델을 지원해요.

출처: 문서

본문

파라미터 개요 (Parameters Overview)

VertexAITextGenerator는 인증에 Google Cloud Application Default Credentials (ADC)를 사용해요. ADC 설정 방법은 공식 문서를 참고하세요.

Google Vertex AI 엔드포인트를 사용하도록 승인된 프로젝트에 접근 권한이 있는 계정을 쓰는 게 중요하다는 점을 기억하세요.

프로젝트 ID는 GCP 리소스 매니저에서 찾거나, 터미널에서 gcloud projects list를 실행해 찾을 수 있어요. gcloud CLI에 대한 자세한 내용은 공식 문서를 참고하세요.

사용법 (Usage)

VertexAITextGenerator를 쓰려면 google-vertex-haystack 패키지를 설치해야 해요:

pip install google-vertex-haystack

단독으로 사용하기 (On its own)

기본 사용법:

from haystack_integrations.components.generators.google_vertex import (
    VertexAITextGenerator,
)

generator = VertexAITextGenerator()
res = generator.run("Tell me a good interview question for a software engineer.")
print(res["replies"][0])

생성할 답변 개수, 무작위성을 조절하는 temperature, 생성을 멈추는 중지 시퀀스 같은 다른 파라미터도 설정할 수 있어요. 가능한 전체 파라미터 목록은 TextGenerationModel.predict() 문서를 참고하세요.

from haystack_integrations.components.generators.google_vertex import (
    VertexAITextGenerator,
)

generator = VertexAITextGenerator(
    candidate_count=3,
    temperature=0.2,
    stop_sequences=["example", "Example"],
)
res = generator.run("Tell me a good interview question for a software engineer.")
for answer in res["replies"]:
    print(answer)
    print("-----")

VertexAITextGenerator