개요
개요
AI SDK는 지원되는 제공업체 전반에 걸쳐 인공지능(AI) 모델 통합을 표준화합니다. 이를 통해 개발자는 기술적인 세부 사항에 시간을 낭비하지 않고 훌륭한 AI 애플리케이션을 만드는 데 집중할 수 있습니다.
예를 들어, AI SDK를 사용하여 다양한 모델로 텍스트를 생성하는 방법은 다음과 같습니다.
AI SDK를 효과적으로 활용하려면 다음 개념을 익혀 두는 것이 도움이 됩니다.
출처: 문서
본문
생성형 인공지능
생성형 인공지능은 훈련 데이터에서 학습한 패턴을 바탕으로 통계적으로 가능성이 높은 출력(예: 텍스트, 이미지, 오디오)을 예측하고 생성하는 모델을 의미해요. 예를 들어:
- 사진이 주어지면 생성 모델은 캡션을 생성할 수 있어요.
- 오디오 파일이 주어지면 생성 모델은 전사를 생성할 수 있어요.
- 텍스트 설명이 주어지면 생성 모델은 이미지를 생성할 수 있어요.
대규모 언어 모델
**대규모 언어 모델(LLM)**은 주로 텍스트에 초점을 맞춘 생성 모델의 하위 집합이에요. LLM은 단어 시퀀스를 입력으로 받아 그다음에 올 가장 가능성 높은 시퀀스를 예측하는 것을 목표로 해요. 잠재적인 다음 시퀀스에 확률을 할당한 다음 하나를 선택해요. 모델은 지정된 중지 기준을 충족할 때까지 시퀀스를 계속 생성해요.
LLM은 방대한 양의 텍스트 데이터로 훈련하여 학습하므로, 어떤 사용 사례에는 더 적합하고 다른 사용 사례에는 덜 적합할 수 있어요. 예를 들어, GitHub 데이터로 훈련된 모델은 소스 코드의 시퀀스 확률을 특히 잘 이해할 거예요.
하지만 LLM의 한계를 이해하는 것이 중요해요. 잘 알려지지 않았거나 존재하지 않는 정보(예: 개인 친척의 생일)에 대해 질문받으면 LLM은 '환각(hallucination)'을 일으키거나 정보를 지어낼 수 있어요. 필요한 정보가 모델에 얼마나 잘 반영되어 있는지 고려하는 것이 필수적이에요.
임베딩 모델
임베딩 모델은 단어나 이미지와 같은 복잡한 데이터를 임베딩(embedding)이라고 알려진 밀집 벡터(숫자 목록) 표현으로 변환하는 데 사용돼요. 생성 모델과 달리 임베딩 모델은 새로운 텍스트나 데이터를 생성하지 않아요. 대신, 다른 모델이나 다른 자연어 처리 작업의 입력으로 사용할 수 있는 엔티티 간의 의미적, 구문적 관계 표현을 제공해요.
다음 섹션에서는 모델 제공자와 모델의 차이점, 그리고 AI SDK에서 사용할 수 있는 모델에 대해 알아볼 거예요.