Together AI 채팅 완성 API — MoA 라우팅
Together AI 채팅 완성 API — MoA 라우팅
Together AI의 Chat Completions API는 OpenAI 호환 인터페이스로 여러 모델을 호출할 수 있게 해줘요. MoA 파이프라인도 이 API를 통해 각 proposer·aggregator 모델을 호출해 구성할 수 있어요.
API 특징
POST /v1/chat/completions—model,messages,temperature등 표준 파라미터를 받아요.- Together AI가 호스팅하는 오픈소스 모델들을
model로 지정해 호출할 수 있어요. - 스트리밍과 도구 호출도 지원해 실전 배포가 쉬워요.
MoA 구성에 활용
- proposer 단계에서 서로 다른
model값들로 각각 답을 생성하고, - aggregator 단계에서 이 답들을
messages에 담아 종합 프롬프트로 다시 호출해요. - 한 번의 API 계약으로 여러 모델을 오케스트레이션할 수 있어 관리가 단순해져요.