Mixture-of-Agents 논문 — 2406.04692
Mixture-of-Agents 논문 — 2406.04692
"Mixture-of-Agents Enhances Large Language Model Capabilities" 논문은 MoA 개념을 체계화했어요. 여러 언어모델을 협력적으로 결합해, AlpacaEval 같은 벤치마크에서 GPT-4를 넘어선 결과를 보여줬어요.
핵심 발견
- MoA의 레이어드 구조가 단일 모델 추론·단순 앙상블보다 우수함을 실험으로 입증.
- "더 나은 답을 낸 경험이 어디에 있냐"를 묻는 reference 프롬프트를 추가해 집계 품질을 높임.
- 고품질 모델만 쓰지 않아도, 다양한 모델 조합으로 강력한 최종 출력을 만들 수 있어요.
구조 요약
Layer1: [모델A 답, 모델B 답, 모델C 답]
Layer2: aggregator가 이를 종합 → 개선 답
Layer3: (선택) 다시 종합 → 최종
의의
- '단일 최강 모델'보다 모델 결합이 더 나을 수 있다는 가능성을 보여줘요.
- 비용·지연과 품질의 트레이드오프가 고려 포인트예요.