동작 원리와 파인튜닝
동작 원리와 파인튜닝
Petals가 어떻게 거대한 모델을 분산으로 돌리는지 원리를 이해하면, 왜 이렇게 쓰는 게 유리한지 보여요.
기본 아이디어는 이래요. 모델의 작은 일부만 내가 로드하고, 나머지 레이어를 서빙하는 사람들의 네트워크에 합류하는 거예요. 실제 추론은 네트워크 전체가 협력해서 처리하고, 나는 마치 내 컴퓨터에 모델이 있는 것처럼 파이토치·Transformers API를 그대로 써요.
가장 큰 이점은 유연성이에요. 어떤 파인튜닝·샘플링 방법이든 적용할 수 있고, 모델을 통과하는 커스텀 경로도 실행할 수 있으며, 히든 스테이트도 직접 볼 수 있어요. API의 편리함과 PyTorch·Transformers의 자유도를 동시에 얻는 셈이죠.
파인튜닝도 분산으로 해요. 예를 들어 Llama-65B를 프롬프트 튜닝(prompt-tuning)해서 텍스트 의미 분류에 쓰는 튜토리얼이 있고, BLOOM을 프롬프트 튜닝해서 개성 있는 챗봇을 만드는 튜토리얼도 있어요. 둘 다 Colab 노트북으로 바로 실행할 수 있어요.
민감한 데이터를 다룬다면 주의가 필요해요. 공개 스웜은 다른 사람의 도움을 받아 데이터를 처리하니까, 민감한 데이터는 신뢰할 수 있는 사람들끼리 '프라이빗 스웜'을 직접 구성하는 걸 권장해요. 관련해 보안·프라이버시·AI 안전에 대한 자세한 내용이 공식 위키에 정리되어 있어요.
부가 도구로는 스웜에 HTTP/WebSocket으로 연결하는 챗봇 웹앱(chat.petals.dev), 공개 스웜 상태를 보여주는 모니터(health.petals.dev)가 있어요.