Petals
Petals
Petals는 BitTorrent 방식으로 초대형 LLM을 분산 추론·파인튜닝하게 해 주는 BigScience 프로젝트예요. 405B짜리 Llama 3.1 같은 모델을 내 컴퓨터에 통째로 올리지 않고, 네트워크의 여러 사람이 레이어를 나눠 서빙하는 방식으로 돌립니다. 이 카테고리는 Petals 공식 리포를 반영한 한국어 가이드 모음이에요.
Petals는 BitTorrent 방식으로 초대형 LLM을 분산 추론·파인튜닝하게 해 주는 BigScience 프로젝트예요. 405B짜리 Llama 3.1 같은 모델을 내 컴퓨터에 통째로 올리지 않고, 네트워크의 여러 사람이 레이어를 나눠 서빙하는 방식으로 돌립니다. 이 카테고리는 Petals 공식 리포를 반영한 한국어 가이드 모음이에요.