협업 정책
협업 정책 (Collaboration Policy)
이 페이지는 vLLM이 모델 제공자(model providers), 하드웨어 벤더, 그리고 다른 이해관계자들과 어떻게 협업하는지를 설명해요. vLLM은 단순한 오픈소스 프로젝트가 아니라, 생태계 전체가 함께 만들어가는 플랫폼이에요. 그래서 협업의 규칙이 어떻게 정해져 있는지 이해하면 기여할 때 훨씬 수월해요.
새로운 주요 기능 추가 (Adding New Major Features)
누구나 vLLM에 기여할 수 있어요. 주요 기능에 대해서는 먼저 RFC(request for comments)를 제출하세요. RFC를 제출하려면 issue를 만들고 RFC 템플릿을 선택하면 됩니다. RFC는 동기, 해결하는 문제, 고려한 대안, 제안하는 변경을 논의하는 설계 문서와 비슷해요.
RFC를 제출한 뒤에는 vLLM Slack의 #contributors 채널에 공유하고, 피드백을 위해 area owners와 committers에게 알려주세요. 관심이 높은 기능의 경우 committers가 RFC 과정과 PR 리뷰를 도와줄 사람을 지명해요. 이는 RFC 이슈의 "assignee" 필드로 반영됩니다. assignee와 주요 관리자들이 그 기능이 논란이 될 수 있다고 판단하면, 관리자 팀은 모두의 의견을 들은 뒤 신속하게 결정을 내리는 것을 목표로 해요.
유지보수하려는 기능이 있다면 mergify.yml에 자신을 추가해 PR 알림과 자동 할당을 받을 수 있어요.
새 모델 추가 (Adding New Models)
vLLM을 사용한다면, 모델을 공개 발표 전에 모델 등록 과정을 따라 vLLM에서 동작하도록 만드는 걸 권장해요.
vLLM 팀은 vLLM이 아직 지원하지 않는 새 모델 아키텍처, 특히 아키텍처의 최전선을 밀고 가는 모델을 도와줘요. vLLM 팀은 프로젝트의 모든 committers를 포함합니다. 모델 제공자가 특정 멤버를 제외할 수도 있지만, 필요한 전문성이 빠져 릴리스 일정이 늦어질 수 있으니 권장하지 않아요.
vLLM 팀과 모델 제공자 사이의 연결이 확립되면:
- vLLM 팀이 모델 아키텍처와 관련 변경을 파악하고, 어떤 area owners를 참여시키고 어떤 기능을 포함할지 계획해요.
- vLLM 팀은 비공개 커뮤니케이션 채널(현재 Slack 채널)과 vllm-project 조직 내 비공개 포크를 만들어요. 모델 제공자 팀이 채널과 저장소에 다른 사람을 초대할 수 있어요.
- 컴퓨트 제공자, 호스팅 추론 제공자, 하드웨어 벤더 같은 제3자 조직은 모델 릴리스에서 모델 제공자와 vLLM 양쪽과 협업하는 경우가 많아요. 필요에 따라 직접(허락을 받아) 또는 3자 커뮤니케이션을 구축해요.
vLLM 팀은 모델 제공자와 기능, 통합, 릴리스 일정을 협업해요. 릴리스 일정을 맞추기 위해 노력하지만, 기능 개발, 모델 정확도 정렬, 최적화 같은 엔지니어링 도전이 지연을 만들 수 있어요.
vLLM 관리자는 모델 아키텍처, 릴리스 일정, 향후 릴리스에 대한 세부 사항을 공개적으로 공유하지 않아요. 보안 조치가 있는 안전한 서버에서 모델 가중치를 유지하고, 요청이 있으면 사전 릴리스 가중치나 아티팩트를 삭제합니다.
vLLM 팀은 모델 릴리스를 위한 마케팅과 홍보 활동에도 협업해요. 모델 제공자는 간행물과 자료에서 vLLM의 상표와 로고를 사용할 수 있어요.
새 하드웨어 추가 (Adding New Hardware)
vLLM은 최첨단 모델 아키텍처와 고성능 가속기를 위한 플랫폼으로 설계되었어요. 새 하드웨어의 경우 하드웨어 플러그인 시스템을 따라 지원을 추가하세요. 하드웨어가 인기를 얻으면 문서와 마케팅 자료에서 지원을 보증해 줍니다. vLLM GitHub 조직은 하드웨어 플러그인 저장소를 호스팅할 수 있어요.
vLLM에 하드웨어를 직접 추가하는 경우는 드물어요. 대신 기존 하드웨어 플랫폼을 모듈화해서 vLLM 코어를 하드웨어에 무관하게 유지합니다.