ML 문서화 도구의 지형
ML 문서화 도구의 지형 (Landscape of ML Documentation Tools)
2018년 model cards 프레임워크의 개발은 NLP를 위한 Data Statements(Bender & Friedman, 2018)와 Datasheets for Datasets(Gebru et al., 2018) 같은 주요 문서화 프레임워크 노력에서 영감을 받았어요. 이후 머신러닝 개발 주기의 다양한 측면을 문서화·평가하기 위한 여러 도구가 제안됐답니다.
출처: 문서
본문
ML 문서화 도구의 지형
2018년 model cards 프레임워크의 개발은 NLP를 위한 Data Statements(Bender & Friedman, 2018)와 Datasheets for Datasets(Gebru et al., 2018)라는 주요 문서화 프레임워크 노력에서 영감을 받았어요. model cards가 제안된 이후, 머신러닝 개발 주기의 다양한 측면을 문서화·평가하기 위한 여러 다른 도구도 제안됐어요. model cards를 포함해 model cards 이전에 제안된 관련 문서화 노력을 포함한 이러한 도구들은 그 초점(예: ML 시스템 수명 주기의 어느 부분에 초점을 두는가?)과 의도된 청중(예: 어떤 사람을 위해 설계됐는가?)과 관련해 맥락화할 수 있어요. 아래 그림 1-2에서 이들 차원을 따라 몇 가지 주요 문서화 도구를 요약하고, 각 도구에 대한 맥락 설명을 제공하며 예시로 연결해요. 우리는 문서화 도구를 대략 다음 그룹으로 분류해요:
- 데이터 중심 (Data-focused): 머신러닝 시스템 수명 주기에 사용되는 데이터셋에 초점을 둔 문서화 도구
- 모델·방법 중심 (Models-and-methods-focused): 머신러닝 모델과 방법에 초점을 둔 문서화 도구
- 시스템 중심 (Systems-focused): ML 시스템의 일부로서 서로 상호작용하는 모델, 방법, 데이터셋, API, 비-AI/ML 컴포넌트를 포함한 ML 시스템에 초점을 둔 문서화 도구
이 그룹들은 상호 배타적이지 않아요; ML 시스템 수명 주기의 겹치는 측면을 포함하죠. 예를 들어 **시스템 카드(system cards)**는 여러 모델과 데이터셋을 포함할 수 있는 ML 시스템 문서화에 초점을 두므로, 데이터 중심이나 모델 중심 문서화 도구와 겹치는 콘텐츠를 포함할 수 있어요. 설명된 도구들은 ML 시스템 수명 주기를 위한 문서화 도구의 전체 목록이 아니에요. 일반적으로 우리는 다음에 해당하는 도구를 포함했어요:
- ML 시스템 수명 주기의 일부(또는 여러) 측면의 문서화에 초점을 둔 도구
- 반복 사용, 채택, 적응을 위한 템플릿 릴리스를 포함한 도구
ML 문서화 도구 요약
그림 1
| ML 시스템 수명 주기 단계 | 도구 | 간단한 설명 | 예시 |
|---|---|---|---|
| 데이터 (DATA) | Datasheets (Gebru et al., 2018) | "우리는 모든 데이터셋에 동기(motivation), 생성(creation), 구성(composition), 의도된 사용(intended uses), 배포(distribution), 유지보수(maintenance) 및 기타 정보를 문서화하는 데이터시트가 함께하길 권장한다." | 예: 예시가 있는 Ivy Lee의 저장소 |
| 데이터 (DATA) | Data Statements (Bender & Friedman, 2018)(Bender et al., 2021) | "데이터 스테이트먼트는 개발자와 사용자가 실험 결과가 어떻게 일반화될 수 있는지, 소프트웨어가 어떻게 적절히 배포되는지, 그리고 그 소프트웨어를 기반으로 구축된 시스템에 어떤 편향이 반영될 수 있는지 더 잘 이해할 수 있게 해주는 맥락을 제공하는 데이터셋의 특성화이다." | NLP 워크숍용 Data Statements 참고 |
| 데이터 (DATA) | Dataset Nutrition Labels (Holland et al., 2018) | "데이터셋 영양 라벨(Dataset Nutrition Label)...은 AI 모델 개발 전에 표준화된 데이터 분석에 대한 장벽을 낮추는 진단 프레임워크로, 데이터셋 '성분'의 정제되면서도 포괄적인 개요를 제공한다." | The Data Nutrition Label 참고 |
| 데이터 (DATA) | Data Cards for NLP (McMillan-Major et al., 2021) | "우리는 자연어 처리(NLP)에서 문서화 템플릿과 가이드를 만드는 두 가지 사례 연구를 제시한다: Hugging Face (HF) 데이터셋 허브[^1]와 생성·평가·지표 벤치마크(GEM). 우리는 두 경우 모두 데이터셋 문서화를 지칭할 때 데이터 카드라는 용어를 사용한다." | (McMillan-Major et al., 2021) 참고 |
| 데이터 (DATA) | Dataset Development Lifecycle Documentation Framework (Hutchinson et al., 2021) | "우리는 의사결정과 책임을 지원하는 데이터셋 개발 투명성을 위한 엄격한 프레임워크를 소개한다. 이 프레임워크는 데이터셋 개발의 순환적이고, 인프라적이며, 공학적인 특성을 활용해 소프트웨어 개발 수명 주기의 모범 사례에서 끌어낸다." | 템플릿은 (Hutchinson et al., 2021) 부록 A 참고 |
| 데이터 (DATA) | Data Cards (Pushkarna et al., 2021) | "데이터 카드는 책임 있는 AI 개발을 위해 데이터셋 수명 주기 전반에 걸쳐 이해관계자가 필요로 하는 ML 데이터셋의 다양한 측면에 대한 필수 사실의 구조화된 요약이다. 이러한 요약은 데이터를 형성하고 결과적으로 모델을 형성하는 프로세스와 근거에 대한 설명을 제공한다." | Data Cards Playbook github 참고 |
| 데이터 (DATA) | CrowdWorkSheets (Díaz et al., 2022) | "우리는 데이터셋 개발자가 데이터 주석 파이프라인의 여러 단계(작업 구성, 주석자 선택, 플랫폼·인프라 선택, 데이터셋 분석·평가, 데이터셋 릴리스·유지보수)에서 핵심 결정 지점을 투명하게 문서화하도록 돕는 새로운 프레임워크 CrowdWorkSheets를 소개한다." | (Díaz et al., 2022) 참고 |
| 모델·방법 (MODELS AND METHODS) | Model Cards Mitchell et al. (2018) | "모델 카드는 의도된 애플리케이션 도메인과 관련된 다양한 조건에서 벤치마크 평가를 제공하는, 훈련된 머신러닝 모델에 딸린 짧은 문서다. 모델 카드는 또한 모델이 사용되도록 의도된 맥락, 성능 평가 절차의 세부 사항, 기타 관련 정보를 공개한다." | https://huggingface.co/models, Model Card Guidebook, Model Card 예시 참고 |
| 모델·방법 (MODELS AND METHODS) | Value Cards Shen et al. (2021) | "우리는 컴퓨터 과학 학생과 실무자에게 머신러닝 기반 의사결정 시스템의 사회적 영향에 대한 인식을 가져다주는 숙의 중심 도구킷인 Value Cards를 제시한다....Value Cards는 서로 다른 ML 성능 지표와 그 잠재적 트레이드오프에 대한 조사와 논쟁을 장려한다." | Shen et al. (2021) 섹션 3.3 참고 |
| 모델·방법 (MODELS AND METHODS) | Method Cards Adkins et al. (2022) | "우리는 ML 엔지니어가 모델 개발 과정을 안내하도록 method cards를 제안한다....이 정보는 처방적·기술적 요소를 모두 포함하며, ML 엔지니어가 이러한 방법을 적절히 사용할 수 있도록 보장하는 데 주된 초점을 둔다." | Adkins et al. (2022) 부록 A 참고 |
| 모델·방법 (MODELS AND METHODS) | Consumer Labels for ML Models Seifert et al. (2019) | "우리는 훈련되고 게시된 ML 모델에 대한 소비자 라벨을 발행할 것을 제안한다. 이 라벨은 주로 ML 시스템의 운영자, 결정의 집행자, 결정 대상자 자신과 같은 ML 비전문가를 대상으로 한다." | Seifert et al. (2019) 참고 |
| 시스템 (SYSTEMS) | Factsheets Arnold et al. (2019) | "FactSheet은 의도된 사용, 성능, 안전, 보안과 같은 AI 서비스의 모든 관련 속성에 대한 섹션을 포함한다. 성능에는 적절한 정확도 또는 위험 측정과 타이밍 정보가 포함된다." | IBM's AI Factsheets 360 및 Hind et al. (2020) 참고 |
| 시스템 (SYSTEMS) | System Cards Procope et al. (2022) | "System Cards는 ML 시스템의 서로 다른 구성 요소, 이러한 구성 요소가 어떻게 상호작용하는지, 그리고 시스템이 어떻게 다양한 데이터 조각과 보호 정보를 사용하는지에 대한 개요를 이해관계자에게 제공함으로써 ML 시스템의 투명성을 높이는 것을 목표로 한다." | Meta's Instagram Feed Ranking System Card 참고 |
| 시스템 (SYSTEMS) | Reward Reports for RL Gilbert et al. (2022) | "우리는 배포된 학습 시스템을 문서화하기 위한 프레임워크인 Reward Reports를 개괄한다....Reward Reports를 특정 자동화 시스템이 최적화하고 있는 것 뒤의 설계 선택과 가정에 대한 업데이트를 추적하는 살아있는 문서로 정의한다. 이는 모델이나 데이터의 정적 속성보다는 시스템 배포에서 발생하는 동적 현상을 추적하도록 의도된다." | https://rewardreports.github.io 참고 |
| 시스템 (SYSTEMS) | Robustness Gym Goel et al. (2021) | "우리는 NLP 시스템 평가의 과제를 식별하고, Robustness Gym(RG) — 하위 모집단, 변환, 평가 세트, 적대적 공격이라는 4가지 표준 평가 패러다임을 통합하는 간단하고 확장 가능한 평가 도구킷 — 의 형태로 해결책을 제안한다." | https://github.com/robustness-gym/robustness-gym 참고 |
| 시스템 (SYSTEMS) | ABOUT ML Raji and Yang, (2019) | "ABOUT ML(Machine Learning Lifecycles의 이해와 투명성에 관한 주석·벤치마킹)은 PAI가 주도하는 다년간, 다중 이해관계자 이니셔티브다. 이 이니셔티브는 규모에 맞는 머신러닝 시스템 문서화 관행을 개발, 테스트, 구현하기 위해 다양한 관점을 모으는 것을 목표로 한다." | ABOUT ML의 리소스 라이브러리 참고 |
데이터 중심 문서화 도구
여러 제안된 문서화 도구는 지속적인 주기에서 머신러닝 모델을 훈련, 개발, 검증, 파인튜닝, 평가하는 데 사용되는 ML 시스템 수명 주기의 데이터셋에 초점을 둬요. 이러한 도구들은 일반적으로 데이터 수명 주기의 많은 측면(특정 데이터셋, 데이터셋 그룹, 또는 더 광범위할 수 있음) — 데이터가 어떻게 조립·수집·주석되었고 어떻게 사용되어야 하는지 — 에 초점을 두어요.
- 전자 산업의 데이터시트 개념을 확장해, Gebru et al. (2018)은 데이터셋용 데이터시트를 제안해 데이터셋 생성, 잠재적 사용, 관련 우려 사항에 대한 세부 사항을 문서화해요.
- Bender and Friedman (2018)는 자연어 처리를 위한 데이터 스테이트먼트를 제안해요. Bender, Friedman and McMillan-Major (2021)은 원래 데이터 스테이트먼트 프레임워크를 업데이트하고, 작성 가이드와 스키마의 첫 버전과 새 버전 간 전환을 포함한 리소스를 제공해요[^2].
- Holland et al. (2018)은 음식의 영양 정보와 개인정보 공개의 영양 라벨에 비견되는 데이터 영양 라벨(data nutrition labels)을 데이터셋을 분석·결정하는 도구로 제안해요. Data Nutrition Label 팀은 2020년에 라벨의 개선된 설계와 인터페이스를 출시했어요(Chmielinski et al., 2020)).
- McMillan-Major et al. (2021)은 NLP용 데이터 카드의 개발 과정과 결과 템플릿을 Hugging Face Hub[^3]의 데이터 카드와 NLP 생성·평가·지표(GEM) 환경[^4]에 속한 데이터셋용 데이터 카드 형태로 설명해요.
- Hutchinson et al. (2021)은 포괄적인 데이터셋 문서화의 필요성을 설명하고, 소프트웨어 개발 관행에서 끌어내 데이터셋 개발 수명 주기의 여러 측면을 문서화하는 템플릿을 제공해요(표 1·2의 목적상 우리는 그 프레임워크를 Dataset Development Lifecycle Documentation Framework라고 부릅니다).
- Pushkarna et al. (2021)은 데이터 카드 플레이북의 일부로 데이터 카드를 제안해요. 이는 산업과 연구에서 사용되는 데이터셋에 초점을 둔 인간 중심 문서화 도구예요.
모델·방법 중심 문서화 도구
또 다른 문서화 도구 세트는 머신러닝 모델과 머신러닝 방법에 초점을 둔다고 볼 수 있어요. 여기에는 다음이 포함돼요:
- Mitchell et al. (2018)은 훈련된 ML 모델에 딸려 평가, 사용 및 기타 문제를 문서화하는 모델 카드를 제안해요.
- Shen et al. (2021)은 ML 모델과 관련된 가치를 학생·실무자에게 가르치기 위한 가치 카드를 제안해요.
- Seifert et al. (2019)은 모델을 사용하거나 영향받는 비전문가가 모델과 관련된 핵심 문제를 이해하도록 돕는 ML 모델용 소비자 라벨을 제안해요.
- Adkins et al. (2022)은 서술적(descriptive) 문서화 도구의 측면 — 모델 카드와 데이터시트를 포함한다고 간주 — 을 분석하고, ML 엔지니어를 위한 처방적(prescriptive) 도구의 증가를 주장해요. 그들은 주로 모델 개발자와 검토자 같은 기술 이해관계자를 염두에 두고 설계된, ML 방법에 초점을 둔 방법 카드(method cards)를 제안해요.
- 그들은 모델 카드와 방법 카드의 관계를 부분적으로 이렇게 서술해요: "우리가 [방법 카드 템플릿에서] 제안하는 섹션과 프롬프트는 정의된 입력, 출력, 작업을 가진 적절한 ML 모델을 만드는 데 충분한 ML 방법에 초점을 둔다. 예시로는 Single-shot Detectors 같은 객체 감지 방법과 Generative Pre-trained Transformers (GPT) 같은 언어 모델링 방법이 있다. 이러한 방법으로 만든 모델에 대해 Model Cards를 만드는 것이 가능하다."
- 그들은 또한 "Model Cards와 FactSheets가 기존 모델을 문서화하는 데 주된 초점을 둔 반면, Method Cards는 이러한 모델을 만들고 훈련할 때 고려해야 할 근본적인 방법적·알고리즘적 선택에 더 초점을 둔다. 대략적인 비유로, Model Cards와 FactSheets가 조리된 식사의 영양 정보를 제공한다면, Method Cards는 레시피를 제공한다"고 말해요.
시스템 중심 문서화 도구
특정 모델, 데이터셋, 또는 방법에 초점을 두기보다, 시스템 중심 문서화 도구는 모델이 서로, 데이터셋, 방법, 그리고 다른 ML 구성 요소와 어떻게 상호작용해 ML 시스템을 형성하는지 살펴봐요.
- Procope et al. (2022)은 작업을 완수하기 위해 함께 작동하는 AI 시스템 — 잠재적으로 여러 ML 모델, AI 도구, 비-AI 기술 포함 — 을 문서화·설명하는 시스템 카드를 제안해요.
- Arnold et al. (2019)은 소비자 제품에 대한 적합성 선언(conformity)의 아이디어를 AI 서비스로 확장해, 일반적으로 API를 통해 접근하고 여러 다른 ML 모델로 구성될 수 있는 "AI 서비스"의 측면을 문서화하는 FactSheets를 제안해요. Hind et al. (2020)은 FactSheets을 만드는 것에 대한 반성을 공유해요.
- Gilbert et al. (2022)은 ML 시스템의 동적 특성과 문서화 노력이 배포 후 성능 고려 사항을 포함할 필요성(특히 강화학습 시스템의 경우)을 인식하며, 강화학습용 Reward Reports를 제안해요.
- Goel et al. (2021)은 실제 시스템에서 심층 신경망의 여러 측면을 테스트하고 평가 패러다임 간 비교를 허용하는 평가 도구킷인 Robustness Gym을 개발해요.
- ABOUT ML 프로젝트를 통해 (Raji and Yang, 2019), Partnership on AI는 ML 시스템을 위한 포괄적·확장 가능한 문서화 도구를 개발하려고 머신러닝 커뮤니티의 이해관계자 그룹 간의 노력을 조정하고 있어요.
MODEL CARDS의 진화
Mitchell et al.이 2018년에 모델 카드를 제안한 이후, 모델 카드는 다양한 조직 — 머신러닝 모델을 개발·호스팅하는 주요 기술 기업과 스타트업[^5], 새 기법을 설명하는 연구자[^6], 여러 프로젝트를 평가하는 정부 이해관계자[^7] — 에 의해 채택·적응됐어요. 모델 카드는 AI 윤리 교육 도구킷의 일부로도 나타나며, 많은 조직·개발자가 모델 카드 생성을 자동화·반자동화하는 구현을 만들었어요. 부록 A는 다양한 조직이 만든 다양한 유형의 ML 모델(대규모 언어 모델용 모델 카드 포함)에 대한 모델 카드 예시, 모델 카드 생성 도구, 모델 카드 교육 도구를 제공해요.
Hugging Face Hub의 MODEL CARDS
2018년부터 모델 카드를 호스팅·공유하는 새로운 플랫폼과 매체도 등장했어요. 예를 들어, 이 프로젝트와 특히 관련된 것은 Hugging Face가 ML 모델과 연결된 저장소의 README 파일로서 Hugging Face Hub에서 모델 카드를 호스팅한다는 점이에요. 그 결과 모델 카드는 Hugging Face Hub의 모델 사용자에게 두드러진 문서화 형태로 자리 잡았어요. 우리는 모델 카드 분석의 일환으로, Hub의 Pull Request(PR)와 Discussion 기능을 사용해 모델 카드에 대한 피드백을 모으고, 모델 카드에 포함된 정보를 검증하며, Hugging Face Hub의 모델용 모델 카드를 게시하면서 수십 개의 ML 모델에 대한 모델 카드를 개발·제안했어요. 이 가이드북 작성 시점에 Hugging Face Hub의 모든 Hugging Face 모델에는 Hub에 연결된 모델 카드가 있어요[^8].
Hugging Face Hub에 업로드된 모델 수가 많아서(작성 시점에 101,041개 모델), 우리는 허브의 모델 카드 안의 콘텐츠를 탐구할 수 있었어요: 우리는 언어 모델, 모델 카드를 분석해 패턴(예: 반복되는 섹션과 하위 섹션)을 식별하는 것으로 시작했어요. 초기 질문에 답하려는 목적이었죠:
- 이 모델들 중 몇 개가 모델 카드를 갖고 있나요?
- 다운로드의 몇 퍼센트가 연결된 모델 카드를 가졌나요?
허브의 모든 모델에 대한 분석에서, 가장 많은 다운로드가 상위 200개 모델에서 나온다는 걸 발견했어요.
대규모 언어 모델에 계속 초점을 두고, 가장 많이 다운로드된 순으로, 처음에는 모델 카드가 있는 모델만으로, 우리는 각 모델 카드에서 가장 반복적으로 나타나는 섹션을 기록했어요.
모델 카드의 일부 헤딩은 모델마다 다를 수 있지만, 우리는 각 모델 카드의 각 섹션의 구성 요소/주제를 그룹화한 다음, 가장 반복적이었던 섹션 헤딩으로 매핑했어요(대부분 상위 200개 다운로드 모델에 나타나며, Bloom 모델 카드의 도움/안내가 있었어요).
[!TIP] 사용자 연구 보기 (User Studies)
[!TIP] 부록 보기 (Appendix)
[^1]: 각 도구에 대해 설명은 두 번째 열에 나열된 연결된 논문에서 발췌했다.
[^2]: 참고: https://techpolicylab.uw.edu/data-statements/ .
[^3]: 참고: https://techpolicylab.uw.edu/data-statements/ .
[^4]: 참고: https://techpolicylab.uw.edu/data-statements/ .
[^5]: 예: Hugging Face Hub, Google Cloud의 Model Cards https://modelcards.withgoogle.com/about .
[^6]: 부록 A 참고.
[^7]: GSA / US Census Bureau의 Model Card Generator 협력 참고.
[^8]: "Hugging Face 모델"이란 다른 조직이 아니라 Hugging Face가 Hub에서 공유한 모델을 뜻한다. 공식적으로는 모델 ID에 '/'가 없는 모델이다.
다음과 같이 인용해 주세요: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook
더 알아보기 (Learn more)
- ML 문서화 도구는 크게 데이터 중심, 모델·방법 중심, 시스템 중심 세 그룹으로 나눌 수 있어요.
- Hugging Face Hub의 모델 카드는 README 파일로 호스팅되며, 현대 ML 문서화의 주요 형태로 자리 잡았어요.