MLlib: RDD 기반 API 가이드

MLlib: RDD 기반 API 가이드

이 페이지는 RDD 기반 API(spark.mllib 패키지)를 위한 MLlib 가이드의 섹션들을 모아둔 문서예요. 이제 MLlib의 주 API가 된 DataFrame 기반 API(spark.ml 패키지)는 MLlib Main Guide를 참고하세요.

출처: MLlib: RDD-based API Guide

본문

• 데이터 타입
• 기초 통계
  • 요약 통계
  • 상관관계
  • 층화 샘플링
  • 가설 검정
  • 스트리밍 유의성 검정
  • 랜덤 데이터 생성
• 분류와 회귀
  • 선형 모델(SVM, 로지스틱 회귀, 선형 회귀)
  • naive Bayes
  • 의사결정 트리
  • 트리 앙상블(Random Forests와 Gradient-Boosted Trees)
  • 단조 회귀(isotonic regression)
• 협업 필터링
  • 교대 최소 제곱(ALS)
• 클러스터링
  • k-means
  • Gaussian mixture
  • 전력 반복 클러스터링(PIC)
  • 잠재 디리클레 할당(LDA)
  • 이분 k-means(bisecting k-means)
  • 스트리밍 k-means
• 차원 축소
  • 특이값 분해(SVD)
  • 주성분 분석(PCA)
• 피처 추출과 변환
• 빈발 패턴 마이닝
  • FP-growth
  • 연관 규칙
  • PrefixSpan
• 평가 지표
• PMML 모델 내보내기
• 최적화(개발자용)
  • 확률적 경사 하강(SGD)
  • L-BFGS(제한 메모리 BFGS)

더 알아보기 (Learn more)

• MLlib Main Guide — DataFrame 기반 API(spark.ml)의 주 가이드.
• ML 파이프라인 — 파이프라인으로 ML 워크플로를 구성하는 방법.