MLlib

MLlib은 전체적으로 크게 세 단계의 머신 러닝 기능으로 구분될 수 있다.

• 데이터 전처리: 피처 추출, 변형, 선택, 카테고리 피처에 대한 해싱, 자연어 처리 기술
• 머신 러닝 알고리즘: 몇몇 유명하고 고급 레벨인 회귀, 분류, 군집화 알고리즘이 개발돼 있다.
• 유틸리티: 기술 통계, 차이-스퀘어(Chi-squre) 테스트, 선형 대수(희소 행렬, 조밀 행렬, 벡터 등을 다룸), 모델 평가 방법론과 같은 통계적 방법론