open:데이터-레이크

데이터 레이크

  • 하나의 중앙 저장소에 모든 데이터를 저장하고 분석
  • 데이터 레이크는 S3에 데이터를 저장하는 것으로 시작
  • Glue 데이터 카탈로그는 데이터에 대한 단일 뷰를 제공
  • 데이터 레이크 성능 향상 팁
    • 작은 파일 통합(512MB ~ 1GB)
    • 컬럼 포맷 사용(Parquet, ORC)
    • 압축(Snappy)
    • 파티션
  • open/데이터-레이크.txt
  • Last modified: 2024/10/05 06:15
  • by 127.0.0.1