파일 사이즈 줄이기

• 왜 줄여?

  • 메모리 사용량을 줄일려고,
  • 주고받기 편하기 위해서
  • 돈을 아끼기 위해서

• Q. 파일 사이즈를 줄여야하는 이유?

  • “데이터를 저장하는 것” 자체가 “비용”이기 때문에
  • 데이터가 누적이 될수록 파일 사이즈는 증가하기 때문에
  • 주고 받기 편하게 하기 위해서
  • 시간, 메모리 사용량 , 비용 등등 자원 절약을 위해

  ex) 노트북을 구매하기 위해 용량을 1T, 2T 등을 고민할 수 있는데 용량에 따라 비용이 20~30만원까지 차이가 납니다.

  기업에서는 Log를 쌓을 때 데이터 엔지니어는 시간 단위로 파일을 저장할 것인지 , 어떤 기준, 어떤 도구로 데이터를 저장할 것인지를 고민하게 됩니다.

Parquet

효율적인 데이터 저장 및 검색을 위해 설계된 오픈소스, 열 지향 데이터 파일 포맷

• 언제 사용?

  → 공공데이터나, 용량이 큰 데이터를 로컬에 사용할 때 용량이 엄청 커서 이걸 줄일 때 사용한다.

• 열단위

  • 동일한 데이터 타입이기 때문에 압축과 저장에 유리
  • 전체 행 데이터를 읽을 필요 없어 성능 향상

• Java, C++, Python 언어 지원

• Q. Parquet 의 장점?

  • parquet는열 단위로 데이터를 관리하는 컬럼형 파일 포맷
  • 열 단위로 데이터를 저장하기 때문에 같은 타입의 데이터가 연속적으로 저장됩니다.
    • 압축 효율성이 높아져 디스크 공간을 절약할 수 있다
  • 특정 열에 대한 조회(쿼리)를 할 때 필요한 데이터만 읽어오기 때문에 읽기 성능이 빨라집니다
    • 특정 열에 대한 집계 등의 처리를 할 때 유리합니다
  • parquet는 다양한 데이터 타입을 지원합니다.
  • 다양한 종류의 데이터를 하나의 파일에 저장할 수 있습니다.

to_parquet 동작 확인

• 데이터 프레임을 parquet 파일형식으로 저장

  df.to_parquet('파일저장명.parquet.gzip')
  

• 저장 파일 방식으론 여러 개가 있지만 gzip이 가장 read 속도가 빠름

저장크기 논란?!

• 실제로 같은 데이터를 csv와 parquet.gzip으로 저장했는데 용량이 오히려 parquet이 더 크다.
• 왜?
  • 메타 정보를 포함하고 있다!
  • 데이터가 아주 작을 때는 메타정보를 포함하고있는 parquet이 더 커보일 수가 있다.

용량이 큰 프레임 만들고 저장하기

• 실제 사이즈가 25MB 정도인 csv 파일을 parquet.gzip 형태로 저장했을 때