💽 미니 프로젝트

• 미니프로젝트 데이터 추천이유

  1. 시간이 적은데 데이터 셋을 고르는데 시간이 너무 많이 소요됨
  2. 짧은 미니 프로젝트 기간에 데이터가 너무 크거나 배운 내용이 아닌걸로 해결해야하면 시간이 너무 많이 소요됨
  3. 같은 데이터 셋이라 다른 팀과 비교해볼 수도 있음

• 추천 데이터셋

  1. hotel booking demand
     • 변수가 적절
     • 취소분류나 수요 예측해보면됨
     • 논문 내용도 요약해보기
  2. Company bankrutcy prediction
     • 몰려있는 데이터가 많음
     • 단어들이 금융권 단어들이 많음
  3. 데이콘 전화 해지 여부 분류 ai 경진대회
     • 현재 진행중임!
     • 코드 공유하기도 좋음

• 이번 미니프로젝트에는 EDA랑 분류,회귀 하면됨

• 미니프로젝트 목표

  1. 수업에 배운 머신러닝을 다른 데이터셋에 적용
  2. Baseline 코드를 작성하고 캐글, 데이콘 노트북 공유
  3. 서로 응원해주기

💽 실습 0701

🖥️실습의 목적

• 수백, 수천개의 피처를 다루는 방법
  • 더블 디스크라이빙
  • 기술통계의 기술통계 구하기
  • 왜도 첨도를 구해서 특성확인
  • 피처가 너무 많을 때, 한쪽으로 너무 치우쳐 있을 때, 같은 값으로 되어있을 때
  • 계산량을 줄일 수 있음
  • 원핫인코딩을 할 때 범주형 데이터에 대해 인코딩을 하고 기존 데이터와 합치는 방법
  • 피처중요도를 구할 때 판다스의 데이터 프레임으로 되어있으면 어떤 피처에 대한 중요도인지 확인하기 좋음
• Tree 계열 알고리즘 중에 사이킷런 외에 다른 라이브러리를 익혀보는 목적
  • XGBoost
  • LightGBM
  • CatBoost
• Hold-out-validation 방법
  1. 모델이나 데이터가 클 때 빠르게 확인 가능
  2. 교차검증에 비해서는 신뢰가 떨어짐

📝 실습

• 압축 해제

  1. 원 데이터를 압축을 풀지 않고 코랩에서 풀게함
  2. !unzip 파일이름.zip

• .sum().sum() 해당 결측치를 찾아보는 방법으로 결측치를 확인해봄

• train 값을 히트맵으로 확인하기 ⇒ 컬럼으로 보았을 때 모두 검은색 or 흰색이 많을 경우 min,max scaling이 되어있다는 것으로 파악

  → test 값도 히트맵으로 확인하기 ⇒ train과 비슷한 결과를 보임

👩‍🔧 기술 통계