📝 0503 실습

✅ 전처리

• 숫자형태로 된 문자열 → 숫자형으로 변경
  • pd.to_numeric(변경할 Series)
    • 속성 errors : 결측치가 있다면 제거하면서 숫자형 데이터로 변환

🍕 학습, 예측 데이터셋 나누기

• Binary Encoding
  • One-Hot-Encoding 할 필요X
    • 어차피 서로 완전히 반대임
  • 코드: 수치데이터 자체도 분리하면 더 좋지 않았을까? 라는 강사님의 생각이 있음
• train_test_split
  • arrays : 분할시킬 데이터
  • test_size: 테스트 셋의 비율, default = 0.25
  • train_size: 학습 데이터 셋의 비율, defalut = 1-test_size
  • random_state : 고정할 seed값
  • shuffle: 기존 데이터를 나누기 전에 순서를 섞을것인지, default = True
  • stratify: 지정한 데이터의 비율을 유지한다 (층화표집)

🔥 One-hot-Encoding

• 변수 골라내기

  • 인코딩이 필요한 Object 데이터만 가져오기
    • .select_dtype(include = 'object')
  • 기존에 사용했던 바이너리 변수 제외
    • .drop(columns = bi_cols)

• 적절 유무 확인

  • descirbe()
  • 제외해준 바이너리 값이 없는지, 수치데이터는 없는지 확인

• Scikit-learn의 One-Hot-Encoding

  • 머신러닝 알고리즘은 문자 데이터를 사용할 수 x (어떤 알고리즘이든)

  • feature 엔지니어링 기법 중 하나임 - 인코딩

  • 바이너리 값, 여러 범주 값

    • 바이너리 값을 원-핫 인코딩하게 되면 변수가 불필요하게 늘어남

      → 계산 메모리 사용량이 증가

  • pd.dummies 를 사용하면 수치데이터는 그대로 두고, 문자형태 데이터만 인코딩해서 알아서 데이터 프레임으로 변환해줌

  • 코드

    • OneHotEncoder(handle_unknown = 'ignore')

      👊 만약 train에는 없는 데이터가 test에 생긴다면

      • handle_unknown
      • 알 수 없는 카테고리가 발견되면 0으로 처리

    • train set ⇒ ohe.fit_transform(X_train[col_ohe])

    • test set ⇒ ohe.transform(X_test[col_ohe])

  🤔 Q. fit을 train에만 해주는 이유?

  • test에도 fit()을 해주면 기준이 바뀌어서
  • 데이터 누설이 생긴다.

  ✅ 형태 변환

  • 기본적으로 인코딩하면 np.array형태로 변환
    • X_train_ohe와 X_train_num을 병합해주기 위해 X_train_ohe를 dataframe 형태로 만들어주고 있다.
    • 수치데이터만 뽑아서 원핫인코딩을 하면됨
    • X_train_ohe.toarray()로 array 형태로 만들어주고, pd.DataFrame()으로 감싸 dataframe을 만들어준다.
  • 이 값을 기존 pd,DataFrame과 병합하는 과정이 필요하다
    • 기존 train 데이터에서 object타입의 데이터는 제외하고

  📌 train 데이터를 학습 가능한 형태로 수치데이터와 인코딩한 데이터를 병합하기

  1. X_test ohe를 데이터 프레임으로 만들기
  2. X_test 와 index(CustomerID) 똑같이 만들기
  3. X_test에서 숫자형과 논리형 데이터만 가져오기 (Ohe 적용하지 않은 데이터들)
  4. Ohe을 적용 안 한 데이터와 적용한 데이터 Concat으로 병합하고 결과를 확인하기

📔 ExtraTreesClassifier

• 참고자료

  sklearn.ensemble.ExtraTreesClassifier

  더욱 랜덤한 포레스트-익스트림 랜덤 트리(ExtraTreesClassifier)

• 엑스트라 트리모델?

  • 분류(classification)를 위한 앙상블 학습(ensemble learning) 알고리즘 중 하나로, 무작위(random) 결정 트리(randomized decision trees)를 사용하는 방법입니다.
  • 부스트랩 샘플과 랜덤한 후보 특성들을 사용해 여러개의 결정 트리decision tree를 앙상블 합니다. 그래서 훈련 데이터에 과대적합을 막아주고 모델의 일반화 성능이 항상 단일 트리보다 높습니다. 랜덤 포레스트 모델의 변종으로 익스트림 랜덤 트리extremely randomized trees 혹은 엑스트라 트리ExtraTrees라 부르는 모델이 있습니다. 엑스트라 트리는 포레스트 트리의 각 후보 특성을 무작위로 분할하는 식으로 무작위성을 증가  시킵니다. Scikit-Learn은 앙상블 패키지 안에 엑스트라 트리 모델을 제공합니다.
  • 더욱 랜덤한 포레스트로 극도로 무작위된 앙상블 러닝 모델
  • Extra Trees - 임의 분할
  • Random Forest - 최적 분할
  • 데이터 샘플 수와 특성 설정까지 랜덤으로 지정

• 파라미터

  • n_estimators : int, default=100
    • 숲에 있는 나무의 수입니다.
  • criterion : criterion{“gini”, “entropy”, “log_loss”}, default=”gini”
    • 분할의 품질을 측정하는 피처입니다.
  • max_depth : int, default=None
    • 트리의 최대 깊이입니다.
  • min_samples_split : int or float, default=2
    • 내부 노드를 분할하는 데 필요한 최소 샘플 수
  • max_features : {“sqrt”, “log2”, None}, int or float, default=”sqrt”
    • 최상의 분할을 찾을 때 고려해야 할 피처의 수