목록ML&DL/Machine Learning (4)

[Alex] 데이터 장인의 블로그

[Machine Learning] Random Forest - 랜덤 포레스트 코드 구현 (feat. python)

1. 관련 라이브러리를 임포트. from IPython.core.display import display, HTML display(HTML("")) import numpy as np import pandas as pd import seaborn as sns from sklearn.metrics import classification_report from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier import matplotlib.pyplot as plt %matplotlib inline import warnings warnings.filterwarnings('ignore'..
ML&DL/Machine Learning 2020. 10. 4. 22:38
[Machine Learning] Random Forest - 랜덤 포레스트

TREE가 모이게 되면 FOREST가 된다. 이전에 공부한 Decision Tree가 '나무' 였다면, 오늘 배울 Random Forest는 숲이다. 나무가 모여 숲이 되듯이 랜덤포레스트는 여러 의사결정나무 모델의 집합체라고 할 수 있다. 앙상블 기법 앙상블은 여러 모델의 집합을 이용해서 하나의 예측을 이끌어내는 방식이다. 배깅은 앙상블 방법 중 가장 많이 사용되는 방법 중 하나이다. 배깅은 데이터를 부트스트래핑하여 여러 모델을 만드는 가장 일반적인 방법을 말한다. 주로 배깅, 부스팅을 구분을 두어 학습하기도 하는데 간단히 정리하면 다음과 같다. Ensemble methods: Bagging & Boosting 배깅 배깅은 부트스트래핑 종합(Bootstrap aggregating)의 줄임말로 1994년 ..
ML&DL/Machine Learning 2020. 10. 4. 22:37
[Machine Learning] Decision Tree - 의사결정나무

의사결정트리라고도 불리는 의사결정나무는 객체 레이블을 예측하는 매우 직관적인 방법이다. 단순히 입력 변수를 특정한 기준으로 잘라(분기) 트리 형태의 구조로 분류를 하는 모델이다. 보통 의사결정나무를 분석 모델로 선택하는 이유는 예측모형을 직접 보고 충분히 이해할 수 있기 때문이다.(속도가 빠른 것도) 로지스틱 회귀 등등 coef를 보고 해석할 수 있는 경우 있기야 하지만 의사결정 트리만큼 직관적이고 쉽게 해석할 수 있는 모델은 없다. 의사결정나무는 이진 분할을 통해 각 예측 Class 들의 옵션 수를 줄이고 때문에 빠르게 동작할 수 있다는 장점이 있다. 물론 각 단계마다 어떤 Feature에 어떤 질문을 하느냐가 중요하다. 어떤 질문을 하는지는 보통 불순도를 낮추는 방향이나 순수도를 높히는 방향으로 이루..
ML&DL/Machine Learning 2020. 9. 20. 22:16
[Machine Learning] SVM - 서포트 벡터 머신

출처 ratsgo_서포트 벡터 머신 [서적] 파이썬 데이터 사이언스 핸드북 https://pierpaolo28.github.io/blog/blog6/ SVM: Feature Selection and Kernels 기반으로 한 학습내용 정리입니다. 분류 = 분리 분류 학습의 가장 기본적인 아이디어는 훈련 데이터의 공간에서 하나의 분할 초평면을 찾아 서로 다른 클래스의 데이터를 찾아내어 분리하는 것이다. 그렇다면 위의 그림에서 분류를 하기 위한 분할선을 하나 찾는다고 가정할 때, 왜 오른쪽 초록선이 기준이 되는 것일까? 그 이유는 가장 '견고'한 선이기 때문이다. 노이즈(이상값)나 어떠한 영향으로 인해 새로운 데이터가 분류 경계에 가까이 가게된다면 '오류'가 생기게 된다. 이러한 오류를 최대한 줄일 수 있도..
ML&DL/Machine Learning 2020. 9. 11. 13:37
Prev 1 Next