[Alex] 데이터 장인의 블로그

Tensorflow 모델 트레이닝 방법 중에 모든 gpu를 태워서 '학습(training)' 하는 방법에 대한 내용은 정리가 많이 되어있는 편입니다. 하지만 기존의 만들어진 모델을 각 GPU에 모두 태워서 '예측(predict)' 하는 방법은 거의 정리된 내용이 없어서 제가 겪은 뻘짓과 성공 경험을 정리해두려고 합니다. 분석 환경 AWS GPU instance Tesla M60 x 4 Memory : 480 G CPUs : 4 CPU N of Cores per CPU : 16 cores 목적 매일 쌓이는 상품코드에 대한 상품 이미지(url)를 2048 길이로 임베딩하여 저장. 많이 등록될 때에는 약 5000개의 상품이 등록되는 경우가 있어, 이를 자동화하여 배치 작업으로 수행할 수 있도록 함. 기존의 작..

GPU Version 확인 nvidia-smi CUDA Version 확인 nvcc -V (nvcc -version) -> 동작이 안되는 경우가 있음. (ex. cuda 버전이 여러개 설치되어있다던가.) CUDNN Version # version 8 이전. cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 # version 8 이후. cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

https://onikaze.tistory.com/606 (AMI / Python) 이미지 내 문자 추출 도구 Tesseract-ocr 사용하기(기초편) 이번 글에서는 Amazon Linux(AMI) 및 Python에서 Tesseract-ocr을 설치하고 사용하는 법을 알아본다. 먼저 Tesseract-ocr 이란 무엇인가부터 보자. 간단하게, 이미지에서 문자를 추출하기 위한 ocr 기술을 오픈 onikaze.tistory.com 헤맨것 - 4.0 버전의 언어팩 경로 https://github.com/tesseract-ocr/tessdoc/blob/main/Data-Files.md#data-files-for-version-400-november-29-2016 GitHub - tesseract-ocr/te..

1. 관련 라이브러리를 임포트. from IPython.core.display import display, HTML display(HTML("")) import numpy as np import pandas as pd import seaborn as sns from sklearn.metrics import classification_report from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier import matplotlib.pyplot as plt %matplotlib inline import warnings warnings.filterwarnings('ignore'..

TREE가 모이게 되면 FOREST가 된다. 이전에 공부한 Decision Tree가 '나무' 였다면, 오늘 배울 Random Forest는 숲이다. 나무가 모여 숲이 되듯이 랜덤포레스트는 여러 의사결정나무 모델의 집합체라고 할 수 있다. 앙상블 기법 앙상블은 여러 모델의 집합을 이용해서 하나의 예측을 이끌어내는 방식이다. 배깅은 앙상블 방법 중 가장 많이 사용되는 방법 중 하나이다. 배깅은 데이터를 부트스트래핑하여 여러 모델을 만드는 가장 일반적인 방법을 말한다. 주로 배깅, 부스팅을 구분을 두어 학습하기도 하는데 간단히 정리하면 다음과 같다. Ensemble methods: Bagging & Boosting 배깅 배깅은 부트스트래핑 종합(Bootstrap aggregating)의 줄임말로 1994년 ..

의사결정트리라고도 불리는 의사결정나무는 객체 레이블을 예측하는 매우 직관적인 방법이다. 단순히 입력 변수를 특정한 기준으로 잘라(분기) 트리 형태의 구조로 분류를 하는 모델이다. 보통 의사결정나무를 분석 모델로 선택하는 이유는 예측모형을 직접 보고 충분히 이해할 수 있기 때문이다.(속도가 빠른 것도) 로지스틱 회귀 등등 coef를 보고 해석할 수 있는 경우 있기야 하지만 의사결정 트리만큼 직관적이고 쉽게 해석할 수 있는 모델은 없다. 의사결정나무는 이진 분할을 통해 각 예측 Class 들의 옵션 수를 줄이고 때문에 빠르게 동작할 수 있다는 장점이 있다. 물론 각 단계마다 어떤 Feature에 어떤 질문을 하느냐가 중요하다. 어떤 질문을 하는지는 보통 불순도를 낮추는 방향이나 순수도를 높히는 방향으로 이루..

출처 ratsgo_서포트 벡터 머신 [서적] 파이썬 데이터 사이언스 핸드북 https://pierpaolo28.github.io/blog/blog6/ SVM: Feature Selection and Kernels 기반으로 한 학습내용 정리입니다. 분류 = 분리 분류 학습의 가장 기본적인 아이디어는 훈련 데이터의 공간에서 하나의 분할 초평면을 찾아 서로 다른 클래스의 데이터를 찾아내어 분리하는 것이다. 그렇다면 위의 그림에서 분류를 하기 위한 분할선을 하나 찾는다고 가정할 때, 왜 오른쪽 초록선이 기준이 되는 것일까? 그 이유는 가장 '견고'한 선이기 때문이다. 노이즈(이상값)나 어떠한 영향으로 인해 새로운 데이터가 분류 경계에 가까이 가게된다면 '오류'가 생기게 된다. 이러한 오류를 최대한 줄일 수 있도..