Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- CF
- 데이터 분석
- enq: FB - contention
- Python
- git stash
- 네트워크
- BFS
- eda
- Spark 튜닝
- 알고리즘
- airflow 정리
- Collaborative filtering
- SQL
- Spark jdbc parallel read
- 추천시스템
- Spark Data Read
- git 기본명령어
- Decision Tree
- 랜덤포레스트
- 리눅스 환경변수
- Oracle 논리적 저장 구조
- Linux
- 통계분석
- Oracle ASSM
- 앙상블
- 데이터분석
- 배깅
- git init
- 의사결정나무
- 오라클 데이터 처리방식
Archives
- Today
- Total
목록GPU분산처리 (1)
[Alex] 데이터 장인의 블로그
[tensorflow] 모든 GPU 사용하여 모델 predict
Tensorflow 모델 트레이닝 방법 중에 모든 gpu를 태워서 '학습(training)' 하는 방법에 대한 내용은 정리가 많이 되어있는 편입니다. 하지만 기존의 만들어진 모델을 각 GPU에 모두 태워서 '예측(predict)' 하는 방법은 거의 정리된 내용이 없어서 제가 겪은 뻘짓과 성공 경험을 정리해두려고 합니다. 분석 환경 AWS GPU instance Tesla M60 x 4 Memory : 480 G CPUs : 4 CPU N of Cores per CPU : 16 cores 목적 매일 쌓이는 상품코드에 대한 상품 이미지(url)를 2048 길이로 임베딩하여 저장. 많이 등록될 때에는 약 5000개의 상품이 등록되는 경우가 있어, 이를 자동화하여 배치 작업으로 수행할 수 있도록 함. 기존의 작..
ML&DL
2022. 3. 7. 20:38