일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Spark jdbc parallel read
- SQL
- git 기본명령어
- Collaborative filtering
- git stash
- 데이터분석
- 앙상블
- 오라클 데이터 처리방식
- Decision Tree
- Oracle 논리적 저장 구조
- Python
- BFS
- Oracle ASSM
- Linux
- enq: FB - contention
- 알고리즘
- 랜덤포레스트
- 배깅
- Spark 튜닝
- 데이터 분석
- Spark Data Read
- CF
- 의사결정나무
- 네트워크
- 리눅스 환경변수
- airflow 정리
- 추천시스템
- eda
- 통계분석
- git init
- Today
- Total
목록Python (8)
[Alex] 데이터 장인의 블로그
동기적 코드 아래 코드는 '짜여진' 순서대로 실행된다. 때문에 식사 완료가 되기 전 mealtime 시간동안 '블로킹'이 발생하게 되고, 이로써 최종 코드 delivery("C", 1) 구동시간까지 지연시간이 발생하게 된다. import time def delivery(name, mealtime): print(f"{name}에게 배달 완료!") time.sleep(mealtime) print(f"{name} 식사 완료, {mealtime}시간 소요...") print(f"{name} 그릇 수거 완료") def main(): delivery("A", 1) delivery("B", 1) delivery("C", 1) if __name__ == "__main__": start = time.time() prin..
동시성(Concurrency), 병렬성(Parallelism) 은 같은 의미인가? Concurrency (동시성) 한 번에 여러 작업을 동시에 다루는 것을 의미 클라이언트와 서버 간 통신 시스템 디스크 파일 읽기/쓰기 데이터베이스 쿼리 작업 API 사용 Parallelism (병렬성) 한 번에 여러 작업을 병렬적으로 처리하는 것을 의미 비디오, 오디오 또는 이미지 처리 컴퓨터 비전 머신러닝 딥러닝 CPU 바운드 한정된 CPU의 자원보다 더 많은 작업을 수행하게 되었을 때 막히고, 느려지는 현상 프로그램이 CPU 연산 때문에 막힘, 느려지는 것. 데이터 마이닝 이미지 프로세싱 암호화폐 마이닝 프로그램이 실행될 때 CPU가 연산을 해야하기 때문에 소요되는 시간에 차례차례 영향을 받는 것. 이 경우에는 병렬적..
함수(메서드)를 장식. -> decorator (장식자) class Calc: @staticmethod # 데코레이터 def add(a, b): print(a + b) 클래스에서 메서드를 만들 때 @staticmethod, @classmethod, @abstractmethod 등을 붙였는데, 이렇게 @로 시작하는 것들이 데코레이터입니다. 왜 데코레이터를 사용하는가? 간략히 정리하자면 기존의 작업(함수) 앞, 뒤에 추가적인 작업을 손쉽게 사용 가능하도록 도와주는 역할로 사용합니다. def 구문을 통해서 메인 구문(함수)을 만들고 난 후에 부가적인 기능을 추가하고 싶을 때가 존재한다? 이때 데코레이터를 활용하여 자유로운 사용이 가능합니다. 예를 들어 아래와 같은 메인 구문(함수)가 있다고 가정합니다. def..
whl 파일 다운로드 pip 접속이 가능한 온라인 환경이라면 pip의 download명령어로 필요한 파일을 다운로드 한다. pip download -d . flask -d 옵션으로 다운로드 받을 폴더를 지정할 수 있으니 필요한 곳을 지정하고 원하는 패키지를 입력하면 의존성 있는 모든 패키지가 다운 받아진다. pip install --no-index -f . flask --no-index 옵션은 패키지 인덱스를 무시하고 오직 -f, --find-links옵션으로 지정한 URL로 접근하여 다운로드 및 설치 하려는 옵션이다. 즉 —no-index와 -f 옵션은 항상 같이 다닌다. -f, --find-links 옵션으로 현재 디렉토리를 지정했으므로 pip는 현재 디렉토리에서 flask에 필요한 의존성 패키지들을..
해시함수 hashlib 프로젝트를 진행하던중 개인정보에 해당하는 데이터를 암호화하여 전달을 해야하는 경우가 생겼다. 데이터를 받는 대상 또한 어떤 암호화 방식을 사용했는지 알기만하면 데이터가 혼동되는 일은 없었기 때문에 복호화를 생각하며 프로그램을 짤 필요는 없었다. 때문에 간단하게 파이썬 라이브러리를 사용하여 데이터를 암호화하였다. 대표적인 암호화 방식 (단방향 암호화 알고리즘) / 복호화 X sha3-224 sha3-256 sha3-384 sha3-512 blake2b 암호화 (Hash 처리) 시 주의해야할 점. 어떤 언어를 사용하던지 암호화 방식은 통일되어 있다. 가장 많이 알려져있는 암호화 방식은 sha3-256, 512 인데 뒤 숫자만큼의 비트로 구성되어있다는 뜻이다. 다이제스트(Digest) ..
안녕하세요. 오늘은 python 에서 SQL 연동하는 방법을 배워보고자 합니다. 필요한건, SQL 접속 정보와 Python에서 sql을 연동하기 위한 라이브러리 설치입니다. 제가 주로 사용하는 라이브러리는 다음과 같습니다. pymysql, mysql 라이브러리 - mysql 연동시 sqlalchemy 라이브러리 - mysql 포함 다른 sql 연동 python 에서 sql 사용을 위한 방법들을 바로 스크립트와 함께 살펴보겠습니다. 1. 데이터 불러오기 (python에서 데이터를 호출) 데이터 불러오기 import pymysql host = '서버ip or 주소' iid ='아이디' pw = '비밀번호' db_name = '데이터베이스' conn = pymysql.c..
상가업소 폐점여부 확인하기 프로젝트 진행 중, VAN 사업을 운영하는데 있어서 가맹점 상가업소의 폐업여부를 확인하는 것이 중요하다고 느꼈습니다. 30일 이상 장기로 실적이 없는 가맹점을 효율적으로 관리하기 위해서는 휴업인지, 폐업인지를 정확히 알아야하기 때문입니다. 물론 일일이 사업자분들께 전화나 문자를 보내 확인하는 방법도 있겠지만 아래와 같은 경우에는 확인하는 시간과 비용이 필요이상으로 많이 발생합니다. 공공데이터 포털에서 해당 정보를 얻을 수 있는 API가 있나 확인해봤지만 사업자 등록번호로 조회할 수 있는 기능은 제공하지 않았습니다. 열심히 서칭을 해본 결과, 국세청 홈택스에서 사업자등록번호를 통해 폐업여부를 확인할 수 있다는 것을 알게되었습니다. f..