일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- enq: FB - contention
- 데이터분석
- 네트워크
- 알고리즘
- Collaborative filtering
- Spark jdbc parallel read
- 통계분석
- 데이터 분석
- SQL
- Spark Data Read
- 리눅스 환경변수
- 오라클 데이터 처리방식
- git 기본명령어
- 의사결정나무
- Decision Tree
- git init
- airflow 정리
- git stash
- CF
- 랜덤포레스트
- 앙상블
- Oracle ASSM
- Linux
- Python
- 배깅
- Spark 튜닝
- 추천시스템
- BFS
- Oracle 논리적 저장 구조
- eda
- Today
- Total
목록분류 전체보기 (85)
[Alex] 데이터 장인의 블로그
함수(메서드)를 장식. -> decorator (장식자) class Calc: @staticmethod # 데코레이터 def add(a, b): print(a + b) 클래스에서 메서드를 만들 때 @staticmethod, @classmethod, @abstractmethod 등을 붙였는데, 이렇게 @로 시작하는 것들이 데코레이터입니다. 왜 데코레이터를 사용하는가? 간략히 정리하자면 기존의 작업(함수) 앞, 뒤에 추가적인 작업을 손쉽게 사용 가능하도록 도와주는 역할로 사용합니다. def 구문을 통해서 메인 구문(함수)을 만들고 난 후에 부가적인 기능을 추가하고 싶을 때가 존재한다? 이때 데코레이터를 활용하여 자유로운 사용이 가능합니다. 예를 들어 아래와 같은 메인 구문(함수)가 있다고 가정합니다. def..
whl 파일 다운로드 pip 접속이 가능한 온라인 환경이라면 pip의 download명령어로 필요한 파일을 다운로드 한다. pip download -d . flask -d 옵션으로 다운로드 받을 폴더를 지정할 수 있으니 필요한 곳을 지정하고 원하는 패키지를 입력하면 의존성 있는 모든 패키지가 다운 받아진다. pip install --no-index -f . flask --no-index 옵션은 패키지 인덱스를 무시하고 오직 -f, --find-links옵션으로 지정한 URL로 접근하여 다운로드 및 설치 하려는 옵션이다. 즉 —no-index와 -f 옵션은 항상 같이 다닌다. -f, --find-links 옵션으로 현재 디렉토리를 지정했으므로 pip는 현재 디렉토리에서 flask에 필요한 의존성 패키지들을..
캐시메모리 속도 차이 CPU (빠름) > 메모리 (느림) CPU는 상대적으로 빠르고 , 메모리는 상대적으로 속도가 느리다. CPU는 빠르게 일처리를 마치고 있는데, 메모리가 느려서 이 일에 필요한 데이터를 넘기는 속도를 맞추지 못해 발생하는 문제(병목 현상)을 해결하기 위해 사용하는 것이 캐시메모리. CPU와 메모리 중간에서 데이터를 미리 들고 서있다고 생각하면 된다. 캐시메모리 간단 정리. CPU가 메모리에 접근하는 횟수를 줄여 성능을 향상하는 방법. 즉, 자주 사용하는 데이터를 CPU와 더 가까운 캐시메모리에 '잠시' 저장함으로써, 필요할 때마다 꺼내서 바로 사용할 수 있도록 하는 방법. +) 보통 CPU에 cache memory는 2~3개 사용 됨 (L1, L2, L3 캐시 메모리) CPU 내 존재..
쉐뱅(Shebang) #! 로 선언하여 이 스크립트를 어떤 인터프리터로 지정하겠다는 명령어 #!/bin/bash 사용할 수 있는 쉘 확인 방법 cat /etc/shells 주석 처리 #로 시작하면 주석 vi 상태, insert ( i ) 모드에서 한줄 삭제하기 dd 함수 만들기 함수 예시 스크립트 #!/bin/bash hello_function() { echo "Hello!!!" } hello_function # 함수 선언 실행 예시 $ sh func.sh Hello!!! 함수에 인자전달 및 함수에서 값 리턴 인자전달 함수 내부에서는 $1, $2와 같은 형식으로 인자에 접근할 수 있습니다. #!/bin/bash my_function() { echo "Calling my_function p1: $1, p2..
sed : 찾아바꾸기 sed 's/찾을 텍스트/바꿀 텍스트/g' 파일명으로 사용함 -i 옵션은 --in-place를 의미함 s는 문자열 치환을 의미 g는 모든 라인에 적용한다는 의미. 작성하지 않으면 sed 's/root/ROOT/g' /etc/group | grep ROOT sed 's/root/ROOT/g' /etc/group | grep root sed -n '3,7p' /etc/group -> 3에서 7번 row까지 호출 watch : 메모리 상황 보기 (+free, nvidia-smi) watch -n [초 단위] [명령어] watch -n 1 nvidia-smi watch -n 1 free -m alias : 별칭 설정 alias : 별칭 alas ll = 'ls -al' xargs : 출력된..
awk 명령어 awk는 리눅스의 파일 및 데이터를 조작하고(1), 리포트를 생성(2)하기 위해 사용하는 언어입니다. 기본명령어부터 정리하겠습니다. 기본 사용법 ex) 파일 상태 (vi) alex 데이터분석가 20200104 ALEX 데이터엔지니어 20200131 awk '{print $0}' [파일이름] -> 전체 추출 alex 데이터분석가 20200104 ALEX 데이터엔지니어 20200131 awk '{print $1}' [파일이름] -> 첫번째 단어 추출 $1 부터 시작 alex ALEX awk '{print $2}' [파일이름] -> 두번째 단어 추출 데이터분석가 데이터엔지니어 awk '{print NR}' [파일이름] -> 파일레코드 출력 1 2 awk '/20200104/' [파일이름] -> ..
웹서버 vs WAS ? 아파치 = 웹서버 아파치는 http요청을 처리하는 서버를 뜻합니다. 위키백과에 따르면.. 가장 인기있는 웹서버라고 합니다. 아파치 HTTP 서버는 아파치 소프트웨어 재단에서 관리하는 오픈 소스, 크로스 플랫폼 HTTP 웹 서버 소프트웨어다. BSD, 리눅스 등 유닉스 계열 뿐 아니라 마이크로소프트 윈도우나 노벨 넷웨어 같은 기종에서도 무료로 운용할 수 있다. from. 위키백과 점유율[편집] 아파치 웹 서버는 현재 세계에서 가장 인기있는 웹 서버이다. 2017년 10월 기준으로 실질적으로 작동하는 웹 사이트(active site)들에서 쓰이는 웹 서버 소프트웨어 순위는 아파치(44.89%), 엔진엑스(20.65%), 구글 웹 서버(7.86%), 마이크로소프트 IIS(7.32%)순이..