일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- git stash
- airflow 정리
- 알고리즘
- git init
- 데이터분석
- Collaborative filtering
- BFS
- Oracle ASSM
- 추천시스템
- git 기본명령어
- Spark 튜닝
- 통계분석
- Oracle 논리적 저장 구조
- Spark Data Read
- 의사결정나무
- Decision Tree
- Spark jdbc parallel read
- CF
- 랜덤포레스트
- 앙상블
- 리눅스 환경변수
- enq: FB - contention
- SQL
- Python
- 네트워크
- 데이터 분석
- eda
- 오라클 데이터 처리방식
- 배깅
- Linux
- Today
- Total
목록Linux&OS (21)
[Alex] 데이터 장인의 블로그
awk 명령어 awk는 리눅스의 파일 및 데이터를 조작하고(1), 리포트를 생성(2)하기 위해 사용하는 언어입니다. 기본명령어부터 정리하겠습니다. 기본 사용법 ex) 파일 상태 (vi) alex 데이터분석가 20200104 ALEX 데이터엔지니어 20200131 awk '{print $0}' [파일이름] -> 전체 추출 alex 데이터분석가 20200104 ALEX 데이터엔지니어 20200131 awk '{print $1}' [파일이름] -> 첫번째 단어 추출 $1 부터 시작 alex ALEX awk '{print $2}' [파일이름] -> 두번째 단어 추출 데이터분석가 데이터엔지니어 awk '{print NR}' [파일이름] -> 파일레코드 출력 1 2 awk '/20200104/' [파일이름] -> ..
웹서버 vs WAS ? 아파치 = 웹서버 아파치는 http요청을 처리하는 서버를 뜻합니다. 위키백과에 따르면.. 가장 인기있는 웹서버라고 합니다. 아파치 HTTP 서버는 아파치 소프트웨어 재단에서 관리하는 오픈 소스, 크로스 플랫폼 HTTP 웹 서버 소프트웨어다. BSD, 리눅스 등 유닉스 계열 뿐 아니라 마이크로소프트 윈도우나 노벨 넷웨어 같은 기종에서도 무료로 운용할 수 있다. from. 위키백과 점유율[편집] 아파치 웹 서버는 현재 세계에서 가장 인기있는 웹 서버이다. 2017년 10월 기준으로 실질적으로 작동하는 웹 사이트(active site)들에서 쓰이는 웹 서버 소프트웨어 순위는 아파치(44.89%), 엔진엑스(20.65%), 구글 웹 서버(7.86%), 마이크로소프트 IIS(7.32%)순이..
여러개 커널 사용 jupyter kernelspec list 가상환경 jupyter 커널로 추가 # 각각의 가상환경 내에서 실행한다. ipython kernel install --user --name 가상환경 --display-name "[가상환경 이름]" 또는 python -m ipykernel install --user --name 가상환경 --display-name "[가상환경 이름]" 이렇게 가상환경 개별 커널을 만들어놓고 작업을 하다보면, pip 변수가 지금 사용하고 있는 환경에서 수행되지 않고 엉뚱한 곳에서 실행되는 경우가 생깁니다. 이때 아래 방법으로 수행하면 됩니다. import sys sys.executable '/Users/jakevdp/anaconda/bin/python' 이렇게 내가..
시스템 환경변수 파일 읽는 순서 /etc/rc.d/rc.sysinit /etc/rc.d/rcN.d # N은 0-6 사이. /etc/rc.d/rc.local /etc/profile /etc/profile.d/* /etc/bashrc $HOME/.bash_profile $HOME/.bashrc ## X 윈도우 실행 되면.... /etc/X11/xinit/xinitrc /etc/X11/xinit/Xclient /etc/X11/xinit/xinitrc.d/* /etc/X11/sysconfig/i18n $HOME/.xinitrc $HOME/.Xclient $HOME/.Xclient-$HOSTNAME etc 에 있는 파일은 모든 유저에게 적용되고 $HOME 즉 특정 유저의 홈디렉토리에 있는 파일은 해당 유저에게만 ..
한번은 버전, 패키지 관리 때문에 anaconda를 다시깔았던적이 있었다. 그때, 정상적으로 잘 사용되던 cmd 창이 갑자기 실행되지 않는 것이었다.. VSCODE에서도.. 마찬가지로 Anaconda Prompt 에서도.. (아무래도 PATH 설정을 자동으로 체크해놔서 생긴 꼬임 같은 것 같았다.) 비슷한 상황..(하지만 해결 x) 비슷한 상황2.. (해결x) 이것을 해결하기 위해 수많은 포스팅글을 살펴보고 했지만 해결되지 않았다.. cmd.exe 작동 안됨 vs window powershell 작동 잘됨 희한하게도 나같은 경우는 그랬다. 이때 cmd.exe.를 powershell에서 실행하거나 cmd 창을 실행하면 `&은(는) 예상되지 않았습니다.` 라는 알림이 뜨고 바로 종료되는 현상을 보였다. 해당..
Crontab 리눅스의 작업 스케줄러로, 특정 시각에 명령어를 반복 수행할 수 있도록 하는 프로그램입니다. 보통 sh 파일을 만들어서 실행하거나 python 파일을 지정하여 실행할 수 있습니다. 사용방법 터미널 창에 crontab -e를 입력. vi 설정하는 것처럼 명령어 (작업 스케줄러) 를 입력하고 :wq 저장. 명령어 정리 시간대, 요일, 명령어 지정. * * * * * 수행할 명령어 ┬ ┬ ┬ ┬ ┬ │ │ │ │ │ │ │ │ │ │ │ │ │ │ └───────── 요일 (0 - 6) (0:일요일, 1:월요일, 2:화요일, …, 6:토요일) │ │ │ └───────── 월 (1 - 12) │ │ └───────── 일 (1 - 31) │ └───────── 시 (0 - 23) └───────..
리눅스/유닉스 OS를 사용하다보면 vi 편집기를 가장 많이 사용합니다. 오늘은 자주 사용하는 vi 명령어를 정리해보겠습니다. Test version 실행 vi [파일이름] -> 파일이름은 .sh(쉘 스크립트)일수도 있고 .bat(배치 파일)일수도 있습니다. 보통은 vi .bashrc 편집하여 부팅시 alias를 지정하거나, 환경변수를 셋팅하기도 합니다. 명령모드 (edit 모드 전에) 1. (★)한줄 잘라내기 - dd 2. 파일의 끝으로 이동 - G 3. 붙여넣기 - p 4. 한글자 삭제 - x 5. 단어 삭제 - dw 6. (★)실행취소 - u 7. 줄의 맨 앞 - o 8. 줄의 맨 뒤 - $ 입력모드 1. (★)현재 커서의 위치부터 입력 - i 2. (★)현재 커서의 위치 다음 칸부터 입력 - a 3..