일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Spark jdbc parallel read
- 의사결정나무
- 오라클 데이터 처리방식
- airflow 정리
- Spark Data Read
- Oracle 논리적 저장 구조
- 추천시스템
- eda
- CF
- git init
- Python
- Spark 튜닝
- git 기본명령어
- git stash
- Linux
- 네트워크
- enq: FB - contention
- 통계분석
- 데이터분석
- 배깅
- 앙상블
- Oracle ASSM
- SQL
- BFS
- 알고리즘
- 데이터 분석
- 랜덤포레스트
- Decision Tree
- Collaborative filtering
- 리눅스 환경변수
- Today
- Total
목록Linux (4)
[Alex] 데이터 장인의 블로그
awk 명령어 awk는 리눅스의 파일 및 데이터를 조작하고(1), 리포트를 생성(2)하기 위해 사용하는 언어입니다. 기본명령어부터 정리하겠습니다. 기본 사용법 ex) 파일 상태 (vi) alex 데이터분석가 20200104 ALEX 데이터엔지니어 20200131 awk '{print $0}' [파일이름] -> 전체 추출 alex 데이터분석가 20200104 ALEX 데이터엔지니어 20200131 awk '{print $1}' [파일이름] -> 첫번째 단어 추출 $1 부터 시작 alex ALEX awk '{print $2}' [파일이름] -> 두번째 단어 추출 데이터분석가 데이터엔지니어 awk '{print NR}' [파일이름] -> 파일레코드 출력 1 2 awk '/20200104/' [파일이름] -> ..
리눅스/유닉스 OS를 사용하다보면 vi 편집기를 가장 많이 사용합니다. 오늘은 자주 사용하는 vi 명령어를 정리해보겠습니다. Test version 실행 vi [파일이름] -> 파일이름은 .sh(쉘 스크립트)일수도 있고 .bat(배치 파일)일수도 있습니다. 보통은 vi .bashrc 편집하여 부팅시 alias를 지정하거나, 환경변수를 셋팅하기도 합니다. 명령모드 (edit 모드 전에) 1. (★)한줄 잘라내기 - dd 2. 파일의 끝으로 이동 - G 3. 붙여넣기 - p 4. 한글자 삭제 - x 5. 단어 삭제 - dw 6. (★)실행취소 - u 7. 줄의 맨 앞 - o 8. 줄의 맨 뒤 - $ 입력모드 1. (★)현재 커서의 위치부터 입력 - i 2. (★)현재 커서의 위치 다음 칸부터 입력 - a 3..
환경변수 확인 printenv : 전체 환경변수 확인 echo $[환경변수 명] : 환경 변수가 너무 많아서 보고싶은 환경변수를 찾지 못할 때. env | grep [찾을 문자] : 환경변수명이 떠오르지 않을때 확인하는 방법. 환경변수 등록 및 삭제 지역 환경변수 등록 -> 해당 터미널에서만 사용할 수 있는 환경변수 [환경변수] = [환경변수내용] 삭제 unset [환경변수] 전역 환경변수 등록 -> 다른 터미널에서도 사용할 수 있는 환경변수 -> PATH라는 환경변수에 실행경로를 추가하여 현재 위치가 어디에 있든지 원하는 프로세스를 실행할 수 있습니다. export [환경변수] = [환경변수내용] echo $[환경변수] : 마찬가지로 환경변수 등록되었는지 확인하는 방법. 전역 환경변수를 등록하면 어디에..
Linux - 오픈소스 컴퓨터 운영체제(OS) 또는 커널 SSH: 네트워크 프로토콜 중 하나. 서로 통신을 할 때 보안적으로 안전한 통신을 하기 위해 사용하는 프로토콜 데이터 전송 원격 제어 FTP, Telnet 등의 프로토콜보다 보안성이 높음. 보안 유지 방법 Public Key - Private Key(내가) 쌍을 통해 접속 보안을 유지 Port: Host 프로세스에 연결하기 위한 구분 ex) 123.234.345.456:8080 기본 명령어(자주 사용하는) clear CLI 창 모두 깨끗히 ls 파일 리스트 ls -l 권한까지. ls -al 숨김처리한거 까지 .앞에 붙은 파일을 모두 숨겼다 취급. touch 빈파일 생성 타임스탬프를 현재로 바꿔주는 역할도 수행 mkdir 폴더(root) 생성 ali..