일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Spark Data Read
- 알고리즘
- Python
- Collaborative filtering
- BFS
- git 기본명령어
- 데이터 분석
- enq: FB - contention
- Decision Tree
- Linux
- 의사결정나무
- 랜덤포레스트
- 배깅
- git init
- Spark jdbc parallel read
- 통계분석
- 리눅스 환경변수
- SQL
- airflow 정리
- 네트워크
- eda
- 추천시스템
- Oracle 논리적 저장 구조
- 데이터분석
- Oracle ASSM
- 앙상블
- CF
- 오라클 데이터 처리방식
- Spark 튜닝
- git stash
- Today
- Total
목록Linux&OS (21)
[Alex] 데이터 장인의 블로그
Linux에서 daemon의 의미는 background에서 실행이 되는 프로세스를 뜻한다. systemd에서 끝 d는 daemon을 의미한다. 이전에는 init이라는 데몬이 있었는데 이를 대체하고 init보다 기능이 추가되어서 나온 것이 systemd이다. 그래서 이전의 init과 같이 PID가 1이 된다. systemd는 리소스를 unit이라고 불리는 단위로 관리하는데, 오늘은 .service만 설명한다. service에서는 service나 application을 서버상에서 어떻게 관리할지를 명세합니다. service의 시작, 중지, 그리고 어떠한 상황에서 자동적으로 실행하는지, 어떠한 종속성을 가지고 있는지에 대한 정보를 갖고 있습니다. 만약 .service를 추가하려면 /etc/systemd/sys..
TCP, UDP 우편과 등기로 비유 TCP : 받는 사람이 받았는지 알 수 있다. (확인) UDP : 받는 사람이 받았는지 알 수 없다. (확인x) TCP - 높은 신뢰성, 높은 연결성 연결형 프로토콜 전송속도가 느리다 패킷관리가 필요 없다. 데이터 순서 유지를 위해 데이터 각 바이트마다 번호를 부여함. 데이터를 재전송한다. 1대1 통신 (unicast) 데이터 전달을 보증, 순서를 보장 (3-Way handshake) 흐름 제어 및 혼잡 제어 받는 사람의 환경을 인지한 채로 조절. - 흐름 제어 네트워크 내 패킷 수가 과도하게 증가하는 것을 방지 - 혼잡 제어 UDP - 낮은 신뢰성, 스트리밍 서비스에 활용. 비연결성 프로토콜이며, 연결 없이 통신이 가능. 비 신뢰적인 데이터를 전송. -> 데이터 재전..
출처 : https://jinshine.github.io/2018/05/17/%EC%BB%B4%ED%93%A8%ED%84%B0%20%EA%B8%B0%EC%B4%88/%EB%A9%94%EB%AA%A8%EB%A6%AC%EA%B5%AC%EC%A1%B0/ 출처 : https://gmlwjd9405.github.io/2018/09/14/process-vs-thread.html 프로그램 실행 순서 위의 순서에 따라 HDD 저장장치에 있는 데이터를 RAM으로 가져오게 되면 아래와 같은 공간처럼 할당되어 집니다. 메모리 구조 코드영역 (Code) * 소스코드 저장 공간 (텍스트 영역) 텍스트 영역이라고도 불리우는 이 저장 공간에는 개발자가 작성한 프로그램의 '코드'가 저장되어 지는 영역. 함수, 제어문, 상수 등의 저..
특정 다수 process를 한번에 kill하고 싶을 때 사용하는 방법. grep과 awk를 이용하여 pid를 구하고 한번에 kill하는 방법. kill $(ps -ef | grep 'jupyter' | awk '{print $2}')
캐시메모리 속도 차이 CPU (빠름) > 메모리 (느림) CPU는 상대적으로 빠르고 , 메모리는 상대적으로 속도가 느리다. CPU는 빠르게 일처리를 마치고 있는데, 메모리가 느려서 이 일에 필요한 데이터를 넘기는 속도를 맞추지 못해 발생하는 문제(병목 현상)을 해결하기 위해 사용하는 것이 캐시메모리. CPU와 메모리 중간에서 데이터를 미리 들고 서있다고 생각하면 된다. 캐시메모리 간단 정리. CPU가 메모리에 접근하는 횟수를 줄여 성능을 향상하는 방법. 즉, 자주 사용하는 데이터를 CPU와 더 가까운 캐시메모리에 '잠시' 저장함으로써, 필요할 때마다 꺼내서 바로 사용할 수 있도록 하는 방법. +) 보통 CPU에 cache memory는 2~3개 사용 됨 (L1, L2, L3 캐시 메모리) CPU 내 존재..
쉐뱅(Shebang) #! 로 선언하여 이 스크립트를 어떤 인터프리터로 지정하겠다는 명령어 #!/bin/bash 사용할 수 있는 쉘 확인 방법 cat /etc/shells 주석 처리 #로 시작하면 주석 vi 상태, insert ( i ) 모드에서 한줄 삭제하기 dd 함수 만들기 함수 예시 스크립트 #!/bin/bash hello_function() { echo "Hello!!!" } hello_function # 함수 선언 실행 예시 $ sh func.sh Hello!!! 함수에 인자전달 및 함수에서 값 리턴 인자전달 함수 내부에서는 $1, $2와 같은 형식으로 인자에 접근할 수 있습니다. #!/bin/bash my_function() { echo "Calling my_function p1: $1, p2..
sed : 찾아바꾸기 sed 's/찾을 텍스트/바꿀 텍스트/g' 파일명으로 사용함 -i 옵션은 --in-place를 의미함 s는 문자열 치환을 의미 g는 모든 라인에 적용한다는 의미. 작성하지 않으면 sed 's/root/ROOT/g' /etc/group | grep ROOT sed 's/root/ROOT/g' /etc/group | grep root sed -n '3,7p' /etc/group -> 3에서 7번 row까지 호출 watch : 메모리 상황 보기 (+free, nvidia-smi) watch -n [초 단위] [명령어] watch -n 1 nvidia-smi watch -n 1 free -m alias : 별칭 설정 alias : 별칭 alas ll = 'ls -al' xargs : 출력된..