[Alex] 데이터 장인의 블로그

사내용 서버로 우분투, CentOS를 사용하는 경우가 생깁니다. 해당 서버를 사용하는 사람 혹은 IP 주소에만 접근할 수 있도록 권한 조정을 해야할 필요가 있습니다. 가장 간단한 방법은 방화벽으로 특정 IP만 접속을 허용하거나, 특정 IP만 제외하여 막는 경우가 있습니다. 여러 방법이 있지만 Firewall을 설치하여 설정하는 방법을 기록하겠습니다. 시스템(Ubuntu & CentOS) Firewall 설치 보통 리눅스 자체에 firewall이 설치되어 있는 경우가 있지만, 설치가 되어있지 않은 경우도 존재. sudo yum install firewalld +) 서버 부팅 / 재부팅 시 자동으로 firewall 데몬이 실행되도록 하는 법 sudo systemctl enable firewalld sudo ..

사용자 만들기 (root 권한 필요) sudo useradd -m user01 (-g 그룹 지정/-d 디렉토리 지정/-s 쉘(shell) 지정/-p 패스워드(암호) 지정) useradd 명령의 -m 옵션을 사용하면 사용자의 홈 디렉토리도 함께 만듭니다. sudo passwd [userid] : 사용자 비밀번호 설정. tail -n 3 /etc/passwd : 생성된 사용자(유저) 확인.(그룹파일은 /etc/group, 비밀번호파일은 /etc/shadow) useradd -m [userid] : 사용자 삭제 tip. 우분투 su 인증 실패가 나올경우 -> sudo passwd root

환경변수 확인 printenv : 전체 환경변수 확인 echo $[환경변수 명] : 환경 변수가 너무 많아서 보고싶은 환경변수를 찾지 못할 때. env | grep [찾을 문자] : 환경변수명이 떠오르지 않을때 확인하는 방법. 환경변수 등록 및 삭제 지역 환경변수 등록 -> 해당 터미널에서만 사용할 수 있는 환경변수 [환경변수] = [환경변수내용] 삭제 unset [환경변수] 전역 환경변수 등록 -> 다른 터미널에서도 사용할 수 있는 환경변수 -> PATH라는 환경변수에 실행경로를 추가하여 현재 위치가 어디에 있든지 원하는 프로세스를 실행할 수 있습니다. export [환경변수] = [환경변수내용] echo $[환경변수] : 마찬가지로 환경변수 등록되었는지 확인하는 방법. 전역 환경변수를 등록하면 어디에..

본 포스팅에 앞서 해당 내용은 T-academy의 '아파치 하둡 입문'의 강의 내용을 정리했음을 밝힙니다. Hadoop 이란? 분산 데이터베이스 + MapReduce 데이터를 저장, 프로세싱하는 Tool이라고 생각한다. 수천대 이상의 리눅스 기반 범용 서버들을 하나의 클러스터로 사용. 마스터 - 슬레이브 구조 파일은 Block 단위로 저장 Block 데이터의 복제본 유지로 인해 신뢰성 보장 데이터 처리의 지역성 보장 HDFS 분산 파일 시스템 Hive 하둡을 SQL과 비슷하게 사용할 수 있도록 하는 프레임워크 하둡에 저장되어있는 데이터를 사용하는 방법. Kafka 분산 스트리밍 플랫폼. 메시징, 메트릭 수집, 로그 수집, 스트림 처리 등 다양한 용도로 사용할 수 있음. 빠름: 수천개의 데이터 소스로 부터..

오늘은 VScode를 활용하여 AWS 인스턴스에 접속하는 방법을 정리해보겠습니다. * AWS-EC2 인스턴스가 실행된 상태여야하고, VScode를 설치한 상태이어야 합니다. Tip. AWS에서 접속하기 위해서는 접속하는 컴퓨터의 ip가 AWS EC2 인스턴스에 등록되어 있어야 합니다. 1. 우선 VS CODE 에서는 "Remote Development"라는 Extension을 설치합니다. 2. 설치가 완료되었으면 configuration 파일을 수정해야합니다. 3. DNS 주소와 아래 정보들을 입력합니다. 4. 입력 뒤에는 으로 원격 연결을 시도합니다. 5. 이후 등록했던 config 정보를 클릭하여 접속하면 완료.

Linux - 오픈소스 컴퓨터 운영체제(OS) 또는 커널 SSH: 네트워크 프로토콜 중 하나. 서로 통신을 할 때 보안적으로 안전한 통신을 하기 위해 사용하는 프로토콜 데이터 전송 원격 제어 FTP, Telnet 등의 프로토콜보다 보안성이 높음. 보안 유지 방법 Public Key - Private Key(내가) 쌍을 통해 접속 보안을 유지 Port: Host 프로세스에 연결하기 위한 구분 ex) 123.234.345.456:8080 기본 명령어(자주 사용하는) clear CLI 창 모두 깨끗히 ls 파일 리스트 ls -l 권한까지. ls -al 숨김처리한거 까지 .앞에 붙은 파일을 모두 숨겼다 취급. touch 빈파일 생성 타임스탬프를 현재로 바꿔주는 역할도 수행 mkdir 폴더(root) 생성 ali..

해시함수 hashlib 프로젝트를 진행하던중 개인정보에 해당하는 데이터를 암호화하여 전달을 해야하는 경우가 생겼다. 데이터를 받는 대상 또한 어떤 암호화 방식을 사용했는지 알기만하면 데이터가 혼동되는 일은 없었기 때문에 복호화를 생각하며 프로그램을 짤 필요는 없었다. 때문에 간단하게 파이썬 라이브러리를 사용하여 데이터를 암호화하였다. 대표적인 암호화 방식 (단방향 암호화 알고리즘) / 복호화 X sha3-224 sha3-256 sha3-384 sha3-512 blake2b 암호화 (Hash 처리) 시 주의해야할 점. 어떤 언어를 사용하던지 암호화 방식은 통일되어 있다. 가장 많이 알려져있는 암호화 방식은 sha3-256, 512 인데 뒤 숫자만큼의 비트로 구성되어있다는 뜻이다. 다이제스트(Digest) ..