[Alex] 데이터 장인의 블로그

힙(Heap) '완전' 이진트리를 기초로 하는 자료구조. 마지막을 제외한 모든 노드에서 자식들이 꽉 채워진 이진트리. 최대값 혹은 최소값을 빠르게 찾기 위한 이진트리 우선 순위 큐를 위하여 만들어진 자료구조 (우선순위 큐: 우선순위의 개념을 큐에 도입한 자료 구조) 우선순위 큐는 배열, 연결리스트, 힙 으로 구현이 가능하다. 이 중에서 힙(heap)으로 구현하는 것이 가장 효율적이다. 시간복잡도 삽입 : logN 삭제 : logN 최대 힙(max heap) 부모 노드의 키 값이 자식 노드의 키 값보다 크거나 같은 완전 이진 트리 key(부모 노드) >= key(자식 노드) 최소 힙(min heap) 부모 노드의 키 값이 자식 노드의 키 값보다 작거나 같은 완전 이진 트리 key(부모 노드)

스택과 큐는 추상적 자료구조(ADT)이다. - 구조의 행동양식만 정해져 있는 것. 데이터 구조 중에서 가장 기초, 기본이 되는 개념. 스택과 큐는 '배열'의 형태로 쉽게 표현 가능하다. 스택(Stack) 배열이 수직으로 표현되어 있는 형식. 후입선출(LIFO)의 방식. 큐(Queue) 새로운 요소가 뒤에 추가되고, 가장 처음 요소가 삭제(사용)되는 자료형식. 선입선출(FIFO)의 방법. 가장 처음 입력된 데이터를 가장 처음 '사용'하는 자료구조. 인큐, 디큐 우선순위 큐 링 버퍼 / 우선순위 큐 링 버퍼의 활용. 환형 큐(Circular Queue) 우선순위 큐(Priority Queue) 링 버퍼는 오래된 데이터를 버리는 용도로 활용 가능. 원소 수가 n개인 배열에 데이터를 계속해서 입력. 가장 최근에..

TCP, UDP 우편과 등기로 비유 TCP : 받는 사람이 받았는지 알 수 있다. (확인) UDP : 받는 사람이 받았는지 알 수 없다. (확인x) TCP - 높은 신뢰성, 높은 연결성 연결형 프로토콜 전송속도가 느리다 패킷관리가 필요 없다. 데이터 순서 유지를 위해 데이터 각 바이트마다 번호를 부여함. 데이터를 재전송한다. 1대1 통신 (unicast) 데이터 전달을 보증, 순서를 보장 (3-Way handshake) 흐름 제어 및 혼잡 제어 받는 사람의 환경을 인지한 채로 조절. - 흐름 제어 네트워크 내 패킷 수가 과도하게 증가하는 것을 방지 - 혼잡 제어 UDP - 낮은 신뢰성, 스트리밍 서비스에 활용. 비연결성 프로토콜이며, 연결 없이 통신이 가능. 비 신뢰적인 데이터를 전송. -> 데이터 재전..

출처 : https://jinshine.github.io/2018/05/17/%EC%BB%B4%ED%93%A8%ED%84%B0%20%EA%B8%B0%EC%B4%88/%EB%A9%94%EB%AA%A8%EB%A6%AC%EA%B5%AC%EC%A1%B0/ 출처 : https://gmlwjd9405.github.io/2018/09/14/process-vs-thread.html 프로그램 실행 순서 위의 순서에 따라 HDD 저장장치에 있는 데이터를 RAM으로 가져오게 되면 아래와 같은 공간처럼 할당되어 집니다. 메모리 구조 코드영역 (Code) * 소스코드 저장 공간 (텍스트 영역) 텍스트 영역이라고도 불리우는 이 저장 공간에는 개발자가 작성한 프로그램의 '코드'가 저장되어 지는 영역. 함수, 제어문, 상수 등의 저..

특정 다수 process를 한번에 kill하고 싶을 때 사용하는 방법. grep과 awk를 이용하여 pid를 구하고 한번에 kill하는 방법. kill $(ps -ef | grep 'jupyter' | awk '{print $2}')

Tensorflow 모델 트레이닝 방법 중에 모든 gpu를 태워서 '학습(training)' 하는 방법에 대한 내용은 정리가 많이 되어있는 편입니다. 하지만 기존의 만들어진 모델을 각 GPU에 모두 태워서 '예측(predict)' 하는 방법은 거의 정리된 내용이 없어서 제가 겪은 뻘짓과 성공 경험을 정리해두려고 합니다. 분석 환경 AWS GPU instance Tesla M60 x 4 Memory : 480 G CPUs : 4 CPU N of Cores per CPU : 16 cores 목적 매일 쌓이는 상품코드에 대한 상품 이미지(url)를 2048 길이로 임베딩하여 저장. 많이 등록될 때에는 약 5000개의 상품이 등록되는 경우가 있어, 이를 자동화하여 배치 작업으로 수행할 수 있도록 함. 기존의 작..

https://docs.aws.amazon.com/ko_kr/AmazonRDS/latest/UserGuide/MySQL.Procedural.Importing.AnySource.html