[Alex] 데이터 장인의 블로그

Spark는 Mapreduce의 대체자 MapReduce의 경우 Disk에서 매번 데이터를 처음부터 읽어야한다. (-> RDD는 데이터를 처음부터 읽을 필요가 없게 만들어준다.) Spark는 데이터를 메모리에 올려서 연산 방식 데이터를 처음부터 읽어야할 필요가 없다. Spark는 반복적인 데이터 처리 작업에서 MapReduce보다 속도가 빠르다 Spark 의 활용사례 (장단점) 장점(사용 가능 바운더리) 데이터 전처리 집계 스트리밍 데이터 처리, 프로세싱 머신러닝 분석 단점(한계점) 단독 로컬 사용보다는 클러스터 환경에서 효과를 보임. (하둡, 카프카 등) Database를 대체할 수는 없음. 메모리 뿐만 아니라 CPU/GPU 스펙도 중요. RDD Resilient Distributed Dataset의 ..