728x90 반응형 RDD1 [CS246] Spark: Extends MapReduce Recap: MapReduce크기가 매우 크고 (내용) 업데이트가 거의 없는 파일에 대하여 MapReduce는 효과적이다.user는 Map과 Reduce 함수만 작성하고, 시스템은 자동으로 Map/Reduce Worker에 할당하여 처리한다.Map의 결과로 중간 파일(intermediate files)에 저장하고 이는 local file system에 존재한다. 이런 중간파일을 사용하면 main memory를 거의 사용하지 않는다는 장점이 있지만 disk overhead가 존재한다는 단점이 있다. Node Failure도 다음과 같은 경우에 해결할 수 있다.Master fail: 전체 MapReduce를 다시 시작Map worker fail: 해당 worker에 할당된 모든 map task를 다시 시작(.. 2023. 9. 9. 이전 1 다음 728x90 반응형
