相关题目
MapReduce在中间key值采用分区函数进行数据的分区,并将分区结果传给后续任务执行进程。()
对Master故障,一个简单的解决办法是让Master周期性地将输出结果写入磁盘,并设置检查点。当Master任务失效时,可以从最后一个检查点开始启动另一个Master进程。()
Partition()函数/分区函数:MapReduce对map()函数的输出的中间key值使用分区函数来对数据进行分区处理,为每个Reduce任务创建一个分区。()
为了降低map()函数与reduce()函数之间的数据传递量,一般采用combiner()函数对map()函数的输出结果进行合并处理。()
Shuffle处理:为了确保每个reduce()函数的输入都按键排序。()
用户自定义的reduce()函数接受一个中间key值和一个相关的value值的集合。()
MapReduce计算框架的计算过程分为Map阶段和Reduce阶段两个阶段,并分别以两个函数map()和reduce()进行抽象。()
key和value可以是未经加工的字节数据。()
MapReduce计算过程中,相同的key默认会被发送到同一个ReduceTask处理。()
链式MapReduce计算中,对任意一个MapReduce作业,Map和Reduce阶段可以有无限个Mapper,但Reducer只能有一个。()
