相关题目
Spark是专为大规模数据处理而设计的快速通用的计算引擎,将Job中间输出结果可以保存在()中,从而不再需要读写HDFS。因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
在Spark中引入RDD概念的目的是实现()。
Spark技术架构的资源层主要涉及两种角色,分别是()。
()负责资源管理和所有作业的控制,而()负责接收来自JobTracker的命令并执行它。
当Map任务完成时,()接收到位置和大小的更新信息,并推送给Reduce任务。
MapReduce中,不需要将这R个输出文件合并成一个文件,主要原因在于在实际应用中这些文件往往作为()或者在处理多个分制文件的分布式应用中继续使用。
MapReduce中,当Reduce Worker接收到Master发来的数据存储位置信息后,通过远程调用从Map Worker所在主机的磁盘上读取()输出的中间结果。
MapReduce中,(key,value)在本地磁盘上的存储位置将传给Master,由Master负责把这些存储位置再传送给()。
MapReduce中,通过分区函数将已缓存的(key,value)分成R个区城,并周期性地写入到()。
MapReduce中,被分派到Map任务的Worker程序读取相关的输入分片,从输入分片中解析出(key,value)然后把(key,value)传递给用户自定义的()。
