mapreduce
分布式(数据)计算
分散->汇总模式(mapreduce)
1.将数据分片,多台服务器各自负责一部分数据处理
2.然后将各自的结果,进行汇总处理
3.最终得到想要的计算结果
中心调度->步骤执行模式(spark,flink)
1.由一个节点作为中心调度管理者
2.将任务划分为几个具体步骤
3.管理者安排每个机器执行任务
4.最终得到结果数据
mapreduce的主要编程接口
map接口:主要提供分散功能,由服务器分布式处理数据
reduce接口:主要提供汇总功能,进行数据汇总统计得到结果
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。