mapreduce

  1. mapreduce
    1. 分布式(数据)计算
    2. mapreduce的主要编程接口

mapreduce

分布式(数据)计算

分散->汇总模式(mapreduce)

1.将数据分片,多台服务器各自负责一部分数据处理

2.然后将各自的结果,进行汇总处理

3.最终得到想要的计算结果

中心调度->步骤执行模式(spark,flink)

1.由一个节点作为中心调度管理者

2.将任务划分为几个具体步骤

3.管理者安排每个机器执行任务

4.最终得到结果数据

mapreduce的主要编程接口

map接口:主要提供分散功能,由服务器分布式处理数据

reduce接口:主要提供汇总功能,进行数据汇总统计得到结果


转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。