当前位置：首页 >互联网•IT > 互联网+ > 互联网化 > 正文
Google分布式数据处理MapReduce
来源：快资讯 作者：佚名
2020-10-12 09:21:18
1. 产生背景MapReduce这种并行编程模式思想最早是在1995年提出的。Jeffery Dean与传统的分布式程序设计相比，MapReduce封装了并行处理、...
1. 产生背景
MapReduce这种并行编程模式思想最早是在1995年提出的。
Jeffery Dean
与传统的分布式程序设计相比，MapReduce封装了并行处理、容错处理、本地化计算、负载均衡等细节，还提供了一个简单而强大的接口。
MapReduce把对数据集的大规模操作，分发给一个主节点管理下的各分节点共同完成，通过这种方式实现任务的可靠执行与容错机制。
2. 编程模型
编程模型01
编程模型02 3. 实现机制
实现机制MapReduce函数首先把输入文件分成M块 分派的执行程序中有一个主控程序Master 一个被分配了Map任务的Worker读取并处理相关的输入块 这些缓冲到内存的中间结果将被定时写到本地硬盘，这些数据通过分区函数分成R个区 当Master通知执行Reduce的Worker关于中间key,value
免责声明：本文系网络转载，版权归原作者所有。本文所用图片、文字如涉及作品版权问题，请联系删除！本文内容为原作者观点，并不代表本网站观点。
编辑：宋含怡
抓住数字化转型关键点
