取消
搜索历史
热搜词
原创
活动
创新2.0
I T
产业
当前位置:首页 >互联网•IT > 互联网+ > 互联网化 > 正文
Google分布式数据处理MapReduce
来源:快资讯  作者:佚名 2020-10-12 09:21:18
1. 产生背景MapReduce这种并行编程模式思想最早是在1995年提出的。Jeffery Dean与传统的分布式程序设计相比,MapReduce封装了并行处理、...

1. 产生背景

MapReduce这种并行编程模式思想最早是在1995年提出的。

Jeffery Dean

与传统的分布式程序设计相比,MapReduce封装了并行处理、容错处理、本地化计算、负载均衡等细节,还提供了一个简单而强大的接口。

MapReduce把对数据集的大规模操作,分发给一个主节点管理下的各分节点共同完成,通过这种方式实现任务的可靠执行与容错机制。

2. 编程模型

编程模型01

编程模型02 3. 实现机制

实现机制MapReduce函数首先把输入文件分成M块 分派的执行程序中有一个主控程序Master 一个被分配了Map任务的Worker读取并处理相关的输入块 这些缓冲到内存的中间结果将被定时写到本地硬盘,这些数据通过分区函数分成R个区 当Master通知执行Reduce的Worker关于中间key,value

免责声明:本文系网络转载,版权归原作者所有。本文所用图片、文字如涉及作品版权问题,请联系删除!本文内容为原作者观点,并不代表本网站观点。
编辑:宋含怡
活动 直播间  | CIO智行社

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。

Baidu
map