由:流式MapReduce实现Sector/Sphere |张恒镭的博客-关注hadoop、云计算、大数据与互联网业界主题
[...] Sector/sphere是2006年由伊利诺大学的NCDM实验室提出并研发的流式MapReduce实现(传统MapReduce实现见我的博文:传统MapReduce实现),采用较为高效的C++语言实现。Sector/sphere由分布式文件系统Sector和并行计算框架sphere组成,一些测试结果表明:Sector/sphere比Hadoop在计算效率上高效得多(见参考资料(1))。...
View Article由:岁月如歌 |(转)迭代式MapReduce框架介绍
[...] 传统的MapReduce框架(见我的博文:传统MapReduce框架)把一个作业的执行过程分为两个阶段:map和reduce,在map阶段,每个map task读取一个block,并调用map()函数进行处理,然后将结果写到本地磁盘(注意,不是HDFS)上;在reduce阶段,每个reduce task远程的从map...
View Article
More Pages to Explore .....