分析MapReduce与Storm的异同

[Author]: kwu

分析MapReduce与Storm的异同

1、MapReduce与Storm处理数据的不同：MapReduce 处理大数据、批处理，数据是相对不变的。Storm：流数据、实时处理，流数据在实时变化。对流数据进行并进处理1） 对于单机来说，使用多进程，多线程。2） 多机同时多进程、多线程的数据处理（分布式）2、MapReduce 与storm都是分阶段1）map、reduce2）storm处理的阶段 ： spout、bolt3）MR运行是会结束的，storm是永不停的相当于tomcat的服务。4）单位时间内处理的数据量，，MR大于Storm5) stream 流时计算。需要实时处理的数据，地震的数据，电商网站的实时数据，推荐，航班。6）需要看每个月的结果，用MR来处理3、tuple是storm数据处理的基本单位实现上相当于MR的KV键值对4、spout是storm对外的接口spout是storm数据输入的来源进入了storm处理范围之内之后的数据交给，bolt阶段处理。spout –> bolt (处理的单元为 tuple)通过 oo 封装成 topology类型MR中的JOB的概念。5、相关配置文件MapReduce: mapred-site.xmlstorm: Storm.yaml配置项对大小写及空格敏感

懂得倾听别人的忠告。