以前的消息队列(activeMQ)对于大数据吞吐率不行,但kafka很好的解决了此类问题,并且以集群的方式进行扩展,可谓相当强大:
集群搭建方式非常轻量级,只需将tar包拷贝到服务器,解压,,修改配置文件即可:
1、tar -xzf kafka_2.9.2-0.8.1.1.tgz
2、修改配置文件:
节点1:
vim config/server.propertiesbroker.id=1 //所有集群节点中必须唯一port=9092 //端口号(发送消息)log.dir=/tmp/kafka-logs-1 //日志存放路径 host.name=datanode //域名随便取
zookeeper.connect=datanode:2181,namenode:2181 //节点间地址
节点2:
vim config/server.propertiesbroker.id=:2 //所有集群节点中必须唯一port=9092 //端口号(发送消息)log.dir=/tmp/kafka-logs-1 //日志存放路径 host.name=namenode //域名随便取
zookeeper.connect=datanode:2181,namenode:2181 //节点间地址
……
3、启动zookeeper(最好每台节点都要启动)
bin/zookeeper-server-start.sh config/zookeeper.properties &4、启动kafka每个节点(每台节点都要启动) bin/kafka-server-start.sh config/server.properties &5、新建主题topic(只要建一次就行) bin/kafka-topics.sh –create –zookeeper namenode:2181 –replication-factor 2 –partitions 2 –topic topic16、查看主题topic bin/kafka-topics.sh –describe –zookeeper namenode:2181 –topic topic1
7、新建producer发送消息 a.bin/kafka-console-producer.sh –broker-list namenode:9092 –topic topic1 b.输入消息 Ctrl+c终止输入8、新建consumer消费消息 bin/kafka-console-consumer.sh –zookeeper namenode:2181 –from-beginning –topic topic1OK 集群搞定开始检测java客户端的情况:1、创建生产者:
2、创建消费者:
5、加载partition
6、处理消息
检测完毕
版权声明:本文为博主原创文章,未经博主允许不得转载。
爱情不是避难所,想进去避难的话,是会被赶出来的。