硅步至千里

说明:flume1.5,hadoop2.2 1、配置JAVA_HOME和HADOOP_HOME 说明:HADOOP_HOME用于获取flume操作hdfs所需的jar和配置文件,如果不配置,也可以手动拷贝jar包和配置文件 2、解压flume,执行bin目录下的flume-ng

flume-ng agent -f /master/env/fc/a4.conf -n a4 -c /master/env/flume/conf -Dflume.root.logger=INFO,console

命令解释: agentrun a Flume agent global options: –conf,-cuse configs in directory、(配置文件的路径) -Dproperty=valuesets a Java system property value(java参数) agent options: –conf-file,-f specify a config file (required)(agent的启动配置文件) –name,-nthe name of this agent(agent的名称,必须和a4.conf中的agent名称一致)

a4.conf,以下是a4.conf

#定义agent名, source、channel、sink的名称a4.sources = r1a4.channels = c1a4.sinks = k1#具体定义sourcea4.sources.r1.type = spooldira4.sources.r1.spoolDir = /home/hadoop/logs#具体定义channela4.channels.c1.type = memorya4.channels.c1.capacity = 10000a4a4.sources.r1.interceptors = i1a41$Builder#具体定义sinka4.sinks.k1.type = hdfsa4= hdfs://ns1/flume/%Y%m%da4= events-a4= DataStream#不按照条数生成文件a4= 0#HDFS上的文件达到128M时生成一个文件a4= 134217728#HDFS上的文件达到60秒生成一个文件a4= 60#组装source、channel、sinka4.sources.r1.channels = c1a4.sinks.k1.channel = c1

具体使用方法,,参考官方文档

少一点预设的期待,那份对人的关怀会更自在

硅步至千里

相关文章:

你感兴趣的文章:

标签云: