hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装
分类：hadoop
一、hadoop2.6伪分布安装请参考：二、pig0.15安装Pig的介绍 Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简易的操作和编程接口.Pig的运行模式
1.本地模式
Pig运行于本地模式，只涉及到单独的一台计算机。
2.MapReduce模式
Pig运行于MapReduce模式，需要能访问一个Hadoop集群，并且需要装上HDFS。
Pig的调用方式 Grunt shell方式：通过交互的方式，输入命令执行任务； Pig script方式：通过script脚本的方式来运行任务； 嵌入式方式：嵌入java源代码中，通过java调用来运行任务。Pig的安装1）下载Pig前往 下载合适的版本，比如Pig 0.12.02）解压文件到合适的目录tar –xzf pig-0.12.03）设置环境变量export PIG_INSTALL=/opt/pig-0.12.0export PATH=$PATH:$PIG_INSTALL/bin4）验证执行以下命令，，查看Pig是否可用：pig –help进入本地模式：pig –x local进入MapReduce模式：pig –x mapreduce三、zookeeper3.4.6安装获取ZooKeeper安装包 下载地址： 选择一个稳定版本进行下载，我这里下载的是zookeeper-3.4.6版本。ZooKeeper伪分布式集群安装 伪分布式集群：在一台Server中，启动多个ZooKeeper的实例。上传并解压安装包解压到相应的目录,重命名tar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local/hadoopmv zookeeper-3.4.6 zookeeper创建实例配置文件cd zookeeper/confcp zoo_sample.cfg zoo1.cfgcp zoo_sample.cfg zoo2.cfgcp zoo_sample.cfg zoo3.cfg修改配置文件实例1的配置：vi zoo1.cfgtickTime=2000initLimit=10syncLimit=5dataDir=/usr/local/hadoop/zookeeper/d_1clientPort=2181dataLogDir=/usr/local/hadoop/zookeeper/logs_1server.1=localhost:2887:3887server.2=localhost:2888:3888server.3=localhost:2889:3889实例2的配置：vi zoo2.cfgtickTime=2000initLimit=10syncLimit=5dataDir=/usr/local/hadoop/zookeeper/d_2clientPort=2182dataLogDir=/usr/local/hadoop/zookeeper/logs_2server.1=localhost:2887:3887server.2=localhost:2888:3888
server.3=localhost:2889:3889
实例3的配置：
vi zoo3.cfgtickTime=2000initLimit=10syncLimit=5dataDir=/usr/local/hadoop/zookeeper/d_3clientPort=2183dataLogDir=/usr/local/hadoop/zookeeper/logs_3server.1=localhost:2887:3887server.2=localhost:2888:3888server.3=localhost:2889:3889准备启动环境mkdir/usr/local/hadoop/zookeeper/d_1mkdir /usr/local/hadoop/zookeeper/d_2mkdir /usr/local/hadoop/zookeeper/d_3mkdir /usr/local/hadoop/zookeeper/logs_1mkdir /usr/local/hadoop/zookeeper/logs_2mkdir /usr/local/hadoop/zookeeper/logs_3echo "1" > /usr/local/hadoop/zookeeper/d_1/myidecho "2" > /usr/local/hadoop/zookeeper/d_2/myidecho "3" > /usr/local/hadoop/zookeeper/d_3/myid启动集群bin/zkServer.sh start zoo1.cfgbin/zkServer.sh start zoo2.cfgbin/zkServer.sh start zoo3.cfg查看是否启动成功jps#看到类似下面的进程就表示3个实例均启动成功13419 QuorumPeerMain13460 QuorumPeerMain13561 Jps13392 QuorumPeerMain错误：Error contacting service. It is probably not running原因和解决办法：1. 没有装ncyum install nc 或者apt-get install nc,或者下载netcat的包，本文也有连接，安装步骤：a. tar -zxvf netcat***.tar.gzb. ./configurec. maked. make installOK2. 打开zkServer.sh，找到STAT=`echo stat | nc localhost $(grep clientPort "$ZOOCFG" | sed -e ‘s/.*=//’) 2> /dev/null|grep Mode`这行，加上或去掉-q 1（数字1而非字母l） 即可。3. /etc/hosts里面没有配置localhost第二个问题一般的机器都没有问题，但是有一种情况没有配置，通过模板导入的虚拟机。在/etc/hosts里增加下面一行127.0.0.1 localhost SDN-VM1运行结果：JMX enabled by defaultUsing config: /opt/zookeeper-3.3.3/bin/../conf/zoo.cfg
Mode: follower
4、电脑重启
Java客户端测试需要引入zookeeper-3.4.6.jar和slf4j-api-1.61.jar这两个jar包。package com.cjw.demo;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper.Watcher;import org.apache.zookeeper.ZooKeeper;import org.apache.zookeeper.ZooDefs.Ids;public class ZooKeeperClient { public static void main(String[] args) throws Exception { Watcher watcher = new Watcher() { @Override public void process(WatchedEvent event) { System.out.println(event.toString()); } }; ZooKeeper zk = new ZooKeeper("192.168.157.22:2181", 3000, watcher); System.out.println("====创建节点"); zk.create("/cjw", "znode1".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); System.out.println("====查看节点是否安装成功"); System.out.println(new String(zk.getData("/cjw", false, null))); System.out.println("====修改节点的数据"); zk.setData("/cjw", "cjw2015".getBytes(), -1); System.out.println("====查看修改的节点是否成功"); System.out.println(new String(zk.getData("/cjw", false, null))); System.out.println("====删除节点"); zk.delete("/cjw", -1); System.out.println("====查看节点是否被删除"); System.out.println("节点状态：" + zk.exists("/cjw", false)); zk.close(); }}运行结果：====创建节点WatchedEvent state:SyncConnected type:None path:null====查看节点是否安装成功znode1====修改节点的数据====查看修改的节点是否成功cjw2015====删除节点====查看节点是否被删除
节点状态：null配置文件说明
而是面对它们，同它们打交道，
