为什么要选择Hive
基于Hadoop的大数据的计算/扩展能力 支持SQL like查询语言 统一的元数据管理 简单编程
Hive:
Hive 可以对数据进行管理和查询。 在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。 这套映射工具称之为metastore，一般存放在derby、mysql中。
Hive在hdfs中的默认位置是/user/hive/warehouse ,是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的 Derby 数据库在哪里运行hive 就会在哪里创建。这就说明不能在不同的地方运行，运行要用同样的数据库。Derby数据库只允许一个客户端打开。
Hive的体系结构：
用户接口主要有三个：CTL，JDBC/ODBC和WebGUI CTL，即shell命令行 JDBC/ODBC是hive的java,与使用传统数据库JDBC的方式类似 WebGUI是用过浏览器访问Hive. Hive将元数据存储在数据库中（metastore），目前只支持mysqk、derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性是否为外部表等，表的数据所在目录等。 解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中 ，并在随后有MapReduce调用执行。 Hive的数据存储在HDFS中，大部分的查询由MapReduce完成（包含的查询，像select from table不会生成MapReduce任务）
Hive安装
(1) 解压缩、重命名、设置环境变量 (2) 在目录 $HIVE_HOME/conf/下，执行命令
mv hive-default.xml.template hive-site.xml 重命名
在目录$HIVE_HOME/conf/下，执行命令
mv hive-env.sh.template hive-env.sh重命名
(3)修改hadoop的配置文件hadoop-env.sh，修改内容如下：
export HADOOP_CLASSPATH=. :$$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
否则启动hive会报找不到类的错误
注意：=右边多了个$，使用时去掉，由于markdown对美元符号处理，会使内容出现问题，所以多加了一个美元符号为了使内容正常显示。
(4)在目录$HIVE_HOME/bin下面，修改文件hive-config.sh，增加以下内容：
export JAVA_HOME=/usr/local/jdk export HIVE_HOME=/usr/local/hive export HADOOP_HOME=/usr/local/Hadoop
生产中，我们一般用MySQL。不用derby数据库存放metastore.
安装mysql
查看机器是否安了MySQL
rpm -qa | grep mysql
如果存在删除：
rpm -e mysql-libs-5.1.66-2.el6_3.i686
存在依赖可以强制删除
rpm -e mysql-libs-5.1.66-2.el6_3.i686 –nodeps
(1)删除linux上已经安装的mysql相关库信息。
rpm -e xxxxxxx –nodeps
执行命令
rpm -qa |grep mysql
检查是否删除干净 (2)执行命令
rpm -i mysql-server-**
安装mysql服务端 (3)启动mysql 服务端，执行命令
mysqld_safe &
(4)执行命令
rpm -i mysql-client-**
安装mysql客户端 (5)执行命令
mysql_secure_installation
设置root用户密码 (6)登陆MySQL，
mydsql -uroot -padmin
使用mysql作为hive的metastore
(1)把mysql的jdbc驱动放置到hive的lib目录下 (2)修改hive-site.xml文件，修改内容如下：
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop:3306/hive?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>admin</value></property>
Mysql 不允许远程连接，如何让其远程连接： 授权所有权限在hive表上给root用户（任何地方的root），密码是admin。
grant all on hive.* to ‘root’@’%’ identified by ‘admin’;
之后刷新下：
flush privileges;
内部表
CREATE TABLE t1(id int);
Hive 里没有insert 操作，插入数据方法如下：
LOAD DATA LOCAL INPATH ‘/root/id’ INTO TABLE t1;
这种方式跟hadoop fs –put 命令的方式都可以加载数据，hive 查询识别。 如果去掉local,加载的数据是从hdfs 里加载的。
CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’;
通过制表符区分字段。
分区表
分区表就是按照不同的字段把文件划分为不同的标准。
CREATE TABLE t3(id int) PARTITIONED BY (day int); LOAD DATA LOCAL INPATH ‘/root/id’ INTO TABLE t3 PARTITION (day=22);
多了一个目录，我们可以按照每天的方式来加载数据。 查的话：
select * from t3 where day=22;
桶表
桶表不常用。
create table t4(id int) clustered by(id) into 4 buckets; set hive.enforce.bucketing = true; insert into table t4 select id from t3;
有时不但是必要的，而且是很有必要的。
