crxy2016的专栏

HBase运行在Hadoop 0.20.x上,就可以使用其中的安全特性 — 只要你用这两个版本0.20S 和CDH3B3,然后把hadoop.jar替换掉就可以了.

1.3.1.3.ssh

必须安装ssh,sshd也必须运行,这样Hadoop的脚本才可以远程操控其他的Hadoop和Hbase进程。ssh之间必须都打通,,不用密码都可以登录,详细方法可以Google一下 ("ssh passwordlesslogin").

1.3.1.4.DNS

HBase使用本地 hostname 才获得IP地址. 正反向的DNS都是可以的.

如果你的机器有多个接口,Hbase会使用hostname指向的主接口.

如果还不够,你可以设置hbase.regionserver.dns.interface来指定主接口。当然你的整个集群的配置文件都必须一致,每个主机都使用相同的网络接口

还有一种方法是设置hbase.regionserver.dns.nameserver来指定nameserver,不使用系统带的.

1.3.1.5.NTP

集群的时钟要保证基本的一致。稍有不一致是可以容忍的,但是很大的不一致会造成奇怪的行为。运行NTP或者其他什么东西来同步你的时间.

如果你查询的时候或者是遇到奇怪的故障,可以检查一下系统时间是否正确!

1.3.1.6.ulimit和nproc

HBase是数据库,会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足的,会导致异常。还可能会发生这样的异常

2010-04-0603:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: ExceptionincreateBlockOutputStream java.io.EOFException 2010-04-06 03:04:37,542 INFOorg.apache.hadoop.hdfs.DFSClient: Abandoning blockblk_-6935524980745310745_1391901

所以你需要修改你的最大文件句柄限制。可以设置到10k. 你还需要修改 hbase 用户的nproc,如果过低会造成OutOfMemoryError异常。[2][3].

需要澄清的,这两个设置是针对操作系统的,不是Hbase本身的。有一个常见的错误是Hbase运行的用户,和设置最大值的用户不是一个用户。在Hbase启动的时候,第一行日志会现在ulimit信息,所以你最好检查一下。[4]

1.3.1.6.1.在Ubuntu上设置ulimit

如果你使用的是Ubuntu,你可以这样设置:

在文件/etc/security/limits.conf添加一行,如:

hadoop – nofile32768

可以把hadoop替换成你运行Hbase和Hadoop的用户。如果你用两个用户,你就需要配两个。还有配nproc hard 和 soft limits. 如:

hadoop soft/hard nproc 32000

.

在/etc/pam.d/common-session加上这一行:

session requiredpam_limits.so

否则在/etc/security/limits.conf上的配置不会生效.

还有注销再登录,这些配置才能生效!

1.3.1.7.dfs.datanode.max.xcievers

一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫xcievers(Hadoop的作者把这个单词拼错了). 在你加载之前,先确认下你有没有配置这个文件conf/hdfs-site.xml里面的xceivers参数,至少要有4096:

<property><name>dfs.datanode.max.xcievers</name> <value>4096</value> </property>

对于HDFS修改配置要记得重启.

如果没有这一项配置,你可能会遇到奇怪的失败。你会在Datanode的日志中看到xcievers exceeded,但是运行起来会报 missing blocks错误。例如:10/12/08 20:10:31INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYYfrom any node: java.io.IOException: No live nodes contain current block. Willget new block locations from namenode and retry…

自己选择的路,跪着也要把它走完。

crxy2016的专栏

相关文章:

你感兴趣的文章:

标签云: