Configuring HDFS High Availability

Configuring HDFS High Availability

原文请访问 ,突袭新闻小灵儿,linux公社,各种爬虫狗,在这里问候你们全家

Configuring HDFS High Availability我们可以通过Clouder Manager来配置你的CDH4 Cluster来实现HDFS的HA一、SecondaryNameNode是否可以在NameNode宕机时接管,成为新的“NameNode”?答案是否定的NameNode首先我们需要了解,,NameNode负责管理文件系统的namespace,维护整个文件系统的文件目录树,及这些文件的索引目录。这些信息以两种形式存储在本地文件系统中:1.命名空间镜像(fsimage)2.编辑日志(edit-logs)需要注意的是,这些信息不是永久保存的,NameNode会在每次系统启动时动态地重建这些信息SecondaryNameNode从元数据节点并不是元数据节点出现问题时候的备用节点,它和元数据节点负责不同的事情其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并,以防日志文件过大合并过后的命名空间镜像文件也在从元数据节点保存了一份,以防元数据节点失败的时候,可以恢复二、配置HDFS HA(采用QJM)HDFS HA架构中,由两个NameNode组成 —— Active NameNode 和 Standby NameNode只有一个NameNode可以处于Active状态为了让Standby Node与Active Node保持同步,这两个Node都与一组称为JNS的互相独立的进程保持通信(Journal Nodes)。当Active Node上更新了namespace,它将记录修改日志发送给JNS的多数派。Standby noes将会从JNS中读取这些edits,并持续关注它们对日志的变更。Standby Node将日志变更应用在自己的namespace中,当failover发生时,Standby将会在提升自己为Active之前,确保能够从JNS中读取所有的edits-log;即在failover发生之前,Standy持有的namespace应该与Active保持完全同步。三、配置HA1.Enabling High Availability with Quorum-based Storage1.1点击-服务,选择HDFS1.2点击-实例1.3点击-启用High Availability1.4下一个页面显示了有资格作为Standby NameNode和JournalNodes的主机a.选择 启用基于Quorum存储的High Availability为High Availability类型b.选择你要作为Standby NameNode的主机.Standby NameNode和Active NameNode不可以再一台主机上,并且要和Active NameNode拥有相同的硬件配置c.选择奇数数量的host作为JournalNodes.JournalNodes应部署在与NameNode具有相似硬件配置的主机上。建议在Active NameNode和Standby NameNode分别部署一个JournalNode,并在一个与它们具有相似硬件配置的主机不是第三个JournalNode.d.点击-继续1.5在接下来出现的界面,为每个JournalNode指定JournalNode编辑目录a.你只需要为每个JournalNode指定一个目录,目录的名称不必统一b.指定的目录因为空目录,并且有合适的权限c.如果目录不为空,Clouder Manager不会删除这些内容;however, in that case the data should be in sync across the edits directories of the JournalNodes and should have the same version data as the NameNodes.1.6点击-继续如果你需要使用Hive,Impala或者Hue,你还需要执行下面的操作步骤2.Post Setup Steps for Hue and Hive不论你使用 Quorum-based storage 还是 NFS-mounted shared edits directory,你都是按下面的步骤进行配置来启用HA2.1Configuring Hue to work with High Availability2.1.1点击-服务,选择HDFS2.1.2点击-实例2.1.3点击-添加2.1.4在接下来的页面,在HttpFS这一列中选择一个主机来安装HttpFS role,然后点击-继续2.1.5返回实例页面,选择你刚才选择将要安装HttpFS role的主机2.1.6点击-已选定的操作-点击启动2.1.7当启动命令执行完毕后,点击-服务-选择Hue2.1.8点击-配置-查看和编辑2.1.9在接下来出现的界面中,选择-服务范围,找到HDFS Web界面角色-选择之前选择的HttpFS role主机,然后点击保存更改2.1.10重启Hue服务,是配置生效3.Updating the Hive Metastore for HDFS High Availability3.1点击-服务,选择Hive3.2点击-操作-停止3.3备份你的Hive数据库3.4点击-操作-更新Hive metastore NameNode3.5点击-操作-启动3.6启动Hue和Impla,如果你之前关闭了四、启用 Automatic Failover注意:启动或禁用 Automatic Failover会关闭HDFS服务 和 基于HDFS的服务!1.点击-服务,选择HDFS2.点击-实例3.点击-启用自动故障转移

版权声明:本文为博主原创文章,未经博主允许不得转载。linux公社盗转死妈

你不勇敢,没人替你坚强!

Configuring HDFS High Availability

相关文章:

你感兴趣的文章:

标签云: