Hadoop分布式集群IP配置和VBox linux虚拟机网卡配置

交流群:335671559

Hadoop分布式集群IP配置和VBoxlinux虚拟机网卡配置

目录

一、VBoxlinux虚拟机网卡配置

二、单机伪分布式配置

三、多台节点的集群配置

四、windows通过VBox连接linux虚拟机

一、VBoxlinux虚拟机网卡配置

   在VBox的设置中,选择“网络”单选项,勾选“启用网络连接”,然后选择连接方式,VBox的连接方式有多种,这里只说明两种:

(1)网络地址转换(NAT):

   这种方式属接入广域网(WAN)技术,是一种将私有(保留)地址转化为合法IP地址的转换技术,它被广泛应用于各种类型Internet接入方式和各种类型的网络中。所以连接方式会有一下特点:

   1、如果主机可以上网,虚拟机可以上网

   2、虚拟机之间不能ping通

   3、虚拟机可以ping通主机(此时ping虚拟机的网关,即是ping主机)

   4、主机不能ping通虚拟机

图1网络地址转换(NAT)

(2)仅主机(Host-Only)适配器:

   通过VirtualBoxHost-OnlyNetwork网卡进行通信,虚拟机以此ip作为网关,因此模拟了一个本机与各个虚拟机的局域网,如名称所指。连接方式会有一下特点:

   1、虚拟机不可以上网

   2、虚拟机之间可以ping通

   3、虚拟机可以ping通主机(注意虚拟机与主机通信是通过主机的名为VirtualBoxHost-OnlyNetwork的网卡,因此ip是该网卡ip192.168.56.1,而不是你现在正在上网所用的ip)

   4、主机可以ping通虚拟机

图2仅主机(Host-Only)适配器

   通过以上的介绍,我们可以了解到不同连接方式的特点,所以,根据自己的需求可以进行相应的设置:

   1、如果只需要虚拟机上网,不需要和主机通信,则可以只按照图1方式配置;

   2、如果虚拟机不需要上网,只是和主机进行通信,则可以按照图2方式配置;

   3.、如果需要同时满足以上两个需求,则开启第二个网卡,第一个网卡按照图1的方式配置,第二个网卡按照图3的方式配置,“网卡2”启用。

图3启用第二个网卡

二、单机伪分布式配置

core-site.xml配置

   <name>fs.default.name</name>

   <value>hdfs://localhost:9000/</value>

mapred-site.xml配置

   <name>mapred.job.tracker</name>

   <value>localhost:9001</value>

eclipse插件配置location,如下图所示

hadoop安装路径下/conf目录

   masters文件默认值为(namenode):

localhost

   slaves文件默认值为(datanode):

localhost

   如果不使用localhost而使用本机IP地址,则上面的localhost全部使用本机IP地址替换。如果有不一致的地方,则会报各种各样的错,比如fs.default.name使用IP(比如192.168.56.101)地址,而eclipse使用localhost,则eclipse会出现连不上本地DFS的错误。

三、多台节点的集群配置

下面以三台机器集群配置介绍,一台namenode,两台datanode

1.修改虚拟机/etc/hosts文件,给对应IP设置唯一标识,设置之后,在之后的配置文件中,我们可以直接使用唯一标识,而不使用IP。

192.168.56.101master

192.168.56.102slaves1

192.168.56.103slaves2

master是namenode节点,slaves是datanode节点

2.修改hadoop配置文件

core-site.xml配置

   <name>fs.default.name</name>

   <value>hdfs://master:9000/</value>

mapred-site.xml配置

   <name>mapred.job.tracker</name>

   <value>master:9001</value>

hadoop安装路径下/conf目录

   masters文件修改为(namenode):

master

   slaves文件修改为(datanode):

slaves1

slaves2

3.打包修改过的hadoop安装目录,拷贝到其他的机器,同时修改机器的hosts文件,保持每台机器的hosts文件内容相同。

4.eclipse插件配置location,如下图所示

配置要和hosts文件中的设置一致。

我整理的一篇分布式集群搭建文章,大家可以参考一下:

http://blog.csdn.net/jyl1798/article/details/9406371

四、windows通过VBox连接linux虚拟机

(1)通过VBox增强工具连接

先安装virtualbox的增强工具

1.选择virtualbox的菜单栏中的设备>增强工具,然后桌面就会挂载增强工具包的Iso映像。如下图

2.打开终端,在终端中输入#cd/media打开刚挂载的映像,然后可用#ls显示其内容,可以发现其中有一个目录为VBOXADDITIONS_4.2.2_81494的目录,进入该目录,可以看到其中的内容,其中有一个VBoxLinuxAdditions.run文件就是我们要运行的,使用#shVBoxLinuxAdditions.run回车即可自动安装,不用管它,等安装完后,重启虚拟机就OK了。详细过程可以如下图显示:

设置文件共享

1、设置virtualbox->Device->sharefolders,并指定一个windows文件夹作为share,并把forldername设为share(或其它自己喜欢的名字)如图

2、在linux中操作:先取得root权限,再到/mnt目录下新建一个文件夹,比如sharefile:mkdir/mnt/sharefile;然后执行mount-tvboxsfshare/mnt/sharefile,此时就可以在linux中共享windows下的指定的那个文件夹了。其中上述命令中的share是共享文件夹的名字,比如你共享的文件夹名字是share,那么vboxsf后面的那个参数就是share

3、配置完成后,就可以在/mnt/sharefile目录下看到共享文件了

(2)通过Linux自带ConnecttoServer或者连接到服务器

使用这种方式的前提是宿主机和虚拟机可以互相ping通,且IP地址属于同一个网段的。可以按照第一节中说明的启用两块网卡解决。

1、选中“位置”下的“连接到服务器”

2、弹出如下所示的对话框

首先,服务类型选择“Windows共享”;

其次,“服务器”填写宿主机(这里是windows)的IP地址,填写局域网地址;

第三,“文件夹”填写windows共享的文件夹名称;

第四,“用户名”填写windows机器的用户名;

第五,“域名”可以通过“控制面板”-“用户账号”查看;

第六,单击“连接”,桌面会显示一个如下的图标。

3、双击桌面的图标,此时会提示你输入windows机器的密码,输入即可;

也可以设置“在密钥环中保存密码”,设置一个新的密码。

4、配置结束。

每一个成功者都有一个开始。勇于开始,才能找到成功的路。

Hadoop分布式集群IP配置和VBox linux虚拟机网卡配置

相关文章:

你感兴趣的文章:

标签云: