hadoop的一些安装经验+关于命令窗口配置Linux(centos 7)的Ip地

Hadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/;

了解:虚拟机:KVM,XEN ,ESXI,VMWare,windows+cygwin。

SSH软件:secure CRT 或 putty ,也可以用vmwareclient 管理ESXI。

准备:首先虚拟化几台机器,安装hadoop。在windows上使用xftp很方便地在多台机器之间传输文件。利用 putty 很方便的进行命令操作。

学习:rack 机架调整,记住默认常用的端口号,善于看 log文档,多用NFS网络文件系统深入更好地配置文件以及服务端权限的配置

总结:

1, 重新配置平台的时候,删除tmp,log,dfs(data,name)中文件

2, scp 复制文件方法

3, chown –R root:root java 其中 –R的意思:权限对此目录以及 目录下所有文件生效。

4, 网页查看 节点状态:比如我配置的文件查看方式为:http://10.18.47.212:8088。

5, 也可以用:http://10.18.47.212.50070 查看每个节点的状态。

6, 添加新的节点:hadoop-daemon.shstart nodemanager 注意出现tmp和data权限错误。

7, 接着启动 换启动方式:yarn-dameon.shsart nodemanager

8, 接着还要启动:start-balancer.sh。

9, 查看端口状态信息:netstat–apv

10,当配置的节点主机本身内存太小,可以把 JAVAOPTS的数值调的小一点。

11,用more命令查看log文件比较方便。

12,接着再启动

13,把电脑的空闲分区加载进来,以后做大数据,怕是各个节点的存储不够。

14,Hadoop编译成64位时候如果出现问题,junit与netty问题,就是下载的资源包不行,数据源不好。

15,git 项目管理工具。

16,wput, wget, sftp 操作。

17,在linux中如何查看隐藏文件???

18,配置自启动网络和IP命令配置:

vi /etc/sysconfig/network-scripts/ifcfg-eth0 或者 别的ifcfg-eth。。。名字。

人言未必皆真,听言只听三分。

hadoop的一些安装经验+关于命令窗口配置Linux(centos 7)的Ip地

相关文章:

你感兴趣的文章:

标签云: