前段时间搭建hadoop集群做一些东西，积累了很多指令和一些调试经验，怕以后忘记，在这里做个备份，如果对大家有用，that’s fine!
root 账户管理
su ->输入密码（$->#） exit->exit->退出终端
安装中文输入法
1、root登陆
2、yum install "@Chinese Support"
3、System->preferences->input method
4、ctrl+space 开关输入法，切换输入法等都可以在preference里设置快捷键
ls/dir可以查看文件列表 ls -a 显示隐藏
可以先进入某个目录 右击进入终端
cd /目录
cd /home 进入home目录 cd .. 返回上一层目录 cd ../..返回上两层目录
关机（root）
shutdown -h now 关机
shutdown -r now 重启
logout 注销
date 显示系统日期
mkdir dir1 dir2
mkdir -p /tmp/dir1/dir2
rm -rf 目录名（删除非空） rm -rf dir1 dir2
rm -f file1
rmdir dir1
mv -rf dir1 new_dir 重命名
cp file1 file2
cp dir/* . 复制一个目录下所有文件到当前目录
cp -a dir1 dir2 复制一个目录
df -h 显示已经挂载的分区列表
ls -ISr|more 以尺寸大小排列文件和目录
du -sh dir1 估算目录‘dir1’已经使用的磁盘空间
du -sk *|Sort -m 以容量大小为依据依次显示文件和目录大小
user add user1
user del -r user1
usermod -c "user FTP" -g System -d /ftp/user1 -s /bin/nologin user1 修改用户属性
ls -lh 显示权限
chown user1 file1 改变一个文件的所有人属性
chmod go-rwx dir1 删除群组(g)和其他人（o）对目录的读写执行权限
linux两种软件
1、软件源代码-》tar.gz
2、软件安装程序包-》.rpm
tar -cjvf *.bz
tar -xzvf *.tar.gz
1）有configue 则# ./configue #make #make install
2）如果是makefile文件 #make #make install
3）如果是Imake file文件 #xmkmf #make #make install
对于.rpm 1、安装软件 rpm -ivh rpm包名
#rpm -ivh apache**.rpm
2、升级软件 rpm -uvh rpm包名
3、反安装 rpm -e rpm包名
rar a file rar test_file 创建一个叫做“file.rar”的包
rar x file1.rar 解压rar包
unrar e amp.rar
安装*.sh 和*.bin sudo在普通账户下使用root权限得修改/etc/sudoers文件才可以
*.sh=====>1、sudo sh *.sh 直接运行
2、sudo chmod +x *.sh
3、sudo ./*.sh 安装到任意有权限的目录
*.bin=====>1、sudo chmod +x *.bin
2、sudo ./*.bin
配置检验JDK
root #vi /etc/profile
export JAVA_HOME=JDK安装目录
export JRE_HOME=JRE安装目录
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
vi编辑器
编辑模式》》》》》
k,j,h,l上下左右箭头键w指定行右移光标，到下一字符开头ctrl+b =>pageupctrl+f=>pagedowngg最上行G最下行
rc，用c替换光标所指向的当前字符5rc用c替换光标所指向的前5个字符x删除光标所指向的当前字符nx删除光标所指向的前n个字符
/str1正向搜索?str1反向搜索n继续找下一个出现位置 e(在指定行右移光标，到下一个字末尾)0数字0，右移光标，到本行的开头
$右移光标到本行的末尾^移动光标到本行的第一个非空字符dd删除光标所在行，并去除空隙ndd删除n行内容并去除空隙
u撤销前一条命令的结果vi visual模式v字符选中命令 V行选中命令.重复最后一条修改正文的命令
插入模式》》》》》
编辑模式下输入i,a,I,A进入插入模式，退出插入模式按ESC，cd用输入的正文替换光标所在的行
命令模式》》》》》
编辑命令 :w保存:q在未作修改的情况下退出:q!放开所有修改退出编辑程序:d删除光标所在的行:3d删除3行
vi命令模式提供shell切换命令，无须退出vi，即可执行linux命令 :!command 执行完shell命令 command后回到vi。
恢复文件 修改时产生以.开头并以.sup结尾的临时文件。若意外退出且没有保存修改文件内容，可用恢复命令:recover也可以在启动vi时利用-r选项
vim vi+特色功能，window版本工具等—gvim echo $ARGS 用来显示环境变量
bc 计算器clear清屏reset重复终端
shell和vim切换：：：：
长时间离开vim–》用:shell或:sh，用exit或ctrl+D回到编辑器
短时间离开vim–》用:!command命令运行结束后，自动回到vim编辑器，然后按ENTER返回。
find /-name 文件名chmod +x 文件名 start-all.sh ./start-all.sh
破解linux用户名和密码
开机linux 按e，选第二项按e，添加（空格+1）或（空格+single）回车，按b进入root，设置root密码，exit。以其他账户登录root，密码为设置的新密码，修改当当前用户密码 passwd currentuser
查看ip地址：ifconfig
查看端口监听：netstat -nap|grep 9000
安装open office下载tar.gz1. tar -xvzf ***.tar.gz2.cd RPMS3.rpm -ivh *.rpm4.cd Desktop_integration5. 选择相应版本安装第一个free版本就可以。
uname -r 查看内核版本（NTFS支持）
1、下载kernel_2.6.32_71.e16.i686.rpm
2、rpm _ivh ***.rpm
3、运行/sbin/modprobe ntfs 加载内核模块（无输出）
4、运行dmesg|grep NTFS 查看NTFS驱动版本
5、cat /proc/filesystems 出现
nodev
ext3
nodev rpc_pipefs
nodev outofs
vfat
ntfs
yum install gccwget UKLcd./configuemakemake install
mv filefolderrm -f -r file
安装VM-tools 1、需要查看虚拟机设置，将CD/DVD改成自动检测，使用物理驱动器下载完就会进入
2、需要先copy出来，不能直接在CDROM中解压
3、如果需要Perl，需要yum install perl
4、./vmware -install.pc
======================================hadoop===================
hadoop指令
程序的输出目录一般不能存在，除非设置覆盖为true。
运行hadoop程序 haddop jar /usr/opt/SingerIntegers_fat.jar wcin wcout
hadoop jar /usr/opt/MakeIntegersFile_fat.jar （必须用hadoop指令不能用hdfs指令）
首先将jar包复制到/usr/opt目录下
1、删除hadoop上指定目录和文件hadoop fs -rmr /user/t
hadoop fs -rm /user/ok.txt
2、将hadoop上某个文件down至本地已有目录下
hadoop fs -get/user/ok.txt/home/t
3、查看指定目录下的内容hadoop dfs -ls /user/wangkai.txt
4、打开某个已存在文件hadoop dfs -cat /user/wangkai.pt/data.txt
5、将本地文件存储至hadoop hadoop fs -put /home/file.txt/user/t
6、将本地文件夹存储至hadoophadoop fs -put /home/dir_name/user
7、在hadoop指定目录内创建新目录hadoop fs -mkdir/user/t
8、在hadoop指定目录下创建空文件，使用touchz命令hadoop fs -touchz/usr/new.txt
9、将hadoop上某个文件重命名hadoop fs -mv /usr/test.txt/usr/test.txt
10、将hadoop指定目录下所有内容存为一个文件，同时down至本地hadoop dfs -getmerge /user/home/t
11、将正在运行的hadoop作业kill掉hadoop job -kill [job-id]
安全模式：：离开安全模式 bin/hadoop dfsadmin -safemode leave
NameNode启动首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统一直处于安全模式状态即只读状态
dfs.safemode.threshold.pct（缺省0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了原数据记录的block个数的0.999倍+时，可以离开安全模式，如果设为1，则HDFS一直处于安全模式。有两个方法离开安全模式：
1、修改dfs.safemode.threshold.pct 为一个比较小的值，缺省0.999
2、hadoop dfsadmin -safemode leave 命令强制离开
用户可以通过dfsadmin -safemode value 来操作安全模式，参数value说明如下： enter 进入安全模式leave 强制NameNode离开安全模式
get 返回安全模式是否开启的信息wait 等待，一直到安全模式结束
linux下面的SELINUX相当于windows下的内部防火墙，目的在于明确指明某个进程可以访问哪些资源，对系统服务、文件权限、网络端口访问有极其严格的限制，例如，如果对一个文件没有正确安全上下文配置，甚至你是root用户，也不能启动某服务。
查看防火墙状态 /etc/init.d/iptables status/sbin/chkconfig –level 2345iptables off
暂时关闭防火墙 /etc/init.d/iptables stop
重启iptables: /etc/init.d/iptables restart
netstat-ano|grep9000
lsof-i:9000
输入mr-jobhistory-daemon.sh start historyserver 不需要再花时间重连服务器
如果发现系统支持IPV6 hadoop会启用IPV6，在hadoop-env.sh中添加一句：
HADOOP_OPTS=-D java.net.preferIPV4Stack=true
hadoop启动出现问题，先去修改/etc/hosts 将127.0.0.1 localhost删掉整行
运行别人写的程序或者示例程序时，一般会有包名，自己写的当然有些时候也会有，这时需要注意命名空间
hadoop jar /usr/opt/wordcount_fat.jargucas.Ikl.Simple.WordCount wcin/search.logwcout
hadoop 默认按key升序排序
你可能付出一定的代价，但日后你得到的，远比付出的多得多。
