怎么在linux安装hadoop

怎么在linux安装hadoop详细介绍

在 Linux 系统上安装 Hadoop 可以按照以下步骤进行：

1. 环境准备

• 确保系统是 64 位：可以使用uname -m命令，若输出为x86_64则是 64 位系统。
• 安装 Java：Hadoop 依赖 Java，可使用如下命令安装 OpenJDK 8：

bash

  update

 openjdk-8-jdk

• 配置 Java 环境变量：编辑~/.bashrc文件，添加以下内容：

bash

 /usr/lib/jvm/java-8-openjdk-amd64

 /bin

然后执行source ~/.bashrc使配置生效。

2. 创建 Hadoop 用户

为了安全和管理方便，创建一个专门的 Hadoop 用户：
bash

 adduser hadoop

 hadoop

切换到该用户：
bash

 - hadoop

3. 配置 SSH 免密登录

Hadoop 需要使用 SSH 来管理集群节点，需要配置 SSH 免密登录：
bash

ssh-keygen  rsa    ~/.ssh/id_rsa

 ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
 0600 ~/.ssh/authorized_keys

测试 SSH 免密登录：
bash

 localhost

若能直接登录而无需输入密码，则配置成功。

4. 下载并解压 Hadoop

从 Hadoop 官方网站下载合适版本的 Hadoop，这里以 Hadoop 3.3.1 为例：
bash

 https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

 hadoop-3.3.1.tar.gz
 hadoop-3.3.1 ~/hadoop

5. 配置 Hadoop 环境变量

编辑~/.bashrc文件，添加以下内容：
bash

 /hadoop

 /bin
 /sbin

执行source ~/.bashrc使配置生效。

6. 配置 Hadoop

进入 Hadoop 的配置目录：
bash

 ~/hadoop/etc/hadoop

• 编辑core-site.xml：

xml

configuration

 property
 namefs.defaultFSnamefs.defaultFSname
 valuehdfs://localhost:9000value
 property
configuration

• 编辑hdfs-site.xml：

xml

configuration

 property
 namedfs.replicationname
 value1value
 property
 property
 namedfs.namenode.name.dirname
 valuefile:/home/hadoop/hadoopdata/hdfs/namenodevalue
 property
 property
 namedfs.datanode.data.dirname
 valuefile:/home/hadoop/hadoopdata/hdfs/datanodevalue
 property
configuration

• 编辑mapred-site.xml：

xml

configuration

 property
 namemapreduce.framework.namename
 valueyarnvalue
 property
configuration

• 编辑yarn-site.xml：

xml

configuration

 property
 nameyarn.nodemanager.aux-servicesname
 valuemapreduce_shufflevalue
 property
 property
 nameyarn.nodemanager.aux-services.mapreduce.shuffle.classname
 valueorg.apache.hadoop.mapred.ShuffleHandlervalue
 property
 property
 nameyarn.resourcemanager.hostnamename
 valuelocalhostvalue
 property
configuration

7. 格式化 HDFS

bash

hdfs namenode 

8. 启动 Hadoop

bash

start-dfs.sh

start-yarn.sh

可以使用jps命令查看是否启动成功，若输出包含NameNode、DataNode、ResourceManager、NodeManager等进程，则启动成功。

9. 验证安装

可以通过浏览器访问以下地址来验证 Hadoop 的 Web 界面：

• NameNode：http://localhost:9870
• ResourceManager：http://localhost:8088

通过以上步骤，你就能在 Linux 系统上成功安装并启动 Hadoop。