在centos系統(tǒng)上部署hadoop分布式文件系統(tǒng)(hdfs)的完整指南
本指南詳細介紹如何在centos系統(tǒng)上安裝和配置hadoop分布式文件系統(tǒng)(hdfs)。 請確保您已具備基本的Linux命令行操作經(jīng)驗。
第一步：準備工作
首先，更新系統(tǒng)軟件包并禁用防火墻和SELinux（推薦，但非強制）：
sudo yum update -y sudo systemctl stop firewalld sudo systemctl disable firewalld sudo setenforce 0 sudo sed -i 's/SELinux=enforcing/SELINUX=disabled/g' /etc/selinux/config
第二步：安裝Java
Hadoop依賴Java運行環(huán)境。安裝Java 8 (OpenJDK)：
sudo yum install -y java-1.8.0-openjdk-devel
第三步：下載和解壓Hadoop
從Apache Hadoop官網(wǎng)下載最新穩(wěn)定版本的Hadoop發(fā)行包。解壓到/opt目錄：
tar -xzvf hadoop-<version>.tar.gz -C /opt sudo mv /opt/hadoop-<version> /opt/hadoop
(將
第四步：配置Hadoop
- 設(shè)置環(huán)境變量: 創(chuàng)建并編輯/etc/profile.d/hadoop.sh文件：
sudo nano /etc/profile.d/hadoop.sh
添加以下內(nèi)容：
export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使環(huán)境變量生效：
source /etc/profile.d/hadoop.sh
- 配置Hadoop核心文件:
- hadoop-env.sh: 設(shè)置JAVA_HOME路徑：
sudo nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh
添加或修改以下行：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
- core-site.xml: 配置默認文件系統(tǒng)：
sudo nano $HADOOP_HOME/etc/hadoop/core-site.xml
添加以下內(nèi)容：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
sudo nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml
添加以下內(nèi)容：
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop/data/datanode</value> </property> </configuration>
sudo nano $HADOOP_HOME/etc/hadoop/mapred-site.xml
添加以下內(nèi)容：
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
sudo nano $HADOOP_HOME/etc/hadoop/yarn-site.xml
添加以下內(nèi)容：
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
第五步：格式化HDFS
在單機模式下格式化NameNode：
hdfs namenode -format
第六步：啟動Hadoop集群
啟動HDFS和YARN：
start-dfs.sh start-yarn.sh
第七步：驗證安裝
- 檢查HDFS狀態(tài):
hdfs dfsadmin -report
- 訪問Web界面:
如果一切正常，您應(yīng)該能夠看到HDFS和YARN的Web界面。 如有任何錯誤，請檢查Hadoop日志文件(/opt/hadoop/logs)以查找問題原因。 記住，這只是一個單節(jié)點的HDFS安裝，對于多節(jié)點集群，需要進行更復(fù)雜的配置。
