在centos系統上配置和管理hadoop分布式文件系統（hdfs）涉及多個步驟，包括安裝hadoop、設置環境變量、修改配置文件、啟動和停止服務等。以下是一個詳細的指南：
1. 安裝Hadoop
首先，需要在centos上安裝Hadoop。你可以從apache Hadoop的官方網站下載合適的版本，并解壓到指定目錄，例如 /usr/local/hadoop。
2. 設置環境變量
編輯 /etc/profile 文件，添加Hadoop相關的環境變量，如 HADOOP_HOME 和 PATH：
export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存文件后，運行以下命令使配置生效：
source /etc/profile
3. 配置hdfs
3.1 配置核心文件目錄
進入Hadoop的配置文件目錄，通常位于 HADOOP_HOME/etc/hadoop 中。關鍵的配置文件包括：
- core-site.xml：設置HDFS的默認文件系統地址。
- hdfs-site.xml：配置HDFS的數據存儲路徑和副本數等。
- yarn-site.xml 和 mapred-site.xml：主要用于yarn和mapreduce配置，不涉及HDFS。
3.2 修改 core-site.xml
編輯 core-site.xml 文件，添加以下內容：
<configuration><property><name>fs.defaultFS</name><value>hdfs://namenode_hostname:9000</value></property><property><name>hadoop.tmp.dir</name><value>/var/hadoop/tmp</value></property></configuration>
將 namenode_hostname 替換為NameNode節點的主機名或IP地址。
3.3 修改 hdfs-site.xml
編輯 hdfs-site.xml 文件，添加以下內容：
<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>/path/to/namenode/data</value></property><property><name>dfs.datanode.data.dir</name><value>/path/to/datanode/data</value></property></configuration>
確保 /path/to/namenode/data 和 /path/to/datanode/data 目錄存在，如果不存在，可以手動創建。
4. 配置ssh無密碼登錄
為所有Hadoop節點配置SSH無密碼登錄，以便節點間可以無密碼通信。
- 生成SSH密鑰對：
ssh-keygen -t rsa
- 將公鑰復制到其他節點：
ssh-copy-id user@nodeX
將 user 替換為用戶名，nodeX 替換為節點名稱。
5. 格式化NameNode
在首次啟動HDFS之前，需要格式化NameNode：
hdfs namenode -format
6. 啟動HDFS
在NameNode節點上執行以下命令啟動HDFS集群：
start-dfs.sh
7. 驗證HDFS
使用以下命令檢查HDFS是否正常運行：
hdfs dfsadmin -report
訪問 https://www.php.cn/link/a6a141f631618325c81115ed35c32ff5 查看HDFS Web ui。
8. 停止HDFS
在NameNode節點上執行以下命令停止HDFS集群：
stop-dfs.sh
9. 監控和日志
配置日志目錄和監控工具，以便及時發現和解決問題。可以使用Hadoop提供的Web界面查看集群狀態和日志。
10. 權限管理
HDFS使用類似于Linux的權限模型，可以通過 hdfs dfs -chmod 和 hdfs dfs -chown 命令來設置文件和目錄的權限。HDFS還支持更精細的權限控制，可以通過 hdfs dfs -setfacl 和 hdfs dfs -getfacl 命令來設置和查看ACL。
11. 擴展和管理
- 擴容：當集群存儲不足時，可以增加新的DataNode節點，并重新配置HDFS以包含新的節點。
- 縮容：在集群需求減少時，可以移除DataNode節點，并相應地調整HDFS的配置。
通過以上步驟，你可以在CentOS上成功配置和管理HDFS集群。確保所有配置正確無誤后，你可以開始使用HDFS進行大數據存儲和處理。
