在Linux系統上安裝hadoop的步驟大致可以分為以下幾個部分:
1. 環境準備
- 選擇Linux發行版:推薦使用Ubuntu 24.2或其他穩定版本。
- 安裝JDK:下載JDK 1.8.0_361(或其他兼容版本),并使用APT管理工具安裝。
sudo apt-get update sudo apt-get install openjdk-8-jdk
- 驗證安裝:通過執行Java -version命令來檢查Java是否安裝成功。
2. 安裝Hadoop
- 下載Hadoop:從Hadoop官方網站下載所需版本的Hadoop安裝包。例如,下載Hadoop 3.3.5版本。
- 解壓文件:將下載的文件解壓到指定目錄,例如/opt/hadoop。
sudo tar -zxvf hadoop-3.3.5.tar.gz -C /opt/hadoop
3. 配置環境變量
- 編輯.bashrc文件:添加以下內容:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin
- 使配置生效:
source ~/.bashrc
4. 配置Hadoop
- 修改Hadoop配置文件:
5. 格式化NameNode
- 在首次啟動Hadoop之前,需要對HDFS進行格式化。
hdfs namenode -format
6. 啟動Hadoop集群
- 啟動HDFS和YARN服務。
start-dfs.sh start-yarn.sh
7. 驗證安裝
- 訪問Hadoop Web界面:
- HDFS:http://localhost:50070
- YARN:http://localhost:8088
8. 配置ssh免密登錄
- 生成SSH密鑰對并分發到所有節點。
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- 測試免密登錄:
ssh localhost
注意事項
- 確保所有節點的配置文件(如core-site.xml, hdfs-site.xml等)中的配置一致。
- 在配置SSH無密碼登錄時,確保所有節點的公鑰都已正確分發。
以上步驟提供了一個基本的指南,具體安裝過程中可能還需要根據實際環境和需求進行調整。建議參考Hadoop官方文檔或相關教程以獲取更詳細的指導。