在centos系統(tǒng)上搭建hdfs（hadoop分布式文件系統(tǒng)）集群需要經過多個步驟，包括安裝Java環(huán)境、設置hadoop環(huán)境、配置ssh無密碼登錄以及配置hdfs本身。以下是一個詳細的指南：
1. 安裝Java
Hadoop依賴于Java運行環(huán)境。你可以通過以下命令來安裝OpenJDK：
sudo yum install java-1.8.0-openjdk-devel
安裝完成后，驗證Java版本：
java -version
2. 下載并解壓Hadoop
從apache Hadoop的官方網(wǎng)站下載最新版本的Hadoop，并將其解壓到指定目錄。例如：
wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/
3. 設置Hadoop環(huán)境變量
編輯/etc/profile.d/hadoop.sh文件，加入以下內容：
export HADOOP_HOME=/usr/local/hadoop-3.3.4 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使環(huán)境變量生效：
source /etc/profile.d/hadoop.sh
4. 配置ssh無密碼登錄
在每個節(jié)點上生成SSH密鑰對，并將公鑰復制到其他節(jié)點：
ssh-keygen -t rsa ssh-copy-id hadoop@node2 ssh-copy-id hadoop@node3
5. 配置HDFS
編輯$HADOOP_HOME/etc/hadoop/core-site.xml文件，添加以下配置：
<configuration><property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value></property></configuration>
編輯$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，添加以下配置：
<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>/usr/local/hadoop-3.3.4/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop-3.3.4/data/datanode</value></property></configuration>
6. 格式化NameNode
在NameNode節(jié)點上運行以下命令：
hdfs namenode -format
7. 啟動HDFS集群
在NameNode節(jié)點上啟動HDFS：
start-dfs.sh
在DataNode節(jié)點上同樣啟動DataNode：
start-dfs.sh
8. 檢查集群狀態(tài)
通過訪問NameNode的Web界面（通常是http://namenode:50070），可以查看集群的狀態(tài)。
9. 配置yarn（可選）
如果你需要運行YARN，可以按照類似步驟進行配置。
配置YARN的core-site.xml：
<configuration><property><name>yarn.resourcemanager.hostname</name><value>resourcemanager</value></property></configuration>
配置YARN的yarn-site.xml：
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>
啟動YARN：
在ResourceManager節(jié)點上啟動ResourceManager：
start-yarn.sh
在NodeManager節(jié)點上啟動NodeManager：
start-yarn.sh
10. 檢查YARN集群狀態(tài)
訪問ResourceManager的Web界面（通常是http://resourcemanager:8088），查看YARN集群狀態(tài)。
通過以上步驟，你應該能夠在centos上成功搭建一個基本的HDFS集群。根據(jù)具體需求，可能還需要進行進一步的配置和優(yōu)化。
