Hadoop与Kafka集群部署与优化实践指南-尧图网络科技

1. 项目背景与核心目标

这个标题描述的是一个典型的Hadoop与Kafka集群部署项目，版本号为V02。从技术栈来看，这是一个典型的大数据基础设施搭建场景，涉及两个核心组件：

Hadoop：分布式存储与计算框架
Kafka：分布式消息队列系统

这种组合在实时数据处理场景中非常常见，比如电商平台的用户行为分析、物联网设备数据采集等。Hadoop负责海量数据的存储和批量计算，而Kafka则处理实时数据流。

2. 环境准备与前置条件

2.1 硬件配置建议

对于生产环境，建议的最低配置：

主节点(NameNode/JobTracker):
- CPU: 8核以上
- 内存: 32GB+
- 存储: 1TB SSD (用于元数据存储)
从节点(DataNode/TaskTracker):
- CPU: 16核以上
- 内存: 64GB+
- 存储: 10TB+ HDD (数据存储)

2.2 软件依赖

需要预先安装：

Java 8或11 (推荐OpenJDK)
SSH免密登录配置
统一的用户和权限管理
网络时间协议(NTP)服务同步

3. Hadoop集群部署详解

3.1 基础安装步骤

下载并解压Hadoop安装包：

wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.4/hadoop-3.3.4.tar.gz tar -xzvf hadoop-3.3.4.tar.gz -C /opt/

配置环境变量(/etc/profile)：

export HADOOP_HOME=/opt/hadoop-3.3.4 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.2 关键配置文件修改

core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> </property> </configuration>

hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/data/hadoop/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/data/hadoop/datanode</value> </property> </configuration>

mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

yarn-site.xml

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>resourcemanager</value> </property> </configuration>

3.3 集群启动与验证

格式化HDFS：

hdfs namenode -format

启动HDFS：

start-dfs.sh

启动YARN：

start-yarn.sh

验证集群状态：

hdfs dfsadmin -report yarn node -list

4. Kafka集群部署详解

4.1 基础安装步骤

下载并解压Kafka：

wget https://downloads.apache.org/kafka/3.3.1/kafka_2.13-3.3.1.tgz tar -xzvf kafka_2.13-3.3.1.tgz -C /opt/

配置环境变量：

export KAFKA_HOME=/opt/kafka_2.13-3.3.1 export PATH=$PATH:$KAFKA_HOME/bin

4.2 关键配置修改

server.properties

broker.id=1 listeners=PLAINTEXT://:9092 advertised.listeners=PLAINTEXT://your.host.name:9092 log.dirs=/data/kafka/logs num.partitions=3 zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

4.3 集群启动与验证

启动Zookeeper(如果独立部署)：

bin/zookeeper-server-start.sh config/zookeeper.properties

启动Kafka：

bin/kafka-server-start.sh config/server.properties

测试消息生产与消费：

# 创建topic bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 # 生产消息 bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092 # 消费消息 bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092