如何在 Red Hat Linux 服务器上使用 Ansible 自动化部署并管理多节点 Hadoop 集群？
在大数据时代，Hadoop 已成为构建分布式存储与计算平台的核心组件。传统手动部署 Hadoop 集群不仅繁琐且易错，而借助 Ansible 这种无代理自动化工具，可以极大提升部署效率、统一配置并便于日后运维管理。
A5数据的本篇教程适合运维工程师 / 大数据开发工程师阅读，通过 Red Hat Enterprise Linux (RHEL 8.x/9.x) 服务器环境，使用 Ansible 自动化完成多节点 Hadoop 集群的部署、配置、启动、扩容与升级。
一、技术栈与版本
| 组件 | 版本 |
|---|---|
| 操作系统 | Red Hat Enterprise Linux 8.7 / 9.1 |
| Ansible | 2.14.x |
| Java | OpenJDK 11 |
| Hadoop | Apache Hadoop 3.3.6 |
| SSH | OpenSSH 8.x |
| Python | 3.9+ (Ansible 依赖) |
二、硬件与网络建议
以下配置基于生产级 10–50 节点中型集群规划
2.1 香港服务器www.a5idc.com节点角色与硬件规格
| 节点类型 | CPU | 内存 | 磁盘 | 网络 |
|---|---|---|---|---|
| NameNode | 16 核 | 64 GB | 2×1.92 TB NVMe | 10 Gbps |
| Secondary NameNode / Standby | 8 核 | 32 GB | 1×1.92 TB SSD | 10 Gbps |
| DataNode | 32 核 | 128 GB | 4×4 TB HDD + 1×1.92 TB SSD (缓存) | 10 Gbps |
| YARN NodeManager | 16 核 | 64 GB | 2×1.92 TB SSD | 10 Gbps |
三、前置条件与环境准备
3.1 系统准备
- 各服务器开启 SSH 免密码登录
- 安装必备工具及库
sudo dnf install -y python3 python3-devel openssh-clients tar wget
sudo dnf groupinstall -y "Development Tools"
- 设置主机名与 hosts 文件
# /etc/hosts 示例
192.168.100.10 namenode
192.168.100.11 datanode01
192.168.100.12 datanode02
...
四、安装 Ansible 控制节点
控制节点可以是任意一台 RHEL 服务器，不需作为 Hadoop 节点。
sudo dnf install -y epel-release
sudo dnf install -y ansible
ansible --version
五、配置 Ansible Inventory 文件
创建 inventory/hosts.ini：
[hadoop_namenode]
namenode ansible_host=192.168.100.10
[hadoop_datanodes]
datanode01 ansible_host=192.168.100.11
datanode02 ansible_host=192.168.100.12
[hadoop_all:children]
hadoop_namenode
hadoop_datanodes
六、Ansible 角色拆分与目录结构
我们将 Ansible 角色拆分如下：
ansible-hadoop/
├── inventory/
│ └── hosts.ini
├── roles/
│ ├── common/
│ ├── java/
│ ├── hadoop/
│ ├── hdfs/
│ └── yarn/
└── site.yml
七、角色实现细节
7.1 Role: common — 通用初始化
roles/common/tasks/main.yml
- name: Sync System Clock
ansible.builtin.yum:
name: chrony
state: present
- name: Enable and start chronyd
ansible.builtin.systemd:
name: chronyd
state: started
enabled: yes
7.2 Role: java — 安装 Java
roles/java/tasks/main.yml
- name: Install OpenJDK 11
ansible.builtin.yum:
name: java-11-openjdk-devel
state: present
- name: Ensure JAVA_HOME is configured
ansible.builtin.lineinfile:
path: /etc/profile.d/java.sh
line: 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk'
create: yes
7.3 Role: hadoop — 下载 Hadoop 并分发
roles/hadoop/vars/main.yml
hadoop_version: "3.3.6"
hadoop_url: "https://downloads.apache.org/hadoop/common/hadoop-{{ hadoop_version }}/hadoop-{{ hadoop_version }}.tar.gz"
install_dir: /opt/hadoop
roles/hadoop/tasks/main.yml
- name: Download Hadoop tarball
ansible.builtin.get_url:
url: "{{ hadoop_url }}"
dest: "/tmp/hadoop-{{ hadoop_version }}.tar.gz"
- name: Extract Hadoop
ansible.builtin.unarchive:
src: "/tmp/hadoop-{{ hadoop_version }}.tar.gz"
dest: "{{ install_dir }}"
remote_src: yes
- name: Create Hadoop symlink
ansible.builtin.file:
src: "{{ install_dir }}/hadoop-{{ hadoop_version }}"
dest: "{{ install_dir }}/current"
state: link
八、配置 HDFS 与 YARN
8.1 Core 配置模板
roles/hdfs/templates/core-site.xml.j2
<configuration>
<property>
<name>fs.defaultFSname>
<value>hdfs://namenode:9000value>
property>
configuration>
8.2 HDFS Site 配置
roles/hdfs/templates/hdfs-site.xml.j2
<configuration>
<property>
<name>dfs.replicationname>
<value>3value>
property>
<property>
<name>dfs.namenode.name.dirname>
<value>file:///data/hdfs/namenodevalue>
property>
<property>
<name>dfs.datanode.data.dirname>
<value>file:///data/hdfs/datanodevalue>
property>
configuration>
8.3 YARN 配置
roles/yarn/templates/yarn-site.xml.j2
<configuration>
<property>
<name>yarn.nodemanager.resource.memory-mbname>
<value>65536value>
property>
<property>
<name>yarn.scheduler.maximum-allocation-mbname>
<value>65536value>
property>
configuration>
九、主 Playbook — site.yml
- hosts: hadoop_all
become: true
roles:
- common
- java
- hadoop
- hosts: hadoop_namenode
become: true
roles:
- hdfs
- yarn
- hosts: hadoop_datanodes
become: true
roles:
- hdfs
- yarn
执行部署：
ansible-playbook -i inventory/hosts.ini site.yml
十、初始化 HDFS 与启动服务
# 格式化 NameNode
ssh namenode "/opt/hadoop/current/bin/hdfs namenode -format -force"
# 启动 HDFS
ssh namenode "/opt/hadoop/current/sbin/start-dfs.sh"
# 启动 YARN
ssh namenode "/opt/hadoop/current/sbin/start-yarn.sh"
检查状态：
/opt/hadoop/current/bin/hdfs dfsadmin -report
十一、性能评测
11.1 HDFS 基准测试结果（示例）
| 测试项 | 参数 | 结果 |
|---|---|---|
| 写入测试 | 10 × 1GB blocks | 190 MB/s |
| 读取测试 | 10 × 1GB blocks | 220 MB/s |
| 小文件处理 | 10,000 files | 30 sec |
十二、运维管理技巧
12.1 扩容节点
只需更新 Inventory：
[hadoop_datanodes]
datanode03 ansible_host=192.168.100.13
执行：
ansible-playbook -i inventory/hosts.ini site.yml
12.2 Hadoop 升级
更新变量：hadoop_version → 新版本
执行 Playbook 即可实现滚动安装。
十三、监控与日志聚合建议
| 工具 | 作用 |
|---|---|
| Prometheus + Grafana | 集群健康监控 |
| Elasticsearch + Filebeat + Kibana | 日志收集与分析 |
结语
至此，你应该已掌握在 Red Hat Linux 环境下，利用 Ansible 自动化部署多节点 Hadoop 集群的完整流程。从基础环境准备，到 Ansible 角色拆分、模板渲染、模板参数化部署，再到集群启动与性能验证，整个方案具备高度可复用性与生产可用性。欢迎结合企业自身业务场景进一步优化。
