Ambari 与 Hadoop 大数据平台

博主： admin
发布时间：2026 年 07 月 23 日
36 次浏览
关闭评论
26268字数
分类：大数据

Ambari 与 Hadoop 大数据平台

本文合并自：04-Ambari部署Hadoop.md、3-6-Ambari与Hadoop大数据平台.md

适用环境：CentOS 7.3

架构：Ambari Server + Ambari Agent + Hadoop（HDP）集群

本文覆盖 Ambari 的作用与优势、Hadoop 发行版区别、五节点集群规划、前置环境准备、本地离线 yum 源搭建、MariaDB 元数据库准备、ambari-server 安装与 setup、Web 向导安装 HDP 集群、安装后验证、日常运维与排错。

手工逐个部署 Hadoop（HDFS/YARN 配置文件级别的安装）请参见 16-02-Hadoop架构与安装部署.md，本文只讲 Ambari 自动化部署。

1. Ambari 概述

1.1 为什么需要 Ambari

Hadoop 是一个分布式存储与计算的大数据平台，生态包含 HDFS、YARN、MapReduce、Hive、HBase、ZooKeeper、Kafka、Spark 等众多组件。手动逐个部署、配置这些组件，需要在每个节点上分发安装包、编辑十几个 XML 配置文件、维护主机列表，步骤繁琐且极容易出错；后续修改一个参数还要手工同步到所有节点并逐个重启服务。

Apache Ambari 是一个用于供应（Provision）、管理（Manage）和监控（Monitor）Hadoop 集群的 Web 工具，它把上述工作全部图形化、自动化。

1.2 Ambari 的核心作用

部署：提供一步一步的图形安装向导，自动在多台主机上分发并部署 HDP（Hortonworks Data Platform）各组件，自动生成配置文件；
管理：集中管理集群配置，所有节点配置由 Server 统一下发，支持配置版本化（Config Version）与一键回滚；
监控：提供 Dashboard 展示集群健康状态、容量、指标图表（Ambari Metrics），内置数十条告警规则；
运维：支持在界面上启停/重启服务、滚动重启、添加服务、添加主机、下线（Decommission）主机、Kerberos 安全集成、Ranger 权限集成等。

1.3 与手工部署的对比优势

维度	手工部署	Ambari 部署
安装方式	逐节点解压、改配置、分发	Web 向导一次下发到所有节点
配置一致性	靠人工 scp 同步，易漂移	Server 统一下发，天然一致
配置变更	手工改 + 手工重启	界面改 + 提示需重启的组件，可滚动重启
配置回滚	靠自己备份文件	内置配置版本，一键回滚
监控告警	需另建 Zabbix/Prometheus	内置 Metrics + Alerts
扩容	重复一遍全部安装步骤	Add Host 向导，几分钟完成
排错	逐台 grep 日志	界面上点开失败任务看 stdout/stderr
学习成本	高，需理解每个配置项	低，但仍需理解组件原理

结论：教学与生产环境都推荐 Ambari；手工部署适合用来理解 Hadoop 内部原理（见 16-02-Hadoop架构与安装部署.md）。

1.4 Ambari 自身架构

Ambari Server：只装在一台管理节点（本文为 master），提供 8080 端口的 Web/REST 服务，所有集群元数据存放在关系型数据库中（PostgreSQL 内嵌或外置 MySQL/MariaDB）；
Ambari Agent：安装在每一台被管理节点上，向 Server 注册并定期发送心跳（heartbeat），接收 Server 下发的命令（安装包、写配置、启停进程）；
Ambari Web：浏览器端界面，本质是调用 Ambari REST API。

2. Hadoop 发行版说明

发行版	提供方	特点
Apache Hadoop	Apache 社区	原生开源版本，纯净、免费；但各生态组件版本兼容需自己验证，无统一管理工具，部署运维全手工
HDP（Hortonworks Data Platform）	Hortonworks	完全开源，不含闭源组件；对生态组件做版本兼容整合并打成 RPM 仓库；配套管理工具是 Ambari
CDH（Cloudera Distribution Hadoop）	Cloudera	商业发行版，稳定性与文档好；配套管理工具是 Cloudera Manager，部分高级功能收费

要点：

HDP 与 Ambari 的关系：Ambari 是 HDP 的官方部署管理工具，Ambari 通过读取 HDP 仓库（yum repo）中的 RPM 包完成安装。Ambari 自身也有独立的 yum 仓库，二者是两套仓库：ambari 仓库用于安装 ambari-server / ambari-agent，HDP 与 HDP-UTILS 仓库用于安装 Hadoop 各组件。
Hortonworks 与 Cloudera 已合并，新产品线为 CDP；但 HDP 2.6 + Ambari 2.5/2.6 组合在教学与存量环境中仍非常常见，本文以此为例。
本文部署的是 HDP 2.6，Ambari 版本 2.5.1.0。

3. 集群规划

3.1 角色与主机

            hadoopmaster        hadoopbackup

 hadoopslave1     hadoopslave2     hadoopslave3

准备五台 CentOS 7.3 虚拟机（KVM）：

角色	主机名	IP	承载内容
Master	master.cluster.com	10.1.1.2	ambari-server、MariaDB 元数据库、NameNode、ResourceManager 等主组件
Backup	backup.cluster.com	10.1.1.3	Secondary NameNode / 备用主节点、部分 master 组件
Slave1	slave1.cluster.com	10.1.1.4	DataNode、NodeManager
Slave2	slave2.cluster.com	10.1.1.5	DataNode、NodeManager
Slave3	slave3.cluster.com	10.1.1.6	DataNode、NodeManager

另有一台 10.1.1.1 作为离线仓库服务器（httpd），提供 CentOS 镜像源、ambari 源、HDP 与 HDP-UTILS 源、JDK 安装包。

3.2 硬件与系统要求

操作系统：CentOS 7.3（RedHat 7 系列）；
磁盘：≥ 20G；
内存：≥ 1.5G（教学最低配置；生产环境 master 建议 ≥ 8G，slave 建议 ≥ 16G）；
尽量不使用图形模式（Minimal 安装），以节省内存与磁盘资源；
所有节点网络互通，主机名可正向/反向解析。

4. 前置环境准备

以下 4.1 ~ 4.9 除特别说明外，五台机器全部都要做。这一章是 Ambari 部署成功率的关键，任何一项遗漏都可能导致后续主机注册失败或服务启动失败。

4.1 配置静态 IP

配置静态 IP，并关闭 NetworkManager、设置开机不启动（避免 NetworkManager 覆盖静态配置）：

systemctl stop NetworkManager
systemctl disable NetworkManager

4.2 主机名配置与 hosts 绑定

五台机器都要设置主机名并互相绑定，多检查几遍不要写错（主机名错误是注册失败最常见的原因）：

hostnamectl set-hostname --static master.cluster.com

其余节点分别设置为 backup.cluster.com、slave1.cluster.com、slave2.cluster.com、slave3.cluster.com。

五台机器的 /etc/hosts 内容必须完全一致：

10.1.1.2    master.cluster.com
10.1.1.3    backup.cluster.com
10.1.1.4    slave1.cluster.com
10.1.1.5    slave2.cluster.com
10.1.1.6    slave3.cluster.com

验证：

hostname -f          # 应输出 FQDN，如 master.cluster.com
ping -c 2 slave3.cluster.com

注意：Ambari 要求使用 FQDN（完全限定域名），不要使用短主机名；也不要把主机名解析到 127.0.0.1。

4.3 时间同步（NTP）

NTP 服务必须开启，并设置开机自启动（五台都要做）。集群各节点时间不一致会导致 Agent 心跳异常、HBase/ZooKeeper 报错。

yum install ntp -y
systemctl start ntpd
systemctl enable ntpd

验证：

ntpq -p
timedatectl

4.4 关闭防火墙与 SELinux

firewalld 和 iptables 最好都关闭；SELinux 设置为开机自动关闭：

systemctl stop firewalld
systemctl disable firewalld
iptables -F
setenforce 0
sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

也可直接编辑 /etc/selinux/config：

SELINUX=disabled

验证（setenforce 0 只在当前生效，改配置文件才能开机生效）：

getenforce           # 应输出 Disabled 或 Permissive
systemctl is-enabled firewalld

4.5 关闭 THP（透明大页）

透明大页（Transparent Huge Pages）会导致 Hadoop/HBase 出现不可预期的性能抖动，Ambari 安装检查也会给出告警，建议关闭：

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

写入 /etc/rc.local 使其开机生效，并给 rc.local 加执行权限：

cat >> /etc/rc.local <<'EOF'
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
   echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
   echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
EOF
chmod +x /etc/rc.d/rc.local

验证：

cat /sys/kernel/mm/transparent_hugepage/enabled
# always madvise [never]

4.6 修改文件描述符与进程数限制

Hadoop 组件会打开大量文件与网络连接，默认的 1024 远远不够（Ambari 要求 ≥ 10000）：

cat >> /etc/security/limits.conf <<'EOF'
* soft nofile 65536
* hard nofile 65536
* soft nproc  65536
* hard nproc  65536
EOF

CentOS 7 还需注意 /etc/security/limits.d/20-nproc.conf 中的默认 nproc 限制会覆盖上面的设置，需同步调整。

临时生效与验证：

ulimit -n 65536
ulimit -a

修改后需重新登录 shell 才生效；systemd 管理的服务还需在 unit 文件中设置 LimitNOFILE。

4.7 设置 umask

Ambari 要求 root 的 umask 为 0022（或不高于 0027），否则安装出来的目录权限不足，组件启动会失败：

umask 0022
echo "umask 0022" >> /etc/profile

验证：

umask
# 0022

4.8 配置 yum 源

五台都配置，包含本地 ISO 镜像源及以下两个源（本地仓库的搭建见第 5 章）。

/etc/yum.repos.d/ambari.repo（文件名必须是 ambari.repo，Ambari 安装检查会按此文件名查找）：

[ambari]
name=ambari
baseurl=http://10.1.1.1/ambari/
enabled=1
gpgcheck=0

/etc/yum.repos.d/centos163.repo：

[centos163]
name=centos163
baseurl=http://10.1.1.1/centos163/
enabled=1
gpgcheck=0

刷新缓存：

yum clean all
yum makecache fast

验证：

yum repolist
yum list ambari-server

4.9 准备 JDK

五台都要安装 JDK（Ambari 要求所有节点的 JAVA_HOME 路径一致）：

wget http://10.1.1.1/devops/ambari_jdk/jdk-8u112-linux-x64.tar.gz
tar xf jdk-8u112-linux-x64.tar.gz -C /usr/local/
ls /usr/local/jdk1.8.0_112/

输出示例：

bin        include         lib      README.html  THIRDPARTYLICENSEREADME-JAVAFX.txt
COPYRIGHT  javafx-src.zip  LICENSE  release      THIRDPARTYLICENSEREADME.txt
db         jre             man      src.zip

记下 JAVA_HOME 路径为 /usr/local/jdk1.8.0_112/，后面 ambari-server setup 时要填写。

可选：写入环境变量便于命令行使用。

cat >> /etc/profile <<'EOF'
export JAVA_HOME=/usr/local/jdk1.8.0_112
export PATH=$JAVA_HOME/bin:$PATH
EOF
source /etc/profile
java -version

如果计划使用 Kerberos，还需在所有节点安装 JCE（Java Cryptography Extension）无限强度策略文件。

5. 配置五台机器互相免密登录

Ambari Server 需要通过 SSH 免密登录到所有节点去安装 Ambari Agent，因此 Ambari Server 到所有节点的 SSH 免密是必需的。本文按讲义做法配置五台机器两两互信（Hadoop 组件间的部分脚本也会用到）。

5.1 五台生成空密码密钥

五台都用 root 用户执行：

ssh-keygen

一路回车，生成空密码密钥（/root/.ssh/id_rsa 与 /root/.ssh/id_rsa.pub）。

5.2 在 master 上汇总公钥

只在 master 上做：

cd /root/.ssh/
scp backup.cluster.com:`pwd`/id_rsa.pub  backup.pub
scp slave1.cluster.com:~/.ssh/id_rsa.pub  slave1.pub
scp slave2.cluster.com:/root/.ssh/id_rsa.pub  slave2.pub
scp slave3.cluster.com:/root/.ssh/id_rsa.pub  /root/.ssh/slave3.pub

上面四句 scp 意思一样，只是路径写法不同（反引号 `pwd` 也可写成 $(pwd)）。

将所有公钥合并为 authorized_keys：

cat id_rsa.pub backup.pub slave1.pub slave2.pub slave3.pub >> authorized_keys

若 authorized_keys 是新建的，用 > 或 >> 均可；已有内容时用 >> 追加以免覆盖。

分发到其它四台：

scp authorized_keys backup.cluster.com:`pwd`/
scp authorized_keys slave1.cluster.com:`pwd`/
scp authorized_keys slave2.cluster.com:`pwd`/
scp authorized_keys slave3.cluster.com:`pwd`/

权限要求（否则免密不生效）：

chmod 700 /root/.ssh
chmod 600 /root/.ssh/authorized_keys

5.3 首次登录确认

五台机器全部 ssh 登录一次，主要是把首次登录的 yes 确认输入，以后就不再提示。

先在 master 上执行：

ssh master.cluster.com
exit
ssh backup.cluster.com
exit
ssh slave1.cluster.com
exit
ssh slave2.cluster.com
exit
ssh slave3.cluster.com     # 第一次登录输入 yes
exit

同样的十条 ssh 验证命令（五次 ssh + 五次 exit）在其它四台机器上都要执行一遍。

目的：将首次登录的 yes 确认写入 /root/.ssh/known_hosts。当机器数量特别多时，可以通过 shell 脚本批量分发 known_hosts，或用 Puppet / Ansible 等配置管理工具完成，也可在 /etc/ssh/ssh_config 中设置 StrictHostKeyChecking no。

6. 本地 yum 源搭建（离线部署关键）

HDP 与 Ambari 的公网源在国内下载极慢，且生产环境往往无外网，因此离线本地源是 Ambari 部署的关键前置条件。本章在仓库服务器 10.1.1.1 上完成。

6.1 需要准备的离线包

仓库	内容	发布路径
centos163	CentOS 7 基础包（或本地 ISO 镜像源）	`http://10.1.1.1/centos163/`
ambari	`ambari-server`、`ambari-agent` 等 RPM	`http://10.1.1.1/ambari/`
HDP	Hadoop 生态各组件 RPM（HDP 2.6）	`http://10.1.1.1/hdp`
HDP-UTILS	HDP 依赖的工具包（如 snappy、nagios 依赖等）	`http://10.1.1.1/hdp-util`
JDK	`jdk-8u112-linux-x64.tar.gz`	`http://10.1.1.1/devops/ambari_jdk/`

官方 tarball 下载地址形如（能联网时预先下载）：

# Ambari 2.5.1.0 for CentOS 7
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.1.0/ambari-2.5.1.0-centos7.tar.gz
# HDP 2.6
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.x.x/HDP-2.6.x.x-centos7-rpm.tar.gz
# HDP-UTILS
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

6.2 用 httpd 提供仓库

在 10.1.1.1 上安装并启动 httpd：

yum install httpd createrepo -y
systemctl start httpd
systemctl enable httpd

解压离线包到 httpd 根目录 /var/www/html/：

mkdir -p /var/www/html/{ambari,hdp,hdp-util,centos163,devops/ambari_jdk}

tar zxf ambari-2.5.1.0-centos7.tar.gz       -C /var/www/html/ambari/
tar zxf HDP-2.6.x.x-centos7-rpm.tar.gz      -C /var/www/html/hdp/
tar zxf HDP-UTILS-1.1.0.21-centos7.tar.gz   -C /var/www/html/hdp-util/
cp jdk-8u112-linux-x64.tar.gz               /var/www/html/devops/ambari_jdk/

如果解压出来的目录中没有 repodata，需要自己生成仓库元数据：

createrepo /var/www/html/ambari/
createrepo /var/www/html/hdp/
createrepo /var/www/html/hdp-util/
createrepo /var/www/html/centos163/

放开权限并验证 HTTP 可访问：

chmod -R 755 /var/www/html/
curl -I http://10.1.1.1/ambari/
curl http://10.1.1.1/hdp/ | head

常见坑：httpd 未关闭 SELinux 时会拒绝访问 /var/www/html 下的文件；确认 getenforce 为 Disabled，或执行 restorecon -R /var/www/html。

6.3 客户端 repo 文件配置

五台节点上写入 ambari.repo 与 centos163.repo（内容见 4.8 节），然后：

yum clean all
yum makecache fast
yum repolist

HDP 与 HDP-UTILS 两个仓库不需要手工写 repo 文件——在第 8 章的 Web 安装向导中选择 Local Repository 并填入 URL 后，Ambari 会自动在所有节点生成 /etc/yum.repos.d/HDP.repo 与 /etc/yum.repos.d/HDP-UTILS.repo。

7. 安装 Ambari Server

只在 master 上操作，其它服务器不做。

7.1 安装元数据库（MariaDB）

Ambari Server 需要一个关系型数据库存放集群元数据，可选：

PostgreSQL（Embedded）：内嵌数据库，setup 时选 [1]，无需任何准备，适合测试环境；
MySQL / MariaDB（外置）：生产推荐，便于备份与主备，本文采用。

只在 master 上安装 MariaDB，其它服务器不装。同时必须安装 JDBC 驱动 mysql-connector-java：

yum install mariadb mariadb-server mysql-connector-java -y
systemctl start mariadb
systemctl status mariadb
systemctl enable mariadb

7.2 建库与授权

mysql

create database ambari;
grant all on ambari.* to ambari@'master.cluster.com' identified by 'bigdata';
flush privileges;
quit

执行回显示例：

MariaDB [(none)]> create database ambari;
Query OK, 1 row affected (0.00 sec)

MariaDB [(none)]> grant all on ambari.* to ambari@'master.cluster.com' identified by 'bigdata';
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.00 sec)

库名（ambari）、用户名（ambari）、授权主机名（master.cluster.com）、密码（bigdata）必须与下一步 ambari-server setup 中的数据库配置一一对应，否则连接失败。

7.3 安装 ambari-server

yum install ambari-server -y

7.4 导入 Ambari 元数据（DDL）

安装完 ambari-server 后才会有导入用的 SQL 文件。连接数据库导入建表脚本：

mysql

use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

回显：

MariaDB [(none)]> use ambari;
Database changed
MariaDB [ambari]> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

也可以直接用 ambari 用户登录导入：

mysql -uambari -pbigdata ambari

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
quit

若使用内嵌 PostgreSQL，则不需要这一步，ambari-server setup 会自动建库建表。

7.5 运行 ambari-server setup

ambari-server setup

完整交互过程如下：

Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 3
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/local/jdk1.8.0_112/
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice : 3
Hostname (localhost): master.cluster.com
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (bigdata):
Configuring ambari database...
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? y
Extracting system views...
ambari-admin-2.5.1.0.159.jar
...........
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

交互选项汇总与关键选择说明：

提示项	输入	说明
Customize user account for ambari-server daemon	`y`	自定义运行用户
Enter user account	`root`	前面的 SSH 免密都是 root 做的，必须用 root
JDK choice	`3`	Custom JDK，避免在线下载 Oracle JDK
Path to JAVA_HOME	`/usr/local/jdk1.8.0_112/`	对应前面解压路径，所有节点必须一致
Advanced database configuration	`y`	使用外置数据库必须选 y
Database choice	`3`	MySQL / MariaDB
Hostname	`master.cluster.com`	与 grant 授权的主机名一致
Port	默认 `3306`	直接回车
Database name	`ambari`	与建库名一致
Username	`ambari`	与授权用户一致
Password	`bigdata`	与授权密码一致
Proceed with configuring remote database...	`y`	确认

关于 "Before starting Ambari Server, you must run the following DDL..." 的警告可以无视，因为 7.4 已经导入过 SQL；
如需重新配置，可再次执行 ambari-server setup；重置数据库可用 ambari-server reset（会清空元数据，慎用）。

7.6 启动 Ambari Server

只在 master 上操作：

ambari-server start

回显：

Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start................................
Server started listening on 8080

DB configs consistency check: no errors and warnings were found.
Ambari Server 'start' completed successfully.

查看状态：

ambari-server status

Using python  /usr/bin/python
Ambari-server status
Ambari Server running
Found Ambari Server PID: 5086 at: /var/run/ambari-server/ambari-server.pid

确认 8080 端口已监听：

lsof -i:8080

COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    5086 root 1444u  IPv6  37904      0t0  TCP *:webcache (LISTEN)

设置开机自启动：

systemctl enable ambari-server

8. Web 界面安装集群向导

8.1 浏览器访问与登录

通过浏览器访问 master 的 8080 端口：

http://10.1.1.2:8080

用户名：admin
密码：admin

（对应截图 ambari01.png，位于笔记目录 /devops/png/ 下）

首次登录后建议在 Admin → Users 中修改 admin 密码；也可用命令行重置：ambari-server setup-security。

8.2 启动安装向导

选择 Launch Install Wizard（ambari02.png）。

8.3 命名集群（Get Started）

自定义 Cluster Name，例如 hadoop_cluster（ambari03.png）。集群名创建后不可随意更改。

8.4 选择 HDP 版本与本地仓库（Select Version）

HDP 默认版本为 2.6。选择 Local Repository（公网源较慢，已将包下载并共享到 10.1.1.1），并只保留 RedHat 7（删除其它操作系统行，避免 Ambari 去校验无用 URL）：

HDP:        http://10.1.1.1/hdp
HDP-UTILS:  http://10.1.1.1/hdp-util

（对应 ambari04.png）

若使用公网源，则选择 Use Public Repository，但下载会非常慢，且无外网时必然失败。

8.5 注册主机：目标主机与 SSH 私钥（Install Options）

在 Target Hosts 中写入五台服务器的主机名（每行一个，必须是 FQDN）：

master.cluster.com
backup.cluster.com
slave1.cluster.com
slave2.cluster.com
slave3.cluster.com

在 SSH Private Key 中粘贴 master 上 /root/.ssh/id_rsa 的内容：

cat /root/.ssh/id_rsa

将整段私钥（包含 -----BEGIN RSA PRIVATE KEY----- 和 -----END RSA PRIVATE KEY----- 两行）复制到文本框（ambari05.png）。SSH User Account 保持 root，SSH Port 保持 22。

也可以选择 Perform manual registration（手动在每台节点上安装并配置 ambari-agent），但不推荐，步骤更繁琐。

8.6 自动注册（Confirm Hosts）

点击下一步后，Ambari 会通过 SSH 自动登录各主机，安装并启动 ambari-agent，然后等待 Agent 心跳注册（ambari06.png）。

8.7 注册结果确认

注册成功时全部主机状态为绿色 Success（ambari07.png）。

若出现红色 Failed，点击 failed 可查看详细错误信息（stdout/stderr）帮助排错；
若出现黄色警告（Host Checks），多为 THP、文件描述符、已存在的目录/用户等问题，按提示处理后 Rerun Checks。

8.8 选择服务组件（Choose Services）

HDP 生态组件众多，讲义中只选择主要的 HDFS 和 MapReduce（勾选 MapReduce2 时会自动带上 YARN 与 ZooKeeper 依赖）；实际生产环境需结合开发需求选择（ambari08.png）。

常见可选组件：

类别	组件
核心	HDFS、YARN、MapReduce2
查询	Hive、Tez、Pig
NoSQL	HBase、Phoenix
协调	ZooKeeper
采集	Kafka、Flume、Sqoop
治理	Atlas、Ranger
监控	Ambari Metrics、SmartSense

教学推荐组合：HDFS + YARN + MapReduce2 + ZooKeeper + Hive + HBase，可完整体验存储、计算、协调、SQL 与 NoSQL 四类场景。

Ambari 会自动提示依赖组件（如选 Hive 必须有 ZooKeeper 与一个元数据库），点击 OK 让它自动勾选即可。

8.9 分配 Master 组件（Assign Masters）

将各组件的 Master 角色分配到节点，讲义中保持默认即可（ambari09.png）。典型分配：

组件	建议节点
NameNode	master
SNameNode（Secondary NameNode）	backup
ResourceManager	master
History Server / App Timeline Server	master 或 backup
ZooKeeper Server	master、backup、slave1（奇数个，建议 3 个）
HiveServer2 / Hive Metastore	backup
HBase Master	backup
Ambari Metrics Collector	backup

NameNode / ResourceManager 通常放在 master；
SNameNode / 备用主放在 backup；
其它主组件按需分布，尽量避免所有 master 组件挤在一台机器上。

8.10 分配 Slave 与 Client（Assign Slaves and Clients）

分配 DataNode、NodeManager 等 Slave 角色以及 Client 组件（HDFS Client、YARN Client、Hive Client 等），讲义保持默认（ambari10.png）。

一般 slave1 ~ slave3 承担 DataNode 与 NodeManager；
Client 建议在需要提交作业的节点上都勾选（至少 master 上要有）。

8.11 自定义服务配置与数据库密码（Customize Services）

图形界面中红色标记的项一般是必须设置的密码，设置完密码即可继续（ambari11.png），常见的有：

Hive Metastore 数据库密码（可选择 Ambari 自带的 MySQL，或填写已有数据库连接信息）；
Ambari Metrics 的 Grafana admin 密码；
Oozie / Ranger 等组件的数据库密码；
各服务的 admin 账号密码。

如选择使用外置 MySQL 作为 Hive 元数据库，需先手工建库授权并在此填写：

create database hive;
grant all on hive.* to hive@'%' identified by 'hive123';
flush privileges;

同时在 master 上注册 JDBC 驱动：

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

此页还可调整目录、内存等参数，例如：

dfs.datanode.data.dir：DataNode 数据目录；
dfs.replication：HDFS 副本数（测试环境节点少时可设为 2 或 3）；
yarn.nodemanager.resource.memory-mb：NodeManager 可用内存。

8.12 配置告警（Configuration warnings）

某些配置会产生告警，提示优化参数（如内存、文件句柄等），讲义中先直接无视，点下一步（ambari12.png）。生产环境应逐条核对后再继续。

8.13 Review

确认前面所做的所有选择，形成部署清单（ambari13.png）。可点击 Print 保存清单，或 Back 返回修改。

8.14 部署安装与进度监控（Install, Start and Test）

点击 Deploy 开始安装（ambari14.png、ambari15.png）。

界面按主机显示 Install → Start → Test 三个阶段的进度条；
安装过程较慢（受本地源带宽与机器性能影响，通常 20 ~ 60 分钟）；
若出现红色错误，点击错误项会弹出该任务的 stdout / stderr，给出详细信息帮助排错；修复后可点击 Retry 重试失败任务；
全部完成后点击 Next → Complete，进入 Ambari Dashboard。

安装完成后，即可在 Ambari Dashboard 中看到各服务的状态、启停服务、修改配置、监控告警与指标。

9. 安装后验证

9.1 在 Ambari 界面检查

Dashboard 中所有服务图标为绿色（无红色/黄色感叹号）；
Hosts 页面五台主机均为绿色心跳正常；
Alerts 中无 CRITICAL 级别告警。

9.2 命令行检查服务状态

在 master 上：

ambari-server status
jps

在各节点检查 Agent：

ambari-agent status

HDFS 状态与报告：

su - hdfs
hdfs dfsadmin -report
hdfs fsck /

YARN 节点列表：

yarn node -list

9.3 各组件 Web UI 端口

服务	地址	端口
Ambari Web	http://master.cluster.com:8080	8080
NameNode（HDFS）	http://master.cluster.com:50070	50070
Secondary NameNode	http://backup.cluster.com:50090	50090
DataNode	http://slave1.cluster.com:50075	50075
ResourceManager（YARN）	http://master.cluster.com:8088	8088
NodeManager	http://slave1.cluster.com:8042	8042
MapReduce JobHistory	http://master.cluster.com:19888	19888
HBase Master	http://backup.cluster.com:16010	16010
HiveServer2	jdbc:hive2://backup.cluster.com:10000	10000

9.4 跑一个测试作业

HDFS 读写测试：

su - hdfs
hdfs dfs -mkdir -p /test
echo "hello hadoop ambari hello hdp" > /tmp/words.txt
hdfs dfs -put /tmp/words.txt /test/
hdfs dfs -ls /test
hdfs dfs -cat /test/words.txt

MapReduce WordCount 作业（HDP 的 jar 位于 /usr/hdp/current/hadoop-mapreduce-client/）：

yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar \
  wordcount /test/words.txt /test/out
hdfs dfs -cat /test/out/part-r-00000

Pi 估算作业（验证 YARN 调度）：

yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar \
  pi 5 10

作业运行时可在 ResourceManager Web UI（8088）中看到 Application 状态由 RUNNING 变为 FINISHED / SUCCEEDED。

Ambari 界面也提供快捷验证：Service Actions → Run Service Check，HDFS、YARN、MapReduce2、ZooKeeper、Hive、HBase 均支持。

10. 日常运维

Ambari 部署完成后，日常运维大多可在 Web 界面完成：

操作	路径与说明
启动/停止/重启服务	Services → 对应服务 → Service Actions → Start / Stop / Restart All
重启单个组件	Hosts → 某主机 → Components → 组件右侧下拉 → Restart
滚动重启	Service Actions → Restart All（可设置批次大小与容错数，避免全量中断）
修改配置	Services → Configs，修改后 Save，按提示重启相关服务
配置版本与回滚	Configs 页面上方的版本条，选择历史版本 → Make Current 即可回滚
查看告警	Dashboard 顶部 Alerts 区域，按严重级别（CRITICAL / WARNING / OK）过滤
监控指标	Dashboard 的 Metrics 图表；或 Ambari Metrics → Grafana 查看详细面板
主机管理	Hosts 页面查看各节点状态、组件分布、增删节点
添加服务	Actions → Add Service 向导（流程与初次安装的服务选择部分类似）
维护模式	对主机或服务开启 Maintenance Mode，抑制告警，用于计划内检修
卸载/重建集群	停止所有服务后，在 Admin → Cluster 中删除重建

10.1 命令行运维

Ambari Server：

ambari-server start
ambari-server stop
ambari-server restart
ambari-server status

Ambari Agent（各被管理节点）：

ambari-agent start
ambari-agent stop
ambari-agent restart
ambari-agent status

元数据库备份（强烈建议纳入定时任务）：

mysqldump -uambari -pbigdata ambari > /backup/ambari_$(date +%F).sql

10.2 关注的核心监控指标

类别	指标
HDFS	容量使用率、Under-replicated blocks、Corrupt blocks、Missing blocks、NameNode 堆内存、Safemode 状态、DataNode 存活数
YARN	可用/已用内存与 vcore、Pending/Running Applications、NodeManager 存活数、队列使用率
主机	CPU 使用率、Load、内存、磁盘使用率与 IO、网络流量
服务进程	各组件进程存活、心跳丢失数、JVM GC 时间

10.3 添加主机（扩容）

新节点必须先完成第 4 章的全部前置准备（主机名、hosts 全节点同步、SSH 免密、防火墙/SELinux、NTP、THP、文件描述符、JDK、yum 源），然后：

Ambari Web → Hosts → Actions → Add New Hosts；
填写新主机 FQDN 与 master 的 SSH 私钥；
等待注册成功（绿色 Success）；
为新主机分配 Slave 与 Client 组件（一般是 DataNode + NodeManager + Clients）；
部署完成后启动组件。

注意：所有已有节点的 /etc/hosts 都要加上新节点，否则会出现解析失败。

扩容后平衡 HDFS 数据：

su - hdfs
hdfs balancer -threshold 10

10.4 下线主机（Decommission）

Hosts → 选中主机 → Host Actions；
先对 DataNode 执行 Decommission，等待数据块迁移完成（Ambari 会显示 Decommissioning → Decommissioned）；
再对 NodeManager 执行 Decommission；
停止该主机上所有组件 → Delete Component → Delete Host。

切勿直接关机删除 DataNode，否则会产生 Under-replicated / Missing blocks。

11. 排错清单

11.1 主机注册失败（Register and Confirm 阶段红色 Failed）

检查 /etc/hosts 五台是否互相绑定、主机名是否为 FQDN 且拼写正确（最常见原因）；
检查五台机器间 SSH 免密是否正常（ssh slave1.cluster.com 无需密码即可登录）；
检查粘贴的 SSH 私钥是否完整（包含 BEGIN/END 两行，无多余空格）；
检查 firewalld / iptables / SELinux 是否已关闭；
检查 yum 源是否可用（yum list ambari-agent 能查到包）；
点击 Failed 链接查看 stdout / stderr 具体报错。

11.2 yum 源不可用

在节点上执行 yum repolist、yum clean all; yum makecache fast 确认；
用 curl -I http://10.1.1.1/ambari/repodata/repomd.xml 验证 HTTP 可达；
仓库目录缺少 repodata 时在仓库服务器上执行 createrepo；
确认 repo 文件名是 ambari.repo（Ambari 检查依赖此文件名）；
仓库服务器上 httpd 是否启动、SELinux 是否影响 /var/www/html 访问（restorecon -R /var/www/html）。

11.3 ambari-server setup 数据库连接失败

确认 MariaDB 已启动（systemctl status mariadb）；
确认库名、用户、授权主机名、密码与 setup 中填写的完全一致；

确认 JDBC 驱动 mysql-connector-java 已安装，必要时执行：

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

手工验证连接：mysql -h master.cluster.com -uambari -pbigdata ambari。

11.4 启动后 8080 端口不通

使用 ambari-server status 和 lsof -i:8080（或 ss -tnlp | grep 8080）检查进程与端口；
查看 /var/log/ambari-server/ambari-server.log 与 ambari-server.out；
检查是否有端口冲突，可在 /etc/ambari-server/conf/ambari.properties 中修改 client.api.port；
检查防火墙是否放行 8080。

11.5 Agent 心跳丢失（Heartbeat Lost）

检查 agent 节点上 /etc/ambari-agent/conf/ambari-agent.ini 中 [server] hostname 是否指向 master 的 FQDN；
检查各节点时间是否同步（时间偏差过大会直接导致心跳失效）；
检查 Agent 进程：ambari-agent status，必要时 ambari-agent restart；
检查 8440 / 8441 端口（Agent 与 Server 的双向 SSL 通信端口）是否连通；
证书问题（SSLError）可删除 /var/lib/ambari-agent/keys/* 后重启 Agent 重新生成。

11.6 服务安装 / 启动失败

点击 Failed 查看具体错误信息（stdout / stderr），错误原因通常直接可见；
检查对应节点日志（见 11.7）；
检查磁盘空间（df -h）和内存（free -m）—— 内存不足是教学环境最常见的启动失败原因；
HDP 安装阶段包下载慢或失败：使用本地仓库（Local Repository），确认 http://10.1.1.1/hdp 与 http://10.1.1.1/hdp-util 可访问；
HDFS 无法退出安全模式：hdfs dfsadmin -safemode leave；
端口被占用：lsof -i:<port> 找出并处理冲突进程；
修复后在界面上点击 Retry 重试失败任务。

11.7 日志位置速查

组件	日志路径
Ambari Server	`/var/log/ambari-server/ambari-server.log`、`ambari-server.out`
Ambari Agent	`/var/log/ambari-agent/ambari-agent.log`、`ambari-agent.out`
Agent 命令输出	`/var/lib/ambari-agent/data/output-.txt`、`errors-.txt`
HDFS	`/var/log/hadoop/hdfs/`
YARN	`/var/log/hadoop-yarn/yarn/`
MapReduce	`/var/log/hadoop-mapreduce/mapred/`
ZooKeeper	`/var/log/zookeeper/`
Hive	`/var/log/hive/`
HBase	`/var/log/hbase/`

Agent 配置文件：/etc/ambari-agent/conf/ambari-agent.ini；Server 配置文件：/etc/ambari-server/conf/ambari.properties。

12. 练习

准备五台 CentOS 7.3 虚拟机，按第 3 章规划设置主机名与静态 IP，并使五台 /etc/hosts 完全一致，用 hostname -f 与 ping 验证。
在五台上完成前置环境准备：关闭 NetworkManager、关闭 firewalld/iptables/SELinux、配置 NTP、关闭 THP、修改文件描述符限制为 65536、设置 umask 0022、安装 JDK 8u112 到 /usr/local/。写出用于验证每一项是否生效的命令。
在 10.1.1.1 上用 httpd + createrepo 搭建 ambari、HDP、HDP-UTILS 三个本地离线源，并在五台节点上写好 ambari.repo，用 yum list ambari-server 验证。
配置五台机器两两 SSH 免密（空密码密钥 + 汇总 authorized_keys + 分发 + 首次 yes 确认），并解释为什么 Ambari Server 到所有节点的免密是必需的。
在 master 上安装 MariaDB，创建 ambari 库并授权给 ambari@'master.cluster.com'，密码 bigdata；安装 ambari-server 后导入 Ambari-DDL-MySQL-CREATE.sql。
执行 ambari-server setup，记录每一个交互选项你的输入及原因（重点：JDK 选 3、数据库选 3）；启动服务并用 ambari-server status 与 lsof -i:8080 验证。
通过 Web 向导安装集群：命名 hadoop_cluster，使用 Local Repository（只留 RedHat 7），注册五台主机，选择 HDFS + YARN + MapReduce2 + ZooKeeper，分配 Master/Slave 角色并完成部署。
安装后验证：访问 NameNode 50070 与 ResourceManager 8088 页面，执行 hdfs dfsadmin -report，并跑通一次 WordCount 与一次 pi 作业。
运维练习：在 Configs 中把 dfs.replication 改为 2 并保存、重启相关服务，然后利用配置版本功能回滚到上一版本。
排错练习：故意在一台 slave 上停掉 ambari-agent 并把系统时间调偏 10 分钟，观察 Ambari 界面出现的告警，然后定位 /var/log/ambari-agent/ambari-agent.log 中的报错并修复。
扩容练习：新增一台 slave4，完成全部前置准备后用 Add New Hosts 加入集群，分配 DataNode 与 NodeManager，并执行 hdfs balancer 平衡数据。
对比练习：结合 16-02-Hadoop架构与安装部署.md 中的手工部署流程，列出 Ambari 帮你自动完成了哪些步骤。

13. 参考

Ambari 官网：https://ambari.apache.org/
Hortonworks 文档：https://docs.hortonworks.com/
Hadoop 官方文档：https://hadoop.apache.org/docs/

最后修改：2026 年 09 月 20 日

如果觉得我的文章对你有用，请随意赞赏

此处评论已关闭

Ambari 与 Hadoop 大数据平台

admin • 2026 年 07 月 23 日

<h1>Ambari 与 Hadoop 大数据平台</h1>
<blockquote>
<p>本文合并自：04-Ambari部署Hadoop.md、3-6-Ambari与Hadoop大数据平台.md</p>
</blockquote>
<blockquote>
<p>适用环境：CentOS 7.3</p>
<p>架构：Ambari Server + Ambari Agent + Hadoop（HDP）集群</p>
<p>本文覆盖 Ambari 的作用与优势、Hadoop 发行版区别、五节点集群规划、前置环境准备、本地离线 yum 源搭建、MariaDB 元数据库准备、ambari-server 安装与 setup、Web 向导安装 HDP 集群、安装后验证、日常运维与排错。</p>
<p>手工逐个部署 Hadoop（HDFS/YARN 配置文件级别的安装）请参见 <code>16-02-Hadoop架构与安装部署.md</code>，本文只讲 Ambari 自动化部署。</p>
</blockquote>
<hr />
<h2>1. Ambari 概述</h2>
<h3>1.1 为什么需要 Ambari</h3>
<p>Hadoop 是一个分布式存储与计算的大数据平台，生态包含 HDFS、YARN、MapReduce、Hive、HBase、ZooKeeper、Kafka、Spark 等众多组件。手动逐个部署、配置这些组件，需要在每个节点上分发安装包、编辑十几个 XML 配置文件、维护主机列表，步骤繁琐且极容易出错；后续修改一个参数还要手工同步到所有节点并逐个重启服务。</p>
<p><strong>Apache Ambari</strong> 是一个用于供应（Provision）、管理（Manage）和监控（Monitor）Hadoop 集群的 Web 工具，它把上述工作全部图形化、自动化。</p>
<h3>1.2 Ambari 的核心作用</h3>
<ul>
<li><strong>部署</strong>：提供一步一步的图形安装向导，自动在多台主机上分发并部署 HDP（Hortonworks Data Platform）各组件，自动生成配置文件；</li>
<li><strong>管理</strong>：集中管理集群配置，所有节点配置由 Server 统一下发，支持配置版本化（Config Version）与一键回滚；</li>
<li><strong>监控</strong>：提供 Dashboard 展示集群健康状态、容量、指标图表（Ambari Metrics），内置数十条告警规则；</li>
<li><strong>运维</strong>：支持在界面上启停/重启服务、滚动重启、添加服务、添加主机、下线（Decommission）主机、Kerberos 安全集成、Ranger 权限集成等。</li>
</ul>
<h3>1.3 与手工部署的对比优势</h3>
<table>
<thead>
<tr>
<th>维度</th>
<th>手工部署</th>
<th>Ambari 部署</th>
</tr>
</thead>
<tbody>
<tr>
<td>安装方式</td>
<td>逐节点解压、改配置、分发</td>
<td>Web 向导一次下发到所有节点</td>
</tr>
<tr>
<td>配置一致性</td>
<td>靠人工 scp 同步，易漂移</td>
<td>Server 统一下发，天然一致</td>
</tr>
<tr>
<td>配置变更</td>
<td>手工改 + 手工重启</td>
<td>界面改 + 提示需重启的组件，可滚动重启</td>
</tr>
<tr>
<td>配置回滚</td>
<td>靠自己备份文件</td>
<td>内置配置版本，一键回滚</td>
</tr>
<tr>
<td>监控告警</td>
<td>需另建 Zabbix/Prometheus</td>
<td>内置 Metrics + Alerts</td>
</tr>
<tr>
<td>扩容</td>
<td>重复一遍全部安装步骤</td>
<td>Add Host 向导，几分钟完成</td>
</tr>
<tr>
<td>排错</td>
<td>逐台 grep 日志</td>
<td>界面上点开失败任务看 stdout/stderr</td>
</tr>
<tr>
<td>学习成本</td>
<td>高，需理解每个配置项</td>
<td>低，但仍需理解组件原理</td>
</tr>
</tbody>
</table>
<blockquote>
<p>结论：教学与生产环境都推荐 Ambari；手工部署适合用来理解 Hadoop 内部原理（见 <code>16-02-Hadoop架构与安装部署.md</code>）。</p>
</blockquote>
<h3>1.4 Ambari 自身架构</h3>
<ul>
<li><strong>Ambari Server</strong>：只装在一台管理节点（本文为 master），提供 8080 端口的 Web/REST 服务，所有集群元数据存放在关系型数据库中（PostgreSQL 内嵌或外置 MySQL/MariaDB）；</li>
<li><strong>Ambari Agent</strong>：安装在每一台被管理节点上，向 Server 注册并定期发送心跳（heartbeat），接收 Server 下发的命令（安装包、写配置、启停进程）；</li>
<li><strong>Ambari Web</strong>：浏览器端界面，本质是调用 Ambari REST API。</li>
</ul>
<hr />
<h2>2. Hadoop 发行版说明</h2>
<table>
<thead>
<tr>
<th>发行版</th>
<th>提供方</th>
<th>特点</th>
</tr>
</thead>
<tbody>
<tr>
<td><strong>Apache Hadoop</strong></td>
<td>Apache 社区</td>
<td>原生开源版本，纯净、免费；但各生态组件版本兼容需自己验证，无统一管理工具，部署运维全手工</td>
</tr>
<tr>
<td><strong>HDP</strong>（Hortonworks Data Platform）</td>
<td>Hortonworks</td>
<td>完全开源，不含闭源组件；对生态组件做版本兼容整合并打成 RPM 仓库；配套管理工具是 <strong>Ambari</strong></td>
</tr>
<tr>
<td><strong>CDH</strong>（Cloudera Distribution Hadoop）</td>
<td>Cloudera</td>
<td>商业发行版，稳定性与文档好；配套管理工具是 <strong>Cloudera Manager</strong>，部分高级功能收费</td>
</tr>
</tbody>
</table>
<p>要点：</p>
<ul>
<li><strong>HDP 与 Ambari 的关系</strong>：Ambari 是 HDP 的官方部署管理工具，Ambari 通过读取 HDP 仓库（yum repo）中的 RPM 包完成安装。Ambari 自身也有独立的 yum 仓库，二者是两套仓库：<code>ambari</code> 仓库用于安装 <code>ambari-server</code> / <code>ambari-agent</code>，<code>HDP</code> 与 <code>HDP-UTILS</code> 仓库用于安装 Hadoop 各组件。</li>
<li>Hortonworks 与 Cloudera 已合并，新产品线为 CDP；但 HDP 2.6 + Ambari 2.5/2.6 组合在教学与存量环境中仍非常常见，本文以此为例。</li>
<li>本文部署的是 <strong>HDP 2.6</strong>，Ambari 版本 <strong>2.5.1.0</strong>。</li>
</ul>
<hr />
<h2>3. 集群规划</h2>
<h3>3.1 角色与主机</h3>
<pre><code class="language-text">            hadoopmaster        hadoopbackup

hadoopslave1     hadoopslave2     hadoopslave3</code></pre>
<p>准备五台 CentOS 7.3 虚拟机（KVM）：</p>
<table>
<thead>
<tr>
<th>角色</th>
<th>主机名</th>
<th>IP</th>
<th>承载内容</th>
</tr>
</thead>
<tbody>
<tr>
<td>Master</td>
<td>master.cluster.com</td>
<td>10.1.1.2</td>
<td>ambari-server、MariaDB 元数据库、NameNode、ResourceManager 等主组件</td>
</tr>
<tr>
<td>Backup</td>
<td>backup.cluster.com</td>
<td>10.1.1.3</td>
<td>Secondary NameNode / 备用主节点、部分 master 组件</td>
</tr>
<tr>
<td>Slave1</td>
<td>slave1.cluster.com</td>
<td>10.1.1.4</td>
<td>DataNode、NodeManager</td>
</tr>
<tr>
<td>Slave2</td>
<td>slave2.cluster.com</td>
<td>10.1.1.5</td>
<td>DataNode、NodeManager</td>
</tr>
<tr>
<td>Slave3</td>
<td>slave3.cluster.com</td>
<td>10.1.1.6</td>
<td>DataNode、NodeManager</td>
</tr>
</tbody>
</table>
<p>另有一台 <code>10.1.1.1</code> 作为<strong>离线仓库服务器</strong>（httpd），提供 CentOS 镜像源、ambari 源、HDP 与 HDP-UTILS 源、JDK 安装包。</p>
<h3>3.2 硬件与系统要求</h3>
<ul>
<li>操作系统：CentOS 7.3（RedHat 7 系列）；</li>
<li>磁盘：≥ 20G；</li>
<li>内存：≥ 1.5G（教学最低配置；生产环境 master 建议 ≥ 8G，slave 建议 ≥ 16G）；</li>
<li>尽量不使用图形模式（Minimal 安装），以节省内存与磁盘资源；</li>
<li>所有节点网络互通，主机名可正向/反向解析。</li>
</ul>
<hr />
<h2>4. 前置环境准备</h2>
<p>以下 4.1 ~ 4.9 除特别说明外，<strong>五台机器全部都要做</strong>。这一章是 Ambari 部署成功率的关键，任何一项遗漏都可能导致后续主机注册失败或服务启动失败。</p>
<h3>4.1 配置静态 IP</h3>
<p>配置静态 IP，并关闭 NetworkManager、设置开机不启动（避免 NetworkManager 覆盖静态配置）：</p>
<pre><code class="language-bash">systemctl stop NetworkManager
systemctl disable NetworkManager</code></pre>
<h3>4.2 主机名配置与 hosts 绑定</h3>
<p>五台机器都要设置主机名并互相绑定，<strong>多检查几遍不要写错</strong>（主机名错误是注册失败最常见的原因）：</p>
<pre><code class="language-bash">hostnamectl set-hostname --static master.cluster.com</code></pre>
<p>其余节点分别设置为 <code>backup.cluster.com</code>、<code>slave1.cluster.com</code>、<code>slave2.cluster.com</code>、<code>slave3.cluster.com</code>。</p>
<p>五台机器的 <code>/etc/hosts</code> 内容必须完全一致：</p>
<pre><code class="language-text">10.1.1.2    master.cluster.com
10.1.1.3    backup.cluster.com
10.1.1.4    slave1.cluster.com
10.1.1.5    slave2.cluster.com
10.1.1.6    slave3.cluster.com</code></pre>
<p>验证：</p>
<pre><code class="language-bash">hostname -f          # 应输出 FQDN，如 master.cluster.com
ping -c 2 slave3.cluster.com</code></pre>
<blockquote>
<p>注意：Ambari 要求使用 FQDN（完全限定域名），不要使用短主机名；也不要把主机名解析到 127.0.0.1。</p>
</blockquote>
<h3>4.3 时间同步（NTP）</h3>
<p>NTP 服务必须开启，并设置开机自启动（五台都要做）。集群各节点时间不一致会导致 Agent 心跳异常、HBase/ZooKeeper 报错。</p>
<pre><code class="language-bash">yum install ntp -y
systemctl start ntpd
systemctl enable ntpd</code></pre>
<p>验证：</p>
<pre><code class="language-bash">ntpq -p
timedatectl</code></pre>
<h3>4.4 关闭防火墙与 SELinux</h3>
<p>firewalld 和 iptables 最好都关闭；SELinux 设置为开机自动关闭：</p>
<pre><code class="language-bash">systemctl stop firewalld
systemctl disable firewalld
iptables -F
setenforce 0
sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config</code></pre>
<p>也可直接编辑 <code>/etc/selinux/config</code>：</p>
<pre><code class="language-text">SELINUX=disabled</code></pre>
<p>验证（<code>setenforce 0</code> 只在当前生效，改配置文件才能开机生效）：</p>
<pre><code class="language-bash">getenforce           # 应输出 Disabled 或 Permissive
systemctl is-enabled firewalld</code></pre>
<h3>4.5 关闭 THP（透明大页）</h3>
<p>透明大页（Transparent Huge Pages）会导致 Hadoop/HBase 出现不可预期的性能抖动，Ambari 安装检查也会给出告警，建议关闭：</p>
<pre><code class="language-bash">echo never &gt; /sys/kernel/mm/transparent_hugepage/enabled
echo never &gt; /sys/kernel/mm/transparent_hugepage/defrag</code></pre>
<p>写入 <code>/etc/rc.local</code> 使其开机生效，并给 rc.local 加执行权限：</p>
<pre><code class="language-bash">cat &gt;&gt; /etc/rc.local &lt;&lt;'EOF'
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
   echo never &gt; /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
   echo never &gt; /sys/kernel/mm/transparent_hugepage/defrag
fi
EOF
chmod +x /etc/rc.d/rc.local</code></pre>
<p>验证：</p>
<pre><code class="language-bash">cat /sys/kernel/mm/transparent_hugepage/enabled
# always madvise [never]</code></pre>
<h3>4.6 修改文件描述符与进程数限制</h3>
<p>Hadoop 组件会打开大量文件与网络连接，默认的 1024 远远不够（Ambari 要求 ≥ 10000）：</p>
<pre><code class="language-bash">cat &gt;&gt; /etc/security/limits.conf &lt;&lt;'EOF'
* soft nofile 65536
* hard nofile 65536
* soft nproc  65536
* hard nproc  65536
EOF</code></pre>
<p>CentOS 7 还需注意 <code>/etc/security/limits.d/20-nproc.conf</code> 中的默认 nproc 限制会覆盖上面的设置，需同步调整。</p>
<p>临时生效与验证：</p>
<pre><code class="language-bash">ulimit -n 65536
ulimit -a</code></pre>
<blockquote>
<p>修改后需重新登录 shell 才生效；systemd 管理的服务还需在 unit 文件中设置 <code>LimitNOFILE</code>。</p>
</blockquote>
<h3>4.7 设置 umask</h3>
<p>Ambari 要求 root 的 umask 为 <code>0022</code>（或不高于 0027），否则安装出来的目录权限不足，组件启动会失败：</p>
<pre><code class="language-bash">umask 0022
echo "umask 0022" &gt;&gt; /etc/profile</code></pre>
<p>验证：</p>
<pre><code class="language-bash">umask
# 0022</code></pre>
<h3>4.8 配置 yum 源</h3>
<p>五台都配置，包含本地 ISO 镜像源及以下两个源（本地仓库的搭建见第 5 章）。</p>
<p><code>/etc/yum.repos.d/ambari.repo</code>（<strong>文件名必须是 <code>ambari.repo</code></strong>，Ambari 安装检查会按此文件名查找）：</p>
<pre><code class="language-ini">[ambari]
name=ambari
baseurl=http://10.1.1.1/ambari/
enabled=1
gpgcheck=0</code></pre>
<p><code>/etc/yum.repos.d/centos163.repo</code>：</p>
<pre><code class="language-ini">[centos163]
name=centos163
baseurl=http://10.1.1.1/centos163/
enabled=1
gpgcheck=0</code></pre>
<p>刷新缓存：</p>
<pre><code class="language-bash">yum clean all
yum makecache fast</code></pre>
<p>验证：</p>
<pre><code class="language-bash">yum repolist
yum list ambari-server</code></pre>
<h3>4.9 准备 JDK</h3>
<p>五台都要安装 JDK（Ambari 要求所有节点的 <code>JAVA_HOME</code> 路径一致）：</p>
<pre><code class="language-bash">wget http://10.1.1.1/devops/ambari_jdk/jdk-8u112-linux-x64.tar.gz
tar xf jdk-8u112-linux-x64.tar.gz -C /usr/local/
ls /usr/local/jdk1.8.0_112/</code></pre>
<p>输出示例：</p>
<pre><code class="language-text">bin        include         lib      README.html  THIRDPARTYLICENSEREADME-JAVAFX.txt
COPYRIGHT  javafx-src.zip  LICENSE  release      THIRDPARTYLICENSEREADME.txt
db         jre             man      src.zip</code></pre>
<p>记下 <code>JAVA_HOME</code> 路径为 <code>/usr/local/jdk1.8.0_112/</code>，后面 <code>ambari-server setup</code> 时要填写。</p>
<p>可选：写入环境变量便于命令行使用。</p>
<pre><code class="language-bash">cat &gt;&gt; /etc/profile &lt;&lt;'EOF'
export JAVA_HOME=/usr/local/jdk1.8.0_112
export PATH=$JAVA_HOME/bin:$PATH
EOF
source /etc/profile
java -version</code></pre>
<blockquote>
<p>如果计划使用 Kerberos，还需在所有节点安装 JCE（Java Cryptography Extension）无限强度策略文件。</p>
</blockquote>
<hr />
<h2>5. 配置五台机器互相免密登录</h2>
<p>Ambari Server 需要通过 SSH 免密登录到所有节点去安装 Ambari Agent，因此 <strong>Ambari Server 到所有节点的 SSH 免密是必需的</strong>。本文按讲义做法配置五台机器两两互信（Hadoop 组件间的部分脚本也会用到）。</p>
<h3>5.1 五台生成空密码密钥</h3>
<p>五台都用 root 用户执行：</p>
<pre><code class="language-bash">ssh-keygen</code></pre>
<p>一路回车，生成空密码密钥（<code>/root/.ssh/id_rsa</code> 与 <code>/root/.ssh/id_rsa.pub</code>）。</p>
<h3>5.2 在 master 上汇总公钥</h3>
<p>只在 master 上做：</p>
<pre><code class="language-bash">cd /root/.ssh/
scp backup.cluster.com:`pwd`/id_rsa.pub  backup.pub
scp slave1.cluster.com:~/.ssh/id_rsa.pub  slave1.pub
scp slave2.cluster.com:/root/.ssh/id_rsa.pub  slave2.pub
scp slave3.cluster.com:/root/.ssh/id_rsa.pub  /root/.ssh/slave3.pub</code></pre>
<blockquote>
<p>上面四句 scp 意思一样，只是路径写法不同（反引号 <code>`pwd`</code> 也可写成 <code>$(pwd)</code>）。</p>
</blockquote>
<p>将所有公钥合并为 <code>authorized_keys</code>：</p>
<pre><code class="language-bash">cat id_rsa.pub backup.pub slave1.pub slave2.pub slave3.pub &gt;&gt; authorized_keys</code></pre>
<blockquote>
<p>若 <code>authorized_keys</code> 是新建的，用 <code>&gt;</code> 或 <code>&gt;&gt;</code> 均可；已有内容时用 <code>&gt;&gt;</code> 追加以免覆盖。</p>
</blockquote>
<p>分发到其它四台：</p>
<pre><code class="language-bash">scp authorized_keys backup.cluster.com:`pwd`/
scp authorized_keys slave1.cluster.com:`pwd`/
scp authorized_keys slave2.cluster.com:`pwd`/
scp authorized_keys slave3.cluster.com:`pwd`/</code></pre>
<p>权限要求（否则免密不生效）：</p>
<pre><code class="language-bash">chmod 700 /root/.ssh
chmod 600 /root/.ssh/authorized_keys</code></pre>
<h3>5.3 首次登录确认</h3>
<p>五台机器全部 ssh 登录一次，主要是把首次登录的 <code>yes</code> 确认输入，以后就不再提示。</p>
<p>先在 master 上执行：</p>
<pre><code class="language-bash">ssh master.cluster.com
exit
ssh backup.cluster.com
exit
ssh slave1.cluster.com
exit
ssh slave2.cluster.com
exit
ssh slave3.cluster.com     # 第一次登录输入 yes
exit</code></pre>
<p>同样的十条 ssh 验证命令（五次 ssh + 五次 exit）在其它四台机器上都要执行一遍。</p>
<blockquote>
<p>目的：将首次登录的 yes 确认写入 <code>/root/.ssh/known_hosts</code>。当机器数量特别多时，可以通过 shell 脚本批量分发 <code>known_hosts</code>，或用 Puppet / Ansible 等配置管理工具完成，也可在 <code>/etc/ssh/ssh_config</code> 中设置 <code>StrictHostKeyChecking no</code>。</p>
</blockquote>
<hr />
<h2>6. 本地 yum 源搭建（离线部署关键）</h2>
<p>HDP 与 Ambari 的公网源在国内下载极慢，且生产环境往往无外网，因此<strong>离线本地源是 Ambari 部署的关键前置条件</strong>。本章在仓库服务器 <code>10.1.1.1</code> 上完成。</p>
<h3>6.1 需要准备的离线包</h3>
<table>
<thead>
<tr>
<th>仓库</th>
<th>内容</th>
<th>发布路径</th>
</tr>
</thead>
<tbody>
<tr>
<td>centos163</td>
<td>CentOS 7 基础包（或本地 ISO 镜像源）</td>
<td><code>http://10.1.1.1/centos163/</code></td>
</tr>
<tr>
<td>ambari</td>
<td><code>ambari-server</code>、<code>ambari-agent</code> 等 RPM</td>
<td><code>http://10.1.1.1/ambari/</code></td>
</tr>
<tr>
<td>HDP</td>
<td>Hadoop 生态各组件 RPM（HDP 2.6）</td>
<td><code>http://10.1.1.1/hdp</code></td>
</tr>
<tr>
<td>HDP-UTILS</td>
<td>HDP 依赖的工具包（如 snappy、nagios 依赖等）</td>
<td><code>http://10.1.1.1/hdp-util</code></td>
</tr>
<tr>
<td>JDK</td>
<td><code>jdk-8u112-linux-x64.tar.gz</code></td>
<td><code>http://10.1.1.1/devops/ambari_jdk/</code></td>
</tr>
</tbody>
</table>
<p>官方 tarball 下载地址形如（能联网时预先下载）：</p>
<pre><code class="language-text"># Ambari 2.5.1.0 for CentOS 7
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.1.0/ambari-2.5.1.0-centos7.tar.gz
# HDP 2.6
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.x.x/HDP-2.6.x.x-centos7-rpm.tar.gz
# HDP-UTILS
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz</code></pre>
<h3>6.2 用 httpd 提供仓库</h3>
<p>在 10.1.1.1 上安装并启动 httpd：</p>
<pre><code class="language-bash">yum install httpd createrepo -y
systemctl start httpd
systemctl enable httpd</code></pre>
<p>解压离线包到 httpd 根目录 <code>/var/www/html/</code>：</p>
<pre><code class="language-bash">mkdir -p /var/www/html/{ambari,hdp,hdp-util,centos163,devops/ambari_jdk}

tar zxf ambari-2.5.1.0-centos7.tar.gz       -C /var/www/html/ambari/
tar zxf HDP-2.6.x.x-centos7-rpm.tar.gz      -C /var/www/html/hdp/
tar zxf HDP-UTILS-1.1.0.21-centos7.tar.gz   -C /var/www/html/hdp-util/
cp jdk-8u112-linux-x64.tar.gz               /var/www/html/devops/ambari_jdk/</code></pre>
<p>如果解压出来的目录中没有 <code>repodata</code>，需要自己生成仓库元数据：</p>
<pre><code class="language-bash">createrepo /var/www/html/ambari/
createrepo /var/www/html/hdp/
createrepo /var/www/html/hdp-util/
createrepo /var/www/html/centos163/</code></pre>
<p>放开权限并验证 HTTP 可访问：</p>
<pre><code class="language-bash">chmod -R 755 /var/www/html/
curl -I http://10.1.1.1/ambari/
curl http://10.1.1.1/hdp/ | head</code></pre>
<blockquote>
<p>常见坑：httpd 未关闭 SELinux 时会拒绝访问 <code>/var/www/html</code> 下的文件；确认 <code>getenforce</code> 为 Disabled，或执行 <code>restorecon -R /var/www/html</code>。</p>
</blockquote>
<h3>6.3 客户端 repo 文件配置</h3>
<p>五台节点上写入 <code>ambari.repo</code> 与 <code>centos163.repo</code>（内容见 4.8 节），然后：</p>
<pre><code class="language-bash">yum clean all
yum makecache fast
yum repolist</code></pre>
<p>HDP 与 HDP-UTILS 两个仓库<strong>不需要手工写 repo 文件</strong>——在第 8 章的 Web 安装向导中选择 <strong>Local Repository</strong> 并填入 URL 后，Ambari 会自动在所有节点生成 <code>/etc/yum.repos.d/HDP.repo</code> 与 <code>/etc/yum.repos.d/HDP-UTILS.repo</code>。</p>
<hr />
<h2>7. 安装 Ambari Server</h2>
<p><strong>只在 master 上操作，其它服务器不做。</strong></p>
<h3>7.1 安装元数据库（MariaDB）</h3>
<p>Ambari Server 需要一个关系型数据库存放集群元数据，可选：</p>
<ul>
<li><strong>PostgreSQL（Embedded）</strong>：内嵌数据库，setup 时选 <code>[1]</code>，无需任何准备，适合测试环境；</li>
<li><strong>MySQL / MariaDB（外置）</strong>：生产推荐，便于备份与主备，本文采用。</li>
</ul>
<p>只在 master 上安装 MariaDB，其它服务器不装。同时必须安装 JDBC 驱动 <code>mysql-connector-java</code>：</p>
<pre><code class="language-bash">yum install mariadb mariadb-server mysql-connector-java -y
systemctl start mariadb
systemctl status mariadb
systemctl enable mariadb</code></pre>
<h3>7.2 建库与授权</h3>
<pre><code class="language-bash">mysql</code></pre>
<pre><code class="language-sql">create database ambari;
grant all on ambari.* to ambari@'master.cluster.com' identified by 'bigdata';
flush privileges;
quit</code></pre>
<p>执行回显示例：</p>
<pre><code class="language-text">MariaDB [(none)]&gt; create database ambari;
Query OK, 1 row affected (0.00 sec)

MariaDB [(none)]&gt; grant all on ambari.* to ambari@'master.cluster.com' identified by 'bigdata';
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]&gt; flush privileges;
Query OK, 0 rows affected (0.00 sec)</code></pre>
<blockquote>
<p>库名（<code>ambari</code>）、用户名（<code>ambari</code>）、授权主机名（<code>master.cluster.com</code>）、密码（<code>bigdata</code>）必须与下一步 <code>ambari-server setup</code> 中的数据库配置一一对应，否则连接失败。</p>
</blockquote>
<h3>7.3 安装 ambari-server</h3>
<pre><code class="language-bash">yum install ambari-server -y</code></pre>
<h3>7.4 导入 Ambari 元数据（DDL）</h3>
<p><strong>安装完 ambari-server 后才会有导入用的 SQL 文件。</strong>连接数据库导入建表脚本：</p>
<pre><code class="language-bash">mysql</code></pre>
<pre><code class="language-sql">use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql</code></pre>
<p>回显：</p>
<pre><code class="language-text">MariaDB [(none)]&gt; use ambari;
Database changed
MariaDB [ambari]&gt; source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql</code></pre>
<p>也可以直接用 ambari 用户登录导入：</p>
<pre><code class="language-bash">mysql -uambari -pbigdata ambari</code></pre>
<pre><code class="language-sql">source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
quit</code></pre>
<blockquote>
<p>若使用内嵌 PostgreSQL，则<strong>不需要</strong>这一步，<code>ambari-server setup</code> 会自动建库建表。</p>
</blockquote>
<h3>7.5 运行 ambari-server setup</h3>
<pre><code class="language-bash">ambari-server setup</code></pre>
<p>完整交互过程如下：</p>
<pre><code class="language-text">Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 3
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/local/jdk1.8.0_112/
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice : 3
Hostname (localhost): master.cluster.com
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (bigdata):
Configuring ambari database...
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? y
Extracting system views...
ambari-admin-2.5.1.0.159.jar
...........
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.</code></pre>
<p>交互选项汇总与关键选择说明：</p>
<table>
<thead>
<tr>
<th>提示项</th>
<th>输入</th>
<th>说明</th>
</tr>
</thead>
<tbody>
<tr>
<td>Customize user account for ambari-server daemon</td>
<td><code>y</code></td>
<td>自定义运行用户</td>
</tr>
<tr>
<td>Enter user account</td>
<td><code>root</code></td>
<td>前面的 SSH 免密都是 root 做的，必须用 root</td>
</tr>
<tr>
<td>JDK choice</td>
<td><code>3</code></td>
<td>Custom JDK，避免在线下载 Oracle JDK</td>
</tr>
<tr>
<td>Path to JAVA_HOME</td>
<td><code>/usr/local/jdk1.8.0_112/</code></td>
<td>对应前面解压路径，所有节点必须一致</td>
</tr>
<tr>
<td>Advanced database configuration</td>
<td><code>y</code></td>
<td>使用外置数据库必须选 y</td>
</tr>
<tr>
<td>Database choice</td>
<td><code>3</code></td>
<td>MySQL / MariaDB</td>
</tr>
<tr>
<td>Hostname</td>
<td><code>master.cluster.com</code></td>
<td>与 grant 授权的主机名一致</td>
</tr>
<tr>
<td>Port</td>
<td>默认 <code>3306</code></td>
<td>直接回车</td>
</tr>
<tr>
<td>Database name</td>
<td><code>ambari</code></td>
<td>与建库名一致</td>
</tr>
<tr>
<td>Username</td>
<td><code>ambari</code></td>
<td>与授权用户一致</td>
</tr>
<tr>
<td>Password</td>
<td><code>bigdata</code></td>
<td>与授权密码一致</td>
</tr>
<tr>
<td>Proceed with configuring remote database...</td>
<td><code>y</code></td>
<td>确认</td>
</tr>
</tbody>
</table>
<ul>
<li>关于 "Before starting Ambari Server, you must run the following DDL..." 的警告<strong>可以无视</strong>，因为 7.4 已经导入过 SQL；</li>
<li>如需重新配置，可再次执行 <code>ambari-server setup</code>；重置数据库可用 <code>ambari-server reset</code>（会清空元数据，慎用）。</li>
</ul>
<h3>7.6 启动 Ambari Server</h3>
<p>只在 master 上操作：</p>
<pre><code class="language-bash">ambari-server start</code></pre>
<p>回显：</p>
<pre><code class="language-text">Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start................................
Server started listening on 8080

DB configs consistency check: no errors and warnings were found.
Ambari Server 'start' completed successfully.</code></pre>
<p>查看状态：</p>
<pre><code class="language-bash">ambari-server status</code></pre>
<pre><code class="language-text">Using python  /usr/bin/python
Ambari-server status
Ambari Server running
Found Ambari Server PID: 5086 at: /var/run/ambari-server/ambari-server.pid</code></pre>
<p>确认 8080 端口已监听：</p>
<pre><code class="language-bash">lsof -i:8080</code></pre>
<pre><code class="language-text">COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    5086 root 1444u  IPv6  37904      0t0  TCP *:webcache (LISTEN)</code></pre>
<p>设置开机自启动：</p>
<pre><code class="language-bash">systemctl enable ambari-server</code></pre>
<hr />
<h2>8. Web 界面安装集群向导</h2>
<h3>8.1 浏览器访问与登录</h3>
<p>通过浏览器访问 master 的 8080 端口：</p>
<pre><code class="language-text">http://10.1.1.2:8080</code></pre>
<ul>
<li>用户名：<code>admin</code></li>
<li>密码：<code>admin</code></li>
</ul>
<p>（对应截图 ambari01.png，位于笔记目录 <code>/devops/png/</code> 下）</p>
<blockquote>
<p>首次登录后建议在 Admin → Users 中修改 admin 密码；也可用命令行重置：<code>ambari-server setup-security</code>。</p>
</blockquote>
<h3>8.2 启动安装向导</h3>
<p>选择 <strong>Launch Install Wizard</strong>（ambari02.png）。</p>
<h3>8.3 命名集群（Get Started）</h3>
<p>自定义 Cluster Name，例如 <code>hadoop_cluster</code>（ambari03.png）。集群名创建后不可随意更改。</p>
<h3>8.4 选择 HDP 版本与本地仓库（Select Version）</h3>
<p>HDP 默认版本为 <strong>2.6</strong>。选择 <strong>Local Repository</strong>（公网源较慢，已将包下载并共享到 10.1.1.1），并<strong>只保留 RedHat 7</strong>（删除其它操作系统行，避免 Ambari 去校验无用 URL）：</p>
<pre><code class="language-text">HDP:        http://10.1.1.1/hdp
HDP-UTILS:  http://10.1.1.1/hdp-util</code></pre>
<p>（对应 ambari04.png）</p>
<blockquote>
<p>若使用公网源，则选择 Use Public Repository，但下载会非常慢，且无外网时必然失败。</p>
</blockquote>
<h3>8.5 注册主机：目标主机与 SSH 私钥（Install Options）</h3>
<p>在 <strong>Target Hosts</strong> 中写入五台服务器的主机名（每行一个，必须是 FQDN）：</p>
<pre><code class="language-text">master.cluster.com
backup.cluster.com
slave1.cluster.com
slave2.cluster.com
slave3.cluster.com</code></pre>
<p>在 <strong>SSH Private Key</strong> 中粘贴 master 上 <code>/root/.ssh/id_rsa</code> 的内容：</p>
<pre><code class="language-bash">cat /root/.ssh/id_rsa</code></pre>
<p>将整段私钥（<strong>包含</strong> <code>-----BEGIN RSA PRIVATE KEY-----</code> 和 <code>-----END RSA PRIVATE KEY-----</code> 两行）复制到文本框（ambari05.png）。SSH User Account 保持 <code>root</code>，SSH Port 保持 <code>22</code>。</p>
<blockquote>
<p>也可以选择 <strong>Perform manual registration</strong>（手动在每台节点上安装并配置 ambari-agent），但不推荐，步骤更繁琐。</p>
</blockquote>
<h3>8.6 自动注册（Confirm Hosts）</h3>
<p>点击下一步后，Ambari 会通过 SSH 自动登录各主机，安装并启动 <code>ambari-agent</code>，然后等待 Agent 心跳注册（ambari06.png）。</p>
<h3>8.7 注册结果确认</h3>
<p>注册成功时全部主机状态为绿色 <strong>Success</strong>（ambari07.png）。</p>
<ul>
<li>若出现红色 <strong>Failed</strong>，点击 failed 可查看详细错误信息（stdout/stderr）帮助排错；</li>
<li>若出现黄色警告（Host Checks），多为 THP、文件描述符、已存在的目录/用户等问题，按提示处理后 <strong>Rerun Checks</strong>。</li>
</ul>
<h3>8.8 选择服务组件（Choose Services）</h3>
<p>HDP 生态组件众多，讲义中只选择主要的 <strong>HDFS</strong> 和 <strong>MapReduce</strong>（勾选 MapReduce2 时会自动带上 YARN 与 ZooKeeper 依赖）；实际生产环境需结合开发需求选择（ambari08.png）。</p>
<p>常见可选组件：</p>
<table>
<thead>
<tr>
<th>类别</th>
<th>组件</th>
</tr>
</thead>
<tbody>
<tr>
<td>核心</td>
<td>HDFS、YARN、MapReduce2</td>
</tr>
<tr>
<td>查询</td>
<td>Hive、Tez、Pig</td>
</tr>
<tr>
<td>NoSQL</td>
<td>HBase、Phoenix</td>
</tr>
<tr>
<td>协调</td>
<td>ZooKeeper</td>
</tr>
<tr>
<td>采集</td>
<td>Kafka、Flume、Sqoop</td>
</tr>
<tr>
<td>治理</td>
<td>Atlas、Ranger</td>
</tr>
<tr>
<td>监控</td>
<td>Ambari Metrics、SmartSense</td>
</tr>
</tbody>
</table>
<p>教学推荐组合：<strong>HDFS + YARN + MapReduce2 + ZooKeeper + Hive + HBase</strong>，可完整体验存储、计算、协调、SQL 与 NoSQL 四类场景。</p>
<blockquote>
<p>Ambari 会自动提示依赖组件（如选 Hive 必须有 ZooKeeper 与一个元数据库），点击 OK 让它自动勾选即可。</p>
</blockquote>
<h3>8.9 分配 Master 组件（Assign Masters）</h3>
<p>将各组件的 Master 角色分配到节点，讲义中保持默认即可（ambari09.png）。典型分配：</p>
<table>
<thead>
<tr>
<th>组件</th>
<th>建议节点</th>
</tr>
</thead>
<tbody>
<tr>
<td>NameNode</td>
<td>master</td>
</tr>
<tr>
<td>SNameNode（Secondary NameNode）</td>
<td>backup</td>
</tr>
<tr>
<td>ResourceManager</td>
<td>master</td>
</tr>
<tr>
<td>History Server / App Timeline Server</td>
<td>master 或 backup</td>
</tr>
<tr>
<td>ZooKeeper Server</td>
<td>master、backup、slave1（奇数个，建议 3 个）</td>
</tr>
<tr>
<td>HiveServer2 / Hive Metastore</td>
<td>backup</td>
</tr>
<tr>
<td>HBase Master</td>
<td>backup</td>
</tr>
<tr>
<td>Ambari Metrics Collector</td>
<td>backup</td>
</tr>
</tbody>
</table>
<ul>
<li>NameNode / ResourceManager 通常放在 master；</li>
<li>SNameNode / 备用主放在 backup；</li>
<li>其它主组件按需分布，尽量避免所有 master 组件挤在一台机器上。</li>
</ul>
<h3>8.10 分配 Slave 与 Client（Assign Slaves and Clients）</h3>
<p>分配 DataNode、NodeManager 等 Slave 角色以及 Client 组件（HDFS Client、YARN Client、Hive Client 等），讲义保持默认（ambari10.png）。</p>
<ul>
<li>一般 slave1 ~ slave3 承担 <strong>DataNode</strong> 与 <strong>NodeManager</strong>；</li>
<li>Client 建议在需要提交作业的节点上都勾选（至少 master 上要有）。</li>
</ul>
<h3>8.11 自定义服务配置与数据库密码（Customize Services）</h3>
<p>图形界面中<strong>红色标记</strong>的项一般是必须设置的密码，设置完密码即可继续（ambari11.png），常见的有：</p>
<ul>
<li>Hive Metastore 数据库密码（可选择 Ambari 自带的 MySQL，或填写已有数据库连接信息）；</li>
<li>Ambari Metrics 的 Grafana admin 密码；</li>
<li>Oozie / Ranger 等组件的数据库密码；</li>
<li>各服务的 admin 账号密码。</li>
</ul>
<p>如选择使用外置 MySQL 作为 Hive 元数据库，需先手工建库授权并在此填写：</p>
<pre><code class="language-sql">create database hive;
grant all on hive.* to hive@'%' identified by 'hive123';
flush privileges;</code></pre>
<p>同时在 master 上注册 JDBC 驱动：</p>
<pre><code class="language-bash">ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar</code></pre>
<p>此页还可调整目录、内存等参数，例如：</p>
<ul>
<li><code>dfs.datanode.data.dir</code>：DataNode 数据目录；</li>
<li><code>dfs.replication</code>：HDFS 副本数（测试环境节点少时可设为 2 或 3）；</li>
<li><code>yarn.nodemanager.resource.memory-mb</code>：NodeManager 可用内存。</li>
</ul>
<h3>8.12 配置告警（Configuration warnings）</h3>
<p>某些配置会产生告警，提示优化参数（如内存、文件句柄等），讲义中先直接无视，点下一步（ambari12.png）。生产环境应逐条核对后再继续。</p>
<h3>8.13 Review</h3>
<p>确认前面所做的所有选择，形成部署清单（ambari13.png）。可点击 <strong>Print</strong> 保存清单，或 <strong>Back</strong> 返回修改。</p>
<h3>8.14 部署安装与进度监控（Install, Start and Test）</h3>
<p>点击 <strong>Deploy</strong> 开始安装（ambari14.png、ambari15.png）。</p>
<ul>
<li>界面按主机显示 Install → Start → Test 三个阶段的进度条；</li>
<li>安装过程较慢（受本地源带宽与机器性能影响，通常 20 ~ 60 分钟）；</li>
<li>若出现红色错误，点击错误项会弹出该任务的 stdout / stderr，给出详细信息帮助排错；修复后可点击 <strong>Retry</strong> 重试失败任务；</li>
<li>全部完成后点击 <strong>Next</strong> → <strong>Complete</strong>，进入 Ambari Dashboard。</li>
</ul>
<p>安装完成后，即可在 Ambari Dashboard 中看到各服务的状态、启停服务、修改配置、监控告警与指标。</p>
<hr />
<h2>9. 安装后验证</h2>
<h3>9.1 在 Ambari 界面检查</h3>
<ul>
<li>Dashboard 中所有服务图标为绿色（无红色/黄色感叹号）；</li>
<li>Hosts 页面五台主机均为绿色心跳正常；</li>
<li>Alerts 中无 CRITICAL 级别告警。</li>
</ul>
<h3>9.2 命令行检查服务状态</h3>
<p>在 master 上：</p>
<pre><code class="language-bash">ambari-server status
jps</code></pre>
<p>在各节点检查 Agent：</p>
<pre><code class="language-bash">ambari-agent status</code></pre>
<p>HDFS 状态与报告：</p>
<pre><code class="language-bash">su - hdfs
hdfs dfsadmin -report
hdfs fsck /</code></pre>
<p>YARN 节点列表：</p>
<pre><code class="language-bash">yarn node -list</code></pre>
<h3>9.3 各组件 Web UI 端口</h3>
<table>
<thead>
<tr>
<th>服务</th>
<th>地址</th>
<th>端口</th>
</tr>
</thead>
<tbody>
<tr>
<td>Ambari Web</td>
<td><span class="external-link"><a class="no-external-link" href="http://master.cluster.com:8080" target="_blank"><i data-feather="external-link"></i>http://master.cluster.com:8080</a></span></td>
<td>8080</td>
</tr>
<tr>
<td>NameNode（HDFS）</td>
<td><span class="external-link"><a class="no-external-link" href="http://master.cluster.com:50070" target="_blank"><i data-feather="external-link"></i>http://master.cluster.com:50070</a></span></td>
<td>50070</td>
</tr>
<tr>
<td>Secondary NameNode</td>
<td><span class="external-link"><a class="no-external-link" href="http://backup.cluster.com:50090" target="_blank"><i data-feather="external-link"></i>http://backup.cluster.com:50090</a></span></td>
<td>50090</td>
</tr>
<tr>
<td>DataNode</td>
<td><span class="external-link"><a class="no-external-link" href="http://slave1.cluster.com:50075" target="_blank"><i data-feather="external-link"></i>http://slave1.cluster.com:50075</a></span></td>
<td>50075</td>
</tr>
<tr>
<td>ResourceManager（YARN）</td>
<td><span class="external-link"><a class="no-external-link" href="http://master.cluster.com:8088" target="_blank"><i data-feather="external-link"></i>http://master.cluster.com:8088</a></span></td>
<td>8088</td>
</tr>
<tr>
<td>NodeManager</td>
<td><span class="external-link"><a class="no-external-link" href="http://slave1.cluster.com:8042" target="_blank"><i data-feather="external-link"></i>http://slave1.cluster.com:8042</a></span></td>
<td>8042</td>
</tr>
<tr>
<td>MapReduce JobHistory</td>
<td><span class="external-link"><a class="no-external-link" href="http://master.cluster.com:19888" target="_blank"><i data-feather="external-link"></i>http://master.cluster.com:19888</a></span></td>
<td>19888</td>
</tr>
<tr>
<td>HBase Master</td>
<td><span class="external-link"><a class="no-external-link" href="http://backup.cluster.com:16010" target="_blank"><i data-feather="external-link"></i>http://backup.cluster.com:16010</a></span></td>
<td>16010</td>
</tr>
<tr>
<td>HiveServer2</td>
<td>jdbc:hive2://backup.cluster.com:10000</td>
<td>10000</td>
</tr>
</tbody>
</table>
<h3>9.4 跑一个测试作业</h3>
<p>HDFS 读写测试：</p>
<pre><code class="language-bash">su - hdfs
hdfs dfs -mkdir -p /test
echo "hello hadoop ambari hello hdp" &gt; /tmp/words.txt
hdfs dfs -put /tmp/words.txt /test/
hdfs dfs -ls /test
hdfs dfs -cat /test/words.txt</code></pre>
<p>MapReduce WordCount 作业（HDP 的 jar 位于 <code>/usr/hdp/current/hadoop-mapreduce-client/</code>）：</p>
<pre><code class="language-bash">yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar \
  wordcount /test/words.txt /test/out
hdfs dfs -cat /test/out/part-r-00000</code></pre>
<p>Pi 估算作业（验证 YARN 调度）：</p>
<pre><code class="language-bash">yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar \
  pi 5 10</code></pre>
<p>作业运行时可在 ResourceManager Web UI（8088）中看到 Application 状态由 RUNNING 变为 FINISHED / SUCCEEDED。</p>
<p>Ambari 界面也提供快捷验证：<strong>Service Actions → Run Service Check</strong>，HDFS、YARN、MapReduce2、ZooKeeper、Hive、HBase 均支持。</p>
<hr />
<h2>10. 日常运维</h2>
<p>Ambari 部署完成后，日常运维大多可在 Web 界面完成：</p>
<table>
<thead>
<tr>
<th>操作</th>
<th>路径与说明</th>
</tr>
</thead>
<tbody>
<tr>
<td>启动/停止/重启服务</td>
<td>Services → 对应服务 → <strong>Service Actions</strong> → Start / Stop / Restart All</td>
</tr>
<tr>
<td>重启单个组件</td>
<td>Hosts → 某主机 → Components → 组件右侧下拉 → Restart</td>
</tr>
<tr>
<td>滚动重启</td>
<td>Service Actions → <strong>Restart All</strong>（可设置批次大小与容错数，避免全量中断）</td>
</tr>
<tr>
<td>修改配置</td>
<td>Services → <strong>Configs</strong>，修改后 Save，按提示重启相关服务</td>
</tr>
<tr>
<td>配置版本与回滚</td>
<td>Configs 页面上方的版本条，选择历史版本 → <strong>Make Current</strong> 即可回滚</td>
</tr>
<tr>
<td>查看告警</td>
<td>Dashboard 顶部 <strong>Alerts</strong> 区域，按严重级别（CRITICAL / WARNING / OK）过滤</td>
</tr>
<tr>
<td>监控指标</td>
<td>Dashboard 的 Metrics 图表；或 Ambari Metrics → Grafana 查看详细面板</td>
</tr>
<tr>
<td>主机管理</td>
<td><strong>Hosts</strong> 页面查看各节点状态、组件分布、增删节点</td>
</tr>
<tr>
<td>添加服务</td>
<td>Actions → <strong>Add Service</strong> 向导（流程与初次安装的服务选择部分类似）</td>
</tr>
<tr>
<td>维护模式</td>
<td>对主机或服务开启 <strong>Maintenance Mode</strong>，抑制告警，用于计划内检修</td>
</tr>
<tr>
<td>卸载/重建集群</td>
<td>停止所有服务后，在 Admin → Cluster 中删除重建</td>
</tr>
</tbody>
</table>
<h3>10.1 命令行运维</h3>
<p>Ambari Server：</p>
<pre><code class="language-bash">ambari-server start
ambari-server stop
ambari-server restart
ambari-server status</code></pre>
<p>Ambari Agent（各被管理节点）：</p>
<pre><code class="language-bash">ambari-agent start
ambari-agent stop
ambari-agent restart
ambari-agent status</code></pre>
<p>元数据库备份（强烈建议纳入定时任务）：</p>
<pre><code class="language-bash">mysqldump -uambari -pbigdata ambari &gt; /backup/ambari_$(date +%F).sql</code></pre>
<h3>10.2 关注的核心监控指标</h3>
<table>
<thead>
<tr>
<th>类别</th>
<th>指标</th>
</tr>
</thead>
<tbody>
<tr>
<td>HDFS</td>
<td>容量使用率、Under-replicated blocks、Corrupt blocks、Missing blocks、NameNode 堆内存、Safemode 状态、DataNode 存活数</td>
</tr>
<tr>
<td>YARN</td>
<td>可用/已用内存与 vcore、Pending/Running Applications、NodeManager 存活数、队列使用率</td>
</tr>
<tr>
<td>主机</td>
<td>CPU 使用率、Load、内存、磁盘使用率与 IO、网络流量</td>
</tr>
<tr>
<td>服务进程</td>
<td>各组件进程存活、心跳丢失数、JVM GC 时间</td>
</tr>
</tbody>
</table>
<h3>10.3 添加主机（扩容）</h3>
<p>新节点必须先完成第 4 章的<strong>全部</strong>前置准备（主机名、hosts 全节点同步、SSH 免密、防火墙/SELinux、NTP、THP、文件描述符、JDK、yum 源），然后：</p>
<ol>
<li>Ambari Web → <strong>Hosts</strong> → Actions → <strong>Add New Hosts</strong>；</li>
<li>填写新主机 FQDN 与 master 的 SSH 私钥；</li>
<li>等待注册成功（绿色 Success）；</li>
<li>为新主机分配 Slave 与 Client 组件（一般是 DataNode + NodeManager + Clients）；</li>
<li>部署完成后启动组件。</li>
</ol>
<blockquote>
<p>注意：所有已有节点的 <code>/etc/hosts</code> 都要加上新节点，否则会出现解析失败。</p>
</blockquote>
<p>扩容后平衡 HDFS 数据：</p>
<pre><code class="language-bash">su - hdfs
hdfs balancer -threshold 10</code></pre>
<h3>10.4 下线主机（Decommission）</h3>
<ol>
<li>Hosts → 选中主机 → Host Actions；</li>
<li>先对 <strong>DataNode</strong> 执行 <strong>Decommission</strong>，等待数据块迁移完成（Ambari 会显示 Decommissioning → Decommissioned）；</li>
<li>再对 <strong>NodeManager</strong> 执行 Decommission；</li>
<li>停止该主机上所有组件 → <strong>Delete Component</strong> → <strong>Delete Host</strong>。</li>
</ol>
<blockquote>
<p>切勿直接关机删除 DataNode，否则会产生 Under-replicated / Missing blocks。</p>
</blockquote>
<hr />
<h2>11. 排错清单</h2>
<h3>11.1 主机注册失败（Register and Confirm 阶段红色 Failed）</h3>
<ul>
<li>检查 <code>/etc/hosts</code> 五台是否互相绑定、主机名是否为 FQDN 且拼写正确（<strong>最常见原因</strong>）；</li>
<li>检查五台机器间 SSH 免密是否正常（<code>ssh slave1.cluster.com</code> 无需密码即可登录）；</li>
<li>检查粘贴的 SSH 私钥是否完整（包含 BEGIN/END 两行，无多余空格）；</li>
<li>检查 firewalld / iptables / SELinux 是否已关闭；</li>
<li>检查 yum 源是否可用（<code>yum list ambari-agent</code> 能查到包）；</li>
<li>点击 <strong>Failed</strong> 链接查看 stdout / stderr 具体报错。</li>
</ul>
<h3>11.2 yum 源不可用</h3>
<ul>
<li>在节点上执行 <code>yum repolist</code>、<code>yum clean all; yum makecache fast</code> 确认；</li>
<li>用 <code>curl -I http://10.1.1.1/ambari/repodata/repomd.xml</code> 验证 HTTP 可达；</li>
<li>仓库目录缺少 <code>repodata</code> 时在仓库服务器上执行 <code>createrepo</code>；</li>
<li>确认 repo 文件名是 <code>ambari.repo</code>（Ambari 检查依赖此文件名）；</li>
<li>仓库服务器上 httpd 是否启动、SELinux 是否影响 <code>/var/www/html</code> 访问（<code>restorecon -R /var/www/html</code>）。</li>
</ul>
<h3>11.3 ambari-server setup 数据库连接失败</h3>
<ul>
<li>确认 MariaDB 已启动（<code>systemctl status mariadb</code>）；</li>
<li>确认库名、用户、授权主机名、密码与 setup 中填写的完全一致；</li>
<li>确认 JDBC 驱动 <code>mysql-connector-java</code> 已安装，必要时执行：<pre><code class="language-bash">ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar</code></pre>
</li>
<li>手工验证连接：<code>mysql -h master.cluster.com -uambari -pbigdata ambari</code>。</li>
</ul>
<h3>11.4 启动后 8080 端口不通</h3>
<ul>
<li>使用 <code>ambari-server status</code> 和 <code>lsof -i:8080</code>（或 <code>ss -tnlp | grep 8080</code>）检查进程与端口；</li>
<li>查看 <code>/var/log/ambari-server/ambari-server.log</code> 与 <code>ambari-server.out</code>；</li>
<li>检查是否有端口冲突，可在 <code>/etc/ambari-server/conf/ambari.properties</code> 中修改 <code>client.api.port</code>；</li>
<li>检查防火墙是否放行 8080。</li>
</ul>
<h3>11.5 Agent 心跳丢失（Heartbeat Lost）</h3>
<ul>
<li>检查 agent 节点上 <code>/etc/ambari-agent/conf/ambari-agent.ini</code> 中 <code>[server] hostname</code> 是否指向 master 的 FQDN；</li>
<li>检查各节点<strong>时间是否同步</strong>（时间偏差过大会直接导致心跳失效）；</li>
<li>检查 Agent 进程：<code>ambari-agent status</code>，必要时 <code>ambari-agent restart</code>；</li>
<li>检查 8440 / 8441 端口（Agent 与 Server 的双向 SSL 通信端口）是否连通；</li>
<li>证书问题（<code>SSLError</code>）可删除 <code>/var/lib/ambari-agent/keys/*</code> 后重启 Agent 重新生成。</li>
</ul>
<h3>11.6 服务安装 / 启动失败</h3>
<ul>
<li>点击 <strong>Failed</strong> 查看具体错误信息（stdout / stderr），错误原因通常直接可见；</li>
<li>检查对应节点日志（见 11.7）；</li>
<li>检查磁盘空间（<code>df -h</code>）和内存（<code>free -m</code>）—— 内存不足是教学环境最常见的启动失败原因；</li>
<li>HDP 安装阶段包下载慢或失败：使用本地仓库（Local Repository），确认 <code>http://10.1.1.1/hdp</code> 与 <code>http://10.1.1.1/hdp-util</code> 可访问；</li>
<li>HDFS 无法退出安全模式：<code>hdfs dfsadmin -safemode leave</code>；</li>
<li>端口被占用：<code>lsof -i:&lt;port&gt;</code> 找出并处理冲突进程；</li>
<li>修复后在界面上点击 <strong>Retry</strong> 重试失败任务。</li>
</ul>
<h3>11.7 日志位置速查</h3>
<table>
<thead>
<tr>
<th>组件</th>
<th>日志路径</th>
</tr>
</thead>
<tbody>
<tr>
<td>Ambari Server</td>
<td><code>/var/log/ambari-server/ambari-server.log</code>、<code>ambari-server.out</code></td>
</tr>
<tr>
<td>Ambari Agent</td>
<td><code>/var/log/ambari-agent/ambari-agent.log</code>、<code>ambari-agent.out</code></td>
</tr>
<tr>
<td>Agent 命令输出</td>
<td><code>/var/lib/ambari-agent/data/output-*.txt</code>、<code>errors-*.txt</code></td>
</tr>
<tr>
<td>HDFS</td>
<td><code>/var/log/hadoop/hdfs/</code></td>
</tr>
<tr>
<td>YARN</td>
<td><code>/var/log/hadoop-yarn/yarn/</code></td>
</tr>
<tr>
<td>MapReduce</td>
<td><code>/var/log/hadoop-mapreduce/mapred/</code></td>
</tr>
<tr>
<td>ZooKeeper</td>
<td><code>/var/log/zookeeper/</code></td>
</tr>
<tr>
<td>Hive</td>
<td><code>/var/log/hive/</code></td>
</tr>
<tr>
<td>HBase</td>
<td><code>/var/log/hbase/</code></td>
</tr>
</tbody>
</table>
<p>Agent 配置文件：<code>/etc/ambari-agent/conf/ambari-agent.ini</code>；Server 配置文件：<code>/etc/ambari-server/conf/ambari.properties</code>。</p>
<hr />
<h2>12. 练习</h2>
<ol>
<li>准备五台 CentOS 7.3 虚拟机，按第 3 章规划设置主机名与静态 IP，并使五台 <code>/etc/hosts</code> 完全一致，用 <code>hostname -f</code> 与 <code>ping</code> 验证。</li>
<li>在五台上完成前置环境准备：关闭 NetworkManager、关闭 firewalld/iptables/SELinux、配置 NTP、关闭 THP、修改文件描述符限制为 65536、设置 umask 0022、安装 JDK 8u112 到 <code>/usr/local/</code>。写出用于验证每一项是否生效的命令。</li>
<li>在 10.1.1.1 上用 httpd + createrepo 搭建 ambari、HDP、HDP-UTILS 三个本地离线源，并在五台节点上写好 <code>ambari.repo</code>，用 <code>yum list ambari-server</code> 验证。</li>
<li>配置五台机器两两 SSH 免密（空密码密钥 + 汇总 authorized_keys + 分发 + 首次 yes 确认），并解释为什么 Ambari Server 到所有节点的免密是必需的。</li>
<li>在 master 上安装 MariaDB，创建 <code>ambari</code> 库并授权给 <code>ambari@'master.cluster.com'</code>，密码 <code>bigdata</code>；安装 ambari-server 后导入 <code>Ambari-DDL-MySQL-CREATE.sql</code>。</li>
<li>执行 <code>ambari-server setup</code>，记录每一个交互选项你的输入及原因（重点：JDK 选 3、数据库选 3）；启动服务并用 <code>ambari-server status</code> 与 <code>lsof -i:8080</code> 验证。</li>
<li>通过 Web 向导安装集群：命名 <code>hadoop_cluster</code>，使用 Local Repository（只留 RedHat 7），注册五台主机，选择 HDFS + YARN + MapReduce2 + ZooKeeper，分配 Master/Slave 角色并完成部署。</li>
<li>安装后验证：访问 NameNode 50070 与 ResourceManager 8088 页面，执行 <code>hdfs dfsadmin -report</code>，并跑通一次 WordCount 与一次 pi 作业。</li>
<li>运维练习：在 Configs 中把 <code>dfs.replication</code> 改为 2 并保存、重启相关服务，然后利用配置版本功能回滚到上一版本。</li>
<li>排错练习：故意在一台 slave 上停掉 ambari-agent 并把系统时间调偏 10 分钟，观察 Ambari 界面出现的告警，然后定位 <code>/var/log/ambari-agent/ambari-agent.log</code> 中的报错并修复。</li>
<li>扩容练习：新增一台 slave4，完成全部前置准备后用 Add New Hosts 加入集群，分配 DataNode 与 NodeManager，并执行 <code>hdfs balancer</code> 平衡数据。</li>
<li>对比练习：结合 <code>16-02-Hadoop架构与安装部署.md</code> 中的手工部署流程，列出 Ambari 帮你自动完成了哪些步骤。</li>
</ol>
<hr />
<h2>13. 参考</h2>
<ul>
<li>Ambari 官网：<span class="external-link"><a class="no-external-link" href="https://ambari.apache.org/" target="_blank"><i data-feather="external-link"></i>https://ambari.apache.org/</a></span></li>
<li>Hortonworks 文档：<span class="external-link"><a class="no-external-link" href="https://docs.hortonworks.com/" target="_blank"><i data-feather="external-link"></i>https://docs.hortonworks.com/</a></span></li>
<li>Hadoop 官方文档：<span class="external-link"><a class="no-external-link" href="https://hadoop.apache.org/docs/" target="_blank"><i data-feather="external-link"></i>https://hadoop.apache.org/docs/</a></span></li>
</ul>