Ambari-Hadoop Web UI

Ambari简述

apache\CM\Ambari

Ambari和CM地位差不多，重点在集群管理，一键安装集群和启动。

hue的重点在使用界面操作大数据框架。

什么是Ambari

Apache Ambari项目旨在通过开发用于配置，管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观，易用的Hadoop管理Web UI。

Ambari的功能

提供了跨任意数量的主机安装Hadoop服务的分步向导。

处理群集的Hadoop服务配置。

提供集中管理，用于在整个集群中启动，停止和重新配置Hadoop服务。

提供了一个仪表板，用于监控Hadoop集群的运行状况和状态。

利用Ambari指标系统进行指标收集。

利用Ambari Alert Framework进行系统警报，并在需要您注意时通知您（例如，节点出现故障，剩余磁盘空间不足等）。

环境准备

虚拟机准备

克隆三台虚拟机（hadoop102、hadoop103、hadoop104），配置好对应主机的网络IP、主机名称、关闭防火墙。

关闭SELINUX

安装JDK

SSH免密登录

修改yum源为阿里云镜像

安装ntp

为了同步集群时间

关闭Linux的THP服务

如果不关闭transparent_hugepage，HDFS会因为这个性能严重受影响。

配置UMASK

设定用户所创建目录的初始权限

Code

umask 0022

禁止离线更新

Code

vim /etc/yum/pluginconf.d/refresh-packagekit.conf
修改：enabled=0

重启

安装Ambari集群

注意：以下操作主节点操作即可

制作本地源

制作本地源是因为在线安装Ambari太慢。制作本地源只需在主节点上进行。

配置HTTPD 服务

配置HTTPD 服务到系统层使其随系统自动启动

安装工具

安装本地源制作相关工具

将下载的3个tar包解压

创建本地源

修改配置文件，配置为本地源

…

查看Ambari 与 HDP 资源的资源库。

也可以打开浏览器查看一下：

http://hadoop102/ambari/centos6/

http://hadoop102/hdp/HDP/centos6/

http://hadoop102/hdp/

安装MySQL

安装Ambari

1）安装ambari-server

Code

yum install ambari-server
# 很快，因为使用的是本地源

2） 拷贝mysql驱动

在MySQL中创建数据库

1）创建ambari库

2）使用Ambari自带脚本创建表

3）赋予用户root权限：

4）刷新

配置Ambari

启动Ambari

Code

启动命令为：
ambari-server start
停止命令为：
ambari-server stop

HDP集群部署

集群搭建

和cm差不多

安装Hive

配置HDFS-HA