linux基础环境搭建

虚拟机带不动，租了个云服务器。配置：Centos7.6，2核4G

参考我的blog 【Centos7下的基本环境安装记录】

Code

修改HostName
设置ssh本机免密
安装JDK
关闭防火墙
关闭SELINUX  
安装MySQL

修改host

shell

1 2	172.16.0.4 hadoop103 #其他的不能留，不然后面会报错

CM安装

下载第三方依赖

shell

1	sudo yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

解压cloudera-manager

注：以下所有操作均使用root用户

shell

tar -zxf /mnt/hgfs/Linux_Pack/cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C /opt

# 离线安装
cp CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/
cp CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/
cp manifest.json /opt/cloudera/parcel-repo/

cd /opt/cloudera/parcel-repo/
mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha

创建用户cloudera-scm

shell

1
2
3

# 如果是集群，要给所有节点都
useradd --system --home=/opt/cm-5.16.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
chown -R cloudera-scm:cloudera-scm c*

配置CM Agent

shell

1
2
3

vi /opt/cm-5.16.1/etc/cloudera-scm-agent/config.ini

server_host=hadoop102

创建CM用的数据库

Code

create database cm_amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database cm_hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database cm_oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database cm_hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

配置CM的数据库

shell

# 以后所有找驱动的程序都会直接找这
mkdir /usr/share/java/
cp mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

cd /opt/cm-5.16.1/share/cmf/schema
# ./scm_prepare_database.sh mysql -h127.0.0.1 -uroot -p'123456' --scm-host hadoop101 cm root 123456
./scm_prepare_database.sh mysql cm root 123456	# 数据库，MySQL用户，密码

# mysql里有了一个cm了

启动和关闭CM Server&Agent 服务

shell

yum -y install psmisc
./cm-5.16.1/etc/init.d/cloudera-scm-server start
./cm-5.16.1/etc/init.d/cloudera-scm-agent start

# cloudera-scm-server 已死，但 pid 文件存在
rm -rf cm-5.16.1/run/cloudera-scm-server.pid

netstat -lntp
# 出现7180就成功
访问 haoop102:7180
admin/ admin

为cdh集群指定主机 > 当前管理的主机 > 全部钩上 > 继续

选CDH-5.16.1-1.cdh5.16.1.p0.3(这是已经下载过的离线包)
等着...
选择含 Impala 的内核

自定义角色分配
分配一下各个主机的任务（一键搭集群...）

数据库设置
如果是集群还有Active Monitor

然后自动安装集群，等着

集群状况监控

安好后发现好多全是红的
真实集群水平：64G\128G

本云服务器：2核4G

可以看到内存完全不够

策略：

虚拟机的话至少12G
集群角色分配均匀

集群使用

各种常用操作

BUG调试

测试hue报错了

shell

# -------------测试hue报错了-------------------------------
# 查看server日志：
django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module: libmysqlclient.so.18: cannot open shared object file: No such file or directory
# 找一下。发现什么都没找到
find / -name libmysqlclient.so.18
# 装mysql前先彻底卸载过，这个时候可能把该文件删掉了
# 重新下一个libmysqlclient.so.18
wget https://downloads.mysql.com/archives/get/file/mysql-community-libs-compat-5.7.22-1.el7.x86_64.rpm
# 解压rpm
rpm2cpio mysql-community-libs-compat-5.7.22-1.el7.x86_64.rpm | cpio -div
# 取出libmysqlclient.so.18放在/usr/lib64/mysql/下
cp usr/lib64/mysql/libmysqlclient* /usr/lib64/mysql/
# 然后再放在/usr/lib64/下边

# 再测试页面：成功
# ---------------------------------------------

虚拟机配置太小跑不起来

…

虚拟机配置：cpu 2核、内存 5.5G

放弃…

使用云服务器

Code

1
2
3

学生服务器：https://cloud.baidu.com/campaign/campus-2018/index.html?track=cp:nsem|pf:pc|pp:nsem-huodong-qihangxiaoyuan|pu:qihangxiaoyuan-jingpinci|ci:qhxuesheng|kw:2111931

https://cloud.baidu.com/campaign/campus-2018/index.html?track=cp:nsem|pf:pc|pp:nsem-huodong-qihangxiaoyuan|pu:qihangxiaoyuan-jingpinci|ci:qhxuesheng|kw:2111931

安装python2.6

shell

# 安装python2.6
https://www.cnblogs.com/MWCloud/p/11354591.html
# 修改默认python版本
https://www.cnblogs.com/kjsd/p/9016044.html

IP配置有问题

shell

ERROR ScmActive-0:com.cloudera.server.cmf.components.ScmActive: ScmActive: Unable to retrieve non-local non-loopback IP address. Seeing address: hadoop103/127.0.0.1. 

# 修改前
127.0.0.1   hadoop103
::1         hadoop103
172.16.0.4  instance-tlxt6vjp instance-tlxt6vjp.novalocal

# 修改后
172.16.0.4  hadoop103