本文共 2890 字，大约阅读时间需要 9 分钟。

CM+CDH6.3.2环境搭建详细指南

一 环境准备

哎，准备环境搭建CM+CDH6.3.2之前，先想想自己的服务器资源是否够用。如果实在不够，再去找一家靠谱的云服务(SYS反正资源不够，看看能不能分配清楚。

1.1 三台虚拟机准备

• Master节点: 配备32GB内存、100GB硬盘、4个CPU，每个CPU2核
• Slave节点: 每台配备12GB内存、100GB硬盘、4个CPU，每个CPU1核

关注防火墙，防火墙的设置必须做好，记得在云服务里开启对应端口哦。

1.2 机器调配

• hostname: 一定要改一下，记得在每台机器上用 membrance修改hostname，还要配hosts文件。
• 时间同步: tick这个时间同步，不能出错，重要。

别急，最后记得做快照，这样一旦出问题，恢复起来轻松一些。

1.3 环境优化

需要在主节点执行

yum 源库优化

不怕慢，导入一些常用包：

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb postgresql* portmap mod_ssl openssl openssl-devel python-psycopg2 MySQL-python python-devel telnet pcre-devel gcc gcc-c++

然后配置本地yum：

先召唤httpd：

yum -y install httpdsystemctl status httpd.serviceservice httpd startchkconfig httpd on

接着安装 yum-utils：

yum -y install yum-utils createrepocd /var/www/html/mkdir cm

把下载好的资源放进cm文件夹里，然后用 createrepo 创建 repo 数据库。

创建本地 repo 文件，记得修改IP地址：

vim /etc/yum.repos.d/cloudera-manager.repo

更新源数据：

yum clean allyum makecache

然后把 repo 文件分发给从节点。

1.4 安装JDK

每台机器上都要装上 JDK。用rpm来看看还有什么需要删除的：

rpm -qa | grep javarpm -e --nodeps xxx

然后装上指定的版本：

rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

最后更新 PATH 和 JAVA_HOME：

vim /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_181-clouderaexport PATH=$JAVA_HOME/bin:$PATH

刷新配置：

source /etc/profile

检查 javac 是否正常运行。

安装MySQL

为了给CM里用的 MySQL，最好装在主节点上。先准备好 MySQL 的 JAR 包：

scp mysql-connector-java-5.1.47.jar /usr/share/java/mv mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar

然后装上 MySQL：

gunzip mysql-5.7.11-linux-glibc2.5-x86_64.tar.gztar -xsudo chown -R mysql: mysql /usr/local/mysql

还要安装一些依赖：

yum -y install perl perl-devel

修改 my.cnf 文件，注意 配置 utf8mb4 编码，还有 replication 参数。

启动 MySQL 服务：

chkconfig --level 345 mysql onservice mysql start

初始化数据库：

mysqld --initialize --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

登录进去设置密码，记得给root账号改密码。

CM+CDH 安装

下载CM和CDH镜像包

下载地址是类似这个样子的：CM镜像下载地址

通过Yum安装

主节点安装相关服务

yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

从节点安装

yum -y install cloudera-manager-daemons cloudera-manager-agent

记得查看防火墙设置，没问题再关闭防火墙。

安装CM

上传 cloudera-manager-installer.bin 到主节点，赋予权限：

mkdir /usr/softwarechmod +x cloudera-manager-installer.bin

然后执行安装脚本：

cd /usr/software./cloudera-manager-installer.bin

记得重启服务，再用 scm_prepare_database.sh 做数据库准备。

安装CDH

下载镜像包，上传到 /opt/cloudera/parcel-repo/。

校验镜像完整性，双重确认没问题后运行安装脚本：

cd /usr/software./cloudera-manager-installer.bin

重启服务检查是否正常运行。

常见问题处理

1. swappiness 调整

加个 sysctl :

echo 'vm.swappiness=10' >> /etc/sysctl.conf drummer -w

2. Kafka性能调优

修改启动时enchance参数：

echo never > /sys/kernel/mm/transparent_hugepage/defragecho never > /sys/kernel/mm/transparent_hugepage/enabled

3. NameNode缓存大小

建议 NameNode 堆大小按 CPU 核数乘以 2，拿 YARN 来分配。

终于，CDH 安装完成！

最终，你可以登录主节点的7180 端口，账号是 admin‌رسitated两个密码是 admin。

记得给各个组件分配足够的资源，比如 checkpoint保留时间不超过1个小时，避免磁盘溢出。

如果有问题，记得先清理日志再慢慢排查。

journalctl -u cloudera-scm-server.log

转载地址：http://iplmz.baihongyu.com/