hadoop记录篇9-cm5安装zookeeper，hadoop，yarn，hive_liaomin416100569的博客-CSDN博客
hadoop记录篇9-cm5安装zookeeper，hadoop，yarn，hive
liaomin416100569
于 2018-04-24 11:58:23 发布
1691
收藏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liaomin416100569/article/details/80045833
版权
一。 CDH安装hadoop
CDH安装教程参考 （https://blog.csdn.net/liaomin416100569/article/details/80019323） 安装过程是从cdh离线安装完成尚未在cdh admin控制台 进行任何操作 （注意版本 之前文章使用 5.5.6 这里使用版本 5.7.2） 进入 首页 http://192.168.58.133:7180/ 输入admin/admin 进入后 同意协议 版本选择中选择 Cloudera Express （免费版）
接下来 列出所有cdh支持的软件包
将安装此安装程序Cloudera Express5.7.2，您可以稍后通过此安装程序选择以下服务的软件包（可能会涉及到许可证）。
Apache Hadoop（Common、HDFS、MapReduce、YARN）
Apache HBase
Apache ZooKeeper
Apache Oozie
Apache Hive
Hue（已获 Apache 许可）
Apache Flume
Cloudera Impala（许可的 Apache）
Apache Sentry
Apache Sqoop
Cloudera Search（许可的 Apache）
Apache Spark
您正在使用 Cloudera Manager 安装和配置您的系统。您可以通过单击上面的支持菜单了解更多有关 Cloudera Manager 的信息。接下来 配置过agent的被管理的主机
选择cdh版本（奇怪 我这里是5.7.2为啥是5.7.6了 我下载的parcel也是5.7.2不能白下啊 ）我的parce路径 （默认将parcel parcel.sha1 json都存放在 /opt/cloudera/parcel-repo目录下）：
[root@cdh1 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root@cdh1 parcel-repo]# ll
total 1414964
drwxr-xr-x 2 root root 4096 Apr 23 16:17 5.7.2
-rw-r--r-- 1 root root 1448796525 Apr 23 15:16 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel
-rw-r--r-- 1 root root 41 Apr 23 16:25 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha
-rw-r--r-- 1 root root 41 Apr 23 15:02 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1
-rw-r----- 1 root root 55444 Apr 23 16:26 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.torrent
-rw-r--r-- 1 root root 49962 Apr 23 16:37 manifest.json
点击更多选项按钮将后面的{latest_supported}/ 替换成当前版本 5.7.2/点击确定按钮后 看到正确的版本选择第一个点击下一步既然说 5.7.6是稳定版本 那就下载一个 5.7.6的parcel( http://archive.cloudera.com/cdh5/parcels/5.7.6) 选择5.7.6的cdh这里注意一点 （一定要将 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1 重命名为 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha）否则他会重新下载cdh包界面上1% 一直累加所有 parcel包有问题 一次性到100%正常注意parcel包 需要解压等其他操作 所有机器需要安装第三方安装库
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
如果你不安装这些命令 有可能在配置部署客户端（hdfs命令 impala-shell命令等就是客户端 （命令读取默认配置文件等））时 报错 比如
Deploy Client Configuration failed.全部 只会失败 仅限运行状态 详细信息 已完成 1 个步骤（共 1 个）。步骤上下文
开始时间持续时间操作生成并部署客户端配置。 仅完成 0/4 个步骤。首个失败：主机 node3 (id=2) 上的客户端配置 (id=7) 已使用 127 退出，而预期值为 0。错误图：
一般错误 可以查看日志文件路径：/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-agent/process/最后一个/logs 可以看到最后错误 判断是没有安装 perl 这里我也纠结半天 /opt/cloudera-manager/cm-5.7.2/lib64/cmf/service/client/deploy-cc.sh: line 115: perl: command not found
这里解压 激活 整个过程 大概持续5-20分钟左右吧 等吧 接下来
检查主机正确性 （等待就不截图了）
群集设置 选择你要安装的服务 我选择核心服务 也可以自定义接下来 进行集群的角色分配 比如hdfs中的namenode 和datanode的分配 其他组件的分配 我这里 就将datanode选全部其他默认注意下面图的Cloudera Management Service会监控所有主机状态 如果配置在cdh2上 我2G的机器 至少占到1.3G其他的服务建议都不要再安装在这台机器 否则出现问题 要么加大内容要么重开一台虚拟机吧接下来配置数据库 （hive和oozie的元数据）注意 每一台机器的 /usr/share/java 都需要有mysql的驱动类 mysql-connector-java.jar必须给hive和oozie分别参加一个账户
MariaDB [(none)]> grant all on *.* to hive identified by 'hive';
Query OK, 0 rows affected (0.10 sec)
MariaDB [(none)]> grant all on *.* to oozie identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)参加两个数据库
MariaDB [(none)]> create database hive;
Query OK, 1 row affected (0.00 sec)
MariaDB [(none)]> create database oozie;
Query OK, 1 row affected (0.00 sec)
界面指定（数据库服务器 已经创建的数据库 及用户名密码
不能使用root ）
接下来 各组件的配置 比如namenode和datanode的位置等 默认值即可
安装完成后 由于安装了太多服务 基本 我16G的笔记本处于占用 12G内存的状态 为了测试正常 我的重新分配下机器 进入集群主界面 将所有的服务都删除
界面查看一般会出现 host monitor时发生内部错误
一般是你安装的Cloudera Managerment Service 有几个参数错误 一般解决访问修改建议参数重启该服务
点击进入修改
重启服务
二 。CDH安装zookeeper
zookeeper是分布式调度和配置中心 应该先被安装
集群上 添加服务
接下来选择服务类型 选择zookeeper
接下来添加角色分配 也就是选择哪台主机 选择cdh3接下来 配置数据目录和事务日志目录 默认即可
然后等待初始化完成和启动 界面上查看启动日志 可以知道zookeeper的安装目录点击主机 所有 主机 查看cdh3 占用系统资源很少
当然我这里只是单机的zookeeper是不对的 应该安装的时候最少三台以上机器 点击主页zookeeper连接进入 查看zookeeper的图标 以及服务器（或者点击工具栏 实例）
点击命令 - 最近的命令
点击启动 可以查看所有命令的日志根据日志进入 进入zookeeper_home
[root@cdh3 init.d]# cd /opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/zookeeper进入bin目录
[root@cdh3 zookeeper]# cd bin
[root@cdh3 bin]# ll
total 28
-rwxr-xr-x 1 root root 1909 Feb 21 2017 zkCleanup.sh
-rwxr-xr-x 1 root root 1512 Feb 21 2017 zkCli.sh
-rwxr-xr-x 1 root root 2599 Feb 21 2017 zkEnv.sh
-rwxr-xr-x 1 root root 4559 Feb 21 2017 zkServer-initialize.sh
-rwxr-xr-x 1 root root 6246 Feb 21 2017 zkServer.sh
使用zkCli.sh执行创建节点查看节点等命令
[zk: localhost:2181(CONNECTED) 0] create /a hello
Created /a
[zk: localhost:2181(CONNECTED) 1] get /a
hello
cZxid = 0x55
ctime = Mon Apr 23 19:24:51 PDT 2018
mZxid = 0x55
mtime = Mon Apr 23 19:24:51 PDT 2018
pZxid = 0x55
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
[zk: localhost:2181(CONNECTED) 2]正常 。。。。。。。。
二 。CDH安装hadoop
1》安装 hdfs
namenode cdh3
secondnamenode cdh4
datanode chd3 cdh4
安装过程选择 参考zookeeper 安装完成过程
查看创建日志
可知 hdfs安装目录
/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hadoop-hdfs
查看hdfs（用户是hdfs）
[root@cdh3 bin]# hdfs dfs -ls /
Found 1 items
drwxrwxrwt - hdfs supergroup 0 2018-04-23 19:39 /tmp执行hdfs创建目录 root没有权限所有者是hdfs
[root@cdh3 ~]# hdfs dfs -mkdir /test
mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x点击hdfs 进入配置搜索权限 将
检查 HDFS 权限
dfs.permissions
勾选掉
如果需要重新安装hdfs记住清空 数据一些目录
[root@cdh3 ~]# rm -rf /tmp
[root@cdh3 ~]# rm -rf /dfs/dn
[root@cdh3 ~]# rm -rf /dfs/nn
[root@cdh3 ~]# rm -rf /dfs/snn如果重新创建 失败 添加服务的时候 修改这三个目录的位置
如果需要做hdfs高可用 点击进入hdfs 右侧 设置高可用
进入设置 JournalNode 主机 以及其他设置即可（具体原理参考https://blog.csdn.net/liaomin416100569/article/details/78301242）
进入cdh4 使用命令进入测试
[root@cdh4 soft]# echo aa>a.txt
[root@cdh4 soft]# hdfs dfs -mkdir /test
[root@cdh4 soft]# hdfs dfs -put a.txt /test
[root@cdh4 soft]# hdfs dfs -text a.txt
text: `a.txt': No such file or directory
[root@cdh4 soft]# hdfs dfs -text /test/a.txt
aa
2》安装 yarn
同hdfs 添加yarn服务 选择yarn安装机器 cdh4 设置nodemanager目录
可以点击yarn进入网页 查看mapreduce的ui页面（ResourceManager web UI）
使用java开发时 需要hadoop相关配置 点击右侧菜单 下载客户端配置
三 。CDH安装hive
同上添加服务 设置cdh3中 添加Hive Metastore Server和HiveServer2，配置hive在hdfs的目录Gateway选择 cdh2-cdh4表示这几台机器也可以使用hive命令操作
安装完成界面 同hdfs 不演示了 在linuxshell使用hive命令 操作参考https://blog.csdn.net/liaomin416100569/article/details/78395266
liaomin416100569
关注
关注
点赞
收藏
打赏
评论
hadoop记录篇9-cm5安装zookeeper，hadoop，yarn，hive
一。 CDH安装hadoop CDH安装教程参考 （https://blog.csdn.net/liaomin416100569/article/details/80019323） 安装过程是从cdh离线安装完成尚未在cdh admin控制台 进行任何操作 （注意版本 之前文章使用 5.5.6 这里使用版本 5.7.2） 进入 首页 http://192.168.58.133:718...
复制链接
扫一扫
cdh安装出现perl: command not found
SDKLHKJAS的博客
03-24
683
安装的过程中出现错误：/opt/cm-5.11.0/lib64/cmf/service/client/deploy-cc.sh: line 115: perl: command not found
是因为perl没有安装：yum install -y perl，安装完后，重试即可；
...
【Redis运维篇】同一台机器上启动多个Redis实例
matrixZCL的博客
10-14
1686
启动多个Redis实例
如果不了解redis的基本配置，可以参考这篇文章Redis的基本配置
首先拷贝并修改redis配置文件
找到redis.conf所在目录，可通过find命令查找
find / -name redis.conf
进入该目录并拷贝一份redis.conf，并编辑
cp redis.conf redis2.conf
vim redis2.conf
端口port，不要跟其他端口冲突，这里我改成6380
进程文件pidfile，redis启动时会自动分配进程号并写入文件，以下配置为了指定
参与评论
您还未登录，请先
登录
后发表或查看评论
Cloudera Manager 5 和 CDH5.7.0 本地（离线）安装
热门推荐
河南骏的博客
07-04
1万+
问题导读：
1.什么是CDH？
2.搭建CDH集群 需要的基本环境是什么？
3.如何对集群进行基本的配置？
4.怎样进行Cloudera Manager安装？
5.怎样进行CDH服务安装？
解决方案：
一、简介
CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分，分别为Cloudera M
CDH离线安装
yedongsheng8238045的博客
07-03
197
cloudera manager和CDH安装(离线安装)
一：所需组件的下载
1：选择适合操作系统的cloudera manager和CDH连接：
首先需要查看自己linux的版本比如：
根据自己系统的版本选择适合自己系统的cloudera manager和parcel：下边连接为官网版本之间对照要求：
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.ht.
完整CDH搭建，适用于Docker下安装CDH
dgqg1223
05-19
839
1.1 环境说明
CentOS 6.9
JDK 1.8
CDH 5.14.0
Cloudera Manager 5.14.0
MySql 5.1.73
JDBC mysql-connector-java-5.1.32-bin.jar
1.2 CDH相关下载
cloudera 官网地址
cloudera manager 离线安装的tar包下载地址
cloudera-manager-installer.bin下载地址
CDH下载地址
1.3 虚拟机节点
CDH Server ：cdh-server
CDH
CentOS 7 安装 CDH 5.12.1
wzhwangzhuohui的博客
06-25
6798
准备4台机器，内存，磁盘尽量给足node1(master) 192.168.231.128 内存16G,磁盘50Gnode2 192.168.231.129 内存3G,磁盘50Gnode3 192.168.231.13...
CDH仅完成 0/3 个步骤。首个失败：主机 node6 (id=2) 上的客户端配置 (id=1) 已使用 1 退出，而预期值为 0。
Hello stupid的博客
08-09
2420
CDH仅完成 0/3 个步骤。首个失败：主机 node6 (id=2) 上的客户端配置 (id=1) 已使用 1 退出，而预期值为 0
javaHome出现了问题
AVA_HOME并不是根据环境变量来获取，而是在它列举的几个目录下寻找，
创建软连接
ln -s /usr/java/jdk /usr/java/default
所有节点都需要这样做一下即可解决问题
...
Cloudera Manager 5.9 和 CDH 5.9 离线安装指南及个人采坑填坑记
weixin_30369087的博客
01-12
310
公司的CDH早就装好了，一直想自己装一个玩玩，最近组了台电脑，笔记本就淘汰下来了，加上之前的，一共3台，就在X宝上买了CPU和内存升级了下笔记本，就自己组了个集群。
话说，好想去捡垃圾，捡台8核16线程64G内存的回来，手动滑稽。
3台笔记本的配置和角色分配：
宿主CPU 宿主内存 虚拟机 虚拟机CPU/台 角色及内存
双核双线程 4G 1台 双核双线...
CDH spark 部署客户端报错-生成客户端配置报错deploy client configuration fail
u013168566的博客
12-07
4701
CDH spark 部署客户端报错-生成客户端配置报错deploy client configuration fail
遇到这样的问题其实非常多，每次spark的客户端配置总不能成功部署，总是仅完成3/4 个步骤，首个失败，上的客户端配置 (id=3) 已使用 1 退出,而预期值为 0
在网上找了很久，看见有大神是这样做的。
1.首先我们需要找到此处日志目录，并不是/opt/cm-5.5.0/l...
[转]云计算之hadoop、hive、hue、oozie、sqoop、hbase、zookeeper环境搭建及配置文件
weixin_34082177的博客
04-21
79
云计算之hadoop、hive、hue、oozie、sqoop、hbase、zookeeper环境搭建及配置文件已经托管到githubhttps://github.com/sxyx2008/cloud
附录：
1、Hadoop源码下载http://svn.apache.org/repos/asf/hadoop/common/tags/
2、Hadoop jar下载
https:/...
cloudera manager报错“客户端配置 (id=2) 已使用 1 退出,而预期值为 0
易水寒
06-22
6580
在cloudera manager部署客户端配置的这个步骤中，总是报错：客户端配置 (id=2) 已使用1退出，而预期值为 0。
1.首先我们需要找到此处日志目录，并不是/opt/cm-5.5.0/log。针对使用tar.gz包进行离线安装的目录，日志应该在：/opt/cm-5.5.0/run/cloudera-scm-agent/process/ccdeploy_spark-conf_et
CDH的坑之Deploy Client Configuration Failed
weixin_34163553的博客
10-17
2383
2019独角兽企业重金招聘Python工程师标准>>>
...
安装Cloudera Manager集群时首次运行命令部署客户端设置失败的解决办法（图文详解）...
weixin_34224941的博客
12-02
561
不多说，直接上干货！
问题详情
解决办法
（1） 时间同步检查下（尤其是这个）
（2） 防火墙是否关闭
（3） cloudera-scm-server 和 cloudera-scm-agent 是否启动
...
CENTOS7安装 CDH5
vitaair的博客
04-13
1622
环境：三台centos7master：IP：192.168.210.6slave1：IP：192.168.210.7slave2：IP：192.168.210.8相关软件包：JKD：1.8 下载地址Oracle官网：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlCloude...
Hadoop集群的搭建(hdfs,yarn,zookeeper,hive,hbase,kylin,kafka,flume等)
哈尔科夫坦克厂的播客
04-08
1054
(hdfs,yarn,zookeeper,hive,hbase,kylin,kafka,flume等)zookeeper集群搭建链接zookeeper集群搭建链接: 点击打开链接
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：书香水墨
设计师：CSDN官方博客
返回首页
liaomin416100569
CSDN认证博客专家
CSDN认证企业博客
码龄15年
暂无认证
630
原创
1万+
周排名
459
总排名
197万+
访问
等级
2万+
积分
624
粉丝
374
获赞
167
评论
1066
收藏
私信
关注
热门文章
当oracle出现 格式与字符串格式不匹配解决办法
77629
ETL工具-Kettle Spoon教程
71928
centos7切换图像界面和dos界面
60614
oracle job的创建和删除
46131
org.springframework.dao.DataAccessResourceFailureException Io 异常: tConnection reset
34924
分类专栏
php
1篇
前端
6篇
网络
1篇
大数据
4篇
管理
1篇
go
2篇
servlet教程
activeMQ
4篇
ant
4篇
apache abdera
1篇
axis
2篇
C#
6篇
C++
35篇
css
7篇
CXF
5篇
dwr
1篇
eclipse插件开发
18篇
extjs
3篇
Freemarker
ftp
2篇
hibernate
10篇
ibatis
6篇
installshield
5篇
JasperReport
6篇
javamail
4篇
javascript
32篇
javaweb
5篇
java基础
71篇
java数据结构
16篇
jboss
3篇
jdbc
6篇
jndi
3篇
jquery
8篇
Json
4篇
jxl
1篇
LDAP
2篇
linux
57篇
lucene+quartz
17篇
memcached
1篇
mysql
14篇
ORACLE
71篇
OSGI
2篇
PowerDesigner
rmi
2篇
RPC
2篇
Spring
24篇
struts
5篇
svn架设
5篇
UML
2篇
vbscript
11篇
webservice
2篇
web服务器
7篇
XML
3篇
免费空间
1篇
其他
32篇
分布式应用
62篇
多线程
13篇
安全性
19篇
技巧性文章
3篇
数字证书
8篇
数据库
90篇
数据库系统原理
1篇
服务器
5篇
标签
1篇
模式
3篇
正则表达式
3篇
项目管理
11篇
武术
硬件和系统
7篇
软件工程
1篇
photoshop技巧
2篇
汇编
27篇
cjdbc
3篇
游戏
5篇
驱动
测试
5篇
office
2篇
sap
2篇
系统学ORACLE
19篇
hadoop
5篇
系统学驱动开发
1篇
android
10篇
redis
1篇
zookeeper
3篇
maven
5篇
python
4篇
机器学习
5篇
容器
10篇
最新评论
K8S二次开发03-CRD资源详解
lpb_abo:
好文章， 点赞
开源日志框架（cherry-tool-log）【记录应用日志控件】同步到sonatype中央仓库
嗝屁小孩纸:
谢谢楼主，楼主用心了
K8S二次开发04-自定义operator（operator-sdk调试）
arlen_chen:
没看懂安装cygwin64的gcc make这些工具干嘛，后面也没看到用
K8S二次开发04-自定义operator（operator-sdk调试）
arlen_chen:
没看懂安装cygwin64的gcc make这些工具干嘛，后面也没看到用
ETL工具-Kettle Spoon教程
weixin_43320937:
情况：
A 数源 mysql5.6
B 采集表 mysql5.7
jdk1.8
mysql-connector-java-5.1.41
Pentaho v7.0
在使用kettle从A采集到B时，表输入视图预览数据量300万+，运行过程中，表输入在采集到200万时，显示激活状态为：已完成，无报错信息，在“记录数量限制”中未设数量限制，值为“0”
尝试过替换kettle版本，使用6.1版本，一样限制在了200万。
希望解决采集数量上限问题，求解决方法
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
linux下gcc编程12-window下clion编译调试redis7.0
web渗透安全测试(靶场搭建及常见漏洞攻防)
Proxmox虚拟环境搭建
2022年15篇
2021年4篇
2020年7篇
2019年25篇
2018年49篇
2017年79篇
2016年25篇
2015年47篇
2014年24篇
2013年29篇
2012年67篇
2011年86篇
2010年255篇
2009年59篇
目录
目录
分类专栏
php
1篇
前端
6篇
网络
1篇
大数据
4篇
管理
1篇
go
2篇
servlet教程
activeMQ
4篇
ant
4篇
apache abdera
1篇
axis
2篇
C#
6篇
C++
35篇
css
7篇
CXF
5篇
dwr
1篇
eclipse插件开发
18篇
extjs
3篇
Freemarker
ftp
2篇
hibernate
10篇
ibatis
6篇
installshield
5篇
JasperReport
6篇
javamail
4篇
javascript
32篇
javaweb
5篇
java基础
71篇
java数据结构
16篇
jboss
3篇
jdbc
6篇
jndi
3篇
jquery
8篇
Json
4篇
jxl
1篇
LDAP
2篇
linux
57篇
lucene+quartz
17篇
memcached
1篇
mysql
14篇
ORACLE
71篇
OSGI
2篇
PowerDesigner
rmi
2篇
RPC
2篇
Spring
24篇
struts
5篇
svn架设
5篇
UML
2篇
vbscript
11篇
webservice
2篇
web服务器
7篇
XML
3篇
免费空间
1篇
其他
32篇
分布式应用
62篇
多线程
13篇
安全性
19篇
技巧性文章
3篇
数字证书
8篇
数据库
90篇
数据库系统原理
1篇
服务器
5篇
标签
1篇
模式
3篇
正则表达式
3篇
项目管理
11篇
武术
硬件和系统
7篇
软件工程
1篇
photoshop技巧
2篇
汇编
27篇
cjdbc
3篇
游戏
5篇
驱动
测试
5篇
office
2篇
sap
2篇
系统学ORACLE
19篇
hadoop
5篇
系统学驱动开发
1篇
android
10篇
redis
1篇
zookeeper
3篇
maven
5篇
python
4篇
机器学习
5篇
容器
10篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
liaomin416100569
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值