【大数据----Ambari】大数据平台的搭建利器_Sunny3096的博客-CSDN博客


本站和网页 https://blog.csdn.net/ningjiebing/article/details/90600652 的作者无关,不对其内容负责。快照谨为网络故障时之索引,不代表被搜索网站的即时页面。

【大数据----Ambari】大数据平台的搭建利器_Sunny3096的博客-CSDN博客
【大数据----Ambari】大数据平台的搭建利器
Sunny3096
于 2019-06-06 08:16:40 发布
23920
收藏
65
分类专栏:
大数据-Ambari
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/ningjiebing/article/details/90600652
版权
大数据-Ambari
专栏收录该内容
1 篇文章
0 订阅
订阅专栏
Ambari 是什么
Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。目前最新的发布版本是 2.0.1,未来不久将发布 2.1 版本。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。
说到这里,大家就应该明白什么人最需要 Ambari 了。那些苦苦花费好几天去安装、调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的。而且,Ambari 现在所支持的平台组件也越来越多,例如流行的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进行部署。
Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护。详细的操作和介绍会在后续章节介绍。
Ambari 的安装
安装准备
关于 Ambari 的安装,目前网上能找到两个发行版,一个是 Apache 的 Ambari,另一个是 Hortonworks 的,两者区别不大。这里就以 Apache 的 Ambari 2.0.1 作为示例。本文使用三台 Redhat 6.6 作为安装环境(目前测试验证结果为 Ambari 在 Redhat 6.6 的版本上运行比较稳定),三台机器分别为 zwshen37.example.com、zwshen38.example.com、zwshen39.example.com。zwshen37 计划安装为 Ambari 的 Server,另外两台为 Ambari Agent。
安装 Ambari 最方便的方式就是使用公共的库源(public repository)。有兴趣的朋友可以自己研究一下搭建一个本地库(local repository)进行安装。这个不是重点,所以不在此赘述。在进行具体的安装之前,需要做几个准备工作。
SSH 的无密码登录; Ambari 的 Server 会 SSH 到 Agent 的机器,拷贝并执行一些命令。因此我们需要配置 Ambari Server 到 Agent 的 SSH 无密码登录。在这个例子里,zwshen37 可以 SSH 无密码登录 zwshen38 和 zwshen39。确保 Yum 可以正常工作; 通过公共库(public repository),安装 Hadoop 这些软件,背后其实就是应用 Yum 在安装公共库里面的 rpm 包。所以这里需要您的机器都能访问 Internet。确保 home 目录的写权限。 Ambari 会创建一些 OS 用户。确保机器的 Python 版本大于或等于 2.6.(Redhat6.6,默认就是 2.6 的)。
以上的准备工作完成后,便可以真正的开始安装 Ambari 了。
安装过程
首先需要获取 Ambari 的公共库文件(public repository)。登录到 Linux 主机并执行下面的命令(也可以自己手工下载):
wget <a href="http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo"><code>http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo</code></a>
将下载的 ambari.repo 文件拷贝到 Linux 的系统目录/etc/yum.repos.d/。拷贝完后,我们需要获取该公共库的所有的源文件列表。依次执行以下命令。
yum clean all
yum list|grep ambari
如图 1 所示:
图 1. 获取公共库源文件列表
如果可以看到 Ambari 的对应版本的安装包列表,说明公共库已配置成功。然后就可以安装 Ambari 的 package 了。执行下面的命令安装 Ambari Server 到该机器。
yum install ambari-server
待安装完成后,便需要对 Ambari Server 做一个简单的配置。执行下面的命令。
amari-server setup
在这个交互式的设置中,采用默认配置即可。Ambari 会使用 Postgres 数据库,默认会安装并使用 Oracle 的 JDK。默认设置了 Ambari GUI 的登录用户为 admin/admin。并且指定 Ambari Server 的运行用户为 root。
简单的 setup 配置完成后。就可以启动 Ambari 了。运行下面的命令。
ambari-server start
当成功启动 Ambari Server 之后,便可以从浏览器登录,默认的端口为 8080。以本文环境为例,在浏览器的地址栏输入 http://zwshen37.example.com:8080,登录密码为 admin/admin。登入 Ambari 之后的页面如下图。
图 2. Ambari 的 welcome 页面
点击查看大图
至此,Ambari Server 就安装完成了。
部署一个 Hadoop2.x 集群
到这一节,我们将可以真正地体验到 Ambari 的用武之地,以及它所能带来的方便之处。
登录 Ambari 之后,点击按钮“Launch Install Wizard”,就可以开始创建属于自己的大数据平台。
第一步,命名集群的名字。本环境为 bigdata。
第二步,选择一个 Stack,这个 Stack 相当于一个 Hadoop 生态圈软件的集合。Stack 的版本越高,里面的软件版本也就越高。这里我们选择 HDP2.2,里面的对应的 Hadoop 版本为 2.6.x。
第三步,指定 Agent 机器(如果配置了域,必须包含完整域名,例如本文环境的域为 example.com),这些机器会被安装 Hadoop 等软件包。还记得在安装章节中提到的 SSH 无密码登陆吗,这里需要指定当时在 Ambari Server 机器生成的私钥(ssh-keygen 生成的,公钥已经拷贝到 Ambari Agent 的机器,具体的 SSH 无密码登录配置,可以在网上很容易找到配置方法,不在此赘述)。另外不要选择“Performmanual registration on hosts and do not use SSH“。因为我们需要 Ambari Server 自动去安装 Ambari Agent。具体参见下图示例。
图 3. 安装配置页面
点击查看大图
第四步,Ambari Server 会自动安装 Ambari Agent 到刚才指定的机器列表。安装完成后,Agent 会向 Ambari Server 注册。成功注册后,就可以继续 Next 到下一步。
第五步,这里我们终于看到跟 Hadoop 有关的名词了。在这一步,我们需要选择要安装的软件名称。本文环境选择了 HDFS,YARN + MapReduce2,Zoopkeeper,Storm 以及 Spark。选的越多,就会需要越多的机器内存。选择之后就可以继续下一步了。这里需要注意某些 Service 是有依赖关系的。如果您选了一个需要依赖其他 Service 的一个 Service,Ambari 会提醒安装对应依赖的 Service。参见下图。
图 4. Service 选择页面
点击查看大图
第六步和第七步,分别是选择安装软件所指定的 Master 机器和 Slave 机器,以及 Client 机器。这里使用默认选择即可(真正在生产环境中,需要根据具体的机器配置选择)。
第八步,就是 Service 的配置。绝大部分配置已经有默认值,不需要修改。初学者,如果不需要进行调优是可以直接使用默认配置的。有些 Service 会有一些必须的手工配置项,则必须手动输入,才可以下一步。本文环境直接使用默认配置。
第九步,Ambari 会总结一个安装列表,供用户审阅。这里没问题,就直接下一步。
第十步,Ambari 会开始安装选择的 Service 到 Ambari Agent 的机器(如下图)。这里可能需要等好一会,因为都是在线安装。安装完成之后,Ambari 就会启动这些 Service。
图 5. Service 的安装进度
点击查看大图
安装完成之后,就可以查看 Ambari 的 Dashboard 了。例如下图。
图 6. Ambari 的 Dashboard 页面
点击查看大图
至此,您专属的 bigdata 集群已经安装完成。
利用 Ambari 管理 Hadoop 集群
在上一章节中,我们已经体验到 Ambari 为 Hadoop 生态圈的安装提供的便利。这已经省去了很多的人力成本。尤其是对大数据圈子的测试人员来说,自动化就容易了很多。下面我们看看如何通过 Ambari 管理 Hadoop 的集群。
Service Level Action(服务级别的操作)
首先我们进到 Ambari 的 GUI 页面,并查看 Dashboard。在左侧的 Service 列表中,我们可以点击任何一个您想要操作的 Service。以 MapReduce2 为例(Hadoop 这里的版本为 2.6.x,也就是 YARN+HDFS+MapReduce),当点击 MapReduce2 后,就会看到该 Service 的相关信息,如下图。
图 7. MapRduce2 的 Service 页面
点击查看大图
中间部分是 Service 的模块(Component)信息,也就是该 Service 有哪些模块及其数目。右上角有个 Service Action 的按钮,当点击该按钮后就可以看到很多 Service 的控制命令。也就是通过这些 Service Action 命令,对 Service 进行管理的。
可能有的人会说,装完 Hadoop 的集群后,并不知道这个集群是不是可用。这时候我们就可以运行一个“Run Service Check”。点击这个命令后,就会出现下图的进度显示。
图 8. MapReduce Service Check
点击查看大图
其实这里就是通过运行一个经典的 MapReduce Wordcount 实例,来检查 MapReduce 是不是正常。对于 Service Action 里面的 Start、Stop 的含义就是,启停整个集群所有该 Service 的模块(也就是 Service level)。当执行进度页面弹出来的时候,我们可以点击 Operations 的名字,进而查看每个机器的进度和运行 log。如下图 Stop 的操作。
图 9. 命令执行进度 1
点击查看大图
图 10. 命令执行进度 2
点击查看大图
维护模式(Maintenance Mode)以及如何添加一个自定义的命令到 Service Action,我会在后续的连载中进行介绍。
Host Level Action(机器级别的操作)
首先,我们回到 Ambari 的 Dashboard 页面。页面最上面中间的地方有个 Hosts,点击这个标签,我们就可以看到 Ambari 所管理的机器列表。如下图。
图 11. Ambari 的机器列表
点击查看大图
图片中红色的数字是警告信息(Ambari Alert),这里我们先略过它,后续文章再做介绍。先看左上角的 Actions,点击这个按钮,就可以看到 Host level Action 的选项了,其实和 Service Level 是类似的,只是执行的范围不一样。如下图。当用户选择 All Hosts -> Hosts -> Start All Components,Ambari 就会将所有 Service 的所有模块启动。
图 12. 启动所有 Service 的所有模块
如果用户选择 All Hosts-> DataNodes -> Stop,Ambari 就会把所有机器的 DataNode 这个模块关闭。如下图。
图 13. 关闭所有的 DataNode 模块
Component Level Action(模块级别的操作)
上面的图中,我们可以看到 Decommisson、Recommission。这些命令其实是自定义的模块级别的操作(Component Level Action)。不过上图中命令一旦执行,就是对多个机器的同个模块执行。
我们现在尝试只对单个机器的一个模块(Component)执行。首先我们回到 Hosts 的页面。这时候点击机器名,我们就会进入到该机器的 Component 页面。如下图。
图 14. Component 页面
这时候只要点击每个 Component(模块)后面的按钮,就可以看到该模块的操作命令了。例如,我们可以停掉这台机器的 DataNode 模块。
图 15. 停止 DataNode 模块 1
图 16. 停止 DataNode 模块 2
点击查看大图
关于如何给一个模块添加自定义的命令,也会在后续的连载中做介绍。
这一章节中,主要介绍了如何通过三种级别的 Action(操作)管理 Hadoop 的集群。在 Ambari 中已经加入了很多自定义的 Action 去做一些特殊的操作。如果对 Hadoop 生态圈的软件足够熟悉,就可以尝试更多的 Action。可能有的人会问,Ambari 可不可以扩容集群。答案当然是可以的。Ambari 可以给自身的集群添加机器(也就是添加 Ambari Agent),然后将 Service 的模块安装在新的机器,也可以把某些模块安装到已有的其他的机器。篇幅有限,将在后续的连载中介绍更多的内容。
Ambari 的架构和工作原理
Ambari 基本的架构和工作原理如下图 17 所示。
图 17. Ambari 的基本架构
Ambari Server 会读取 Stack 和 Service 的配置文件。当用 Ambari 创建集群的时候,Ambari Server 传送 Stack 和 Service 的配置文件以及 Service 生命周期的控制脚本到 Ambari Agent。Agent 拿到配置文件后,会下载安装公共源里软件包(Redhat,就是使用 yum 服务)。安装完成后,Ambari Server 会通知 Agent 去启动 Service。之后 Ambari Server 会定期发送命令到 Agent 检查 Service 的状态,Agent 上报给 Server,并呈现在 Ambari 的 GUI 上。
Ambari Server 支持 Rest API,这样可以很容易的扩展和定制化 Ambari。甚至于不用登陆 Ambari 的 GUI,只需要在命令行通过 curl 就可以控制 Ambari,以及控制 Hadoop 的 cluster。具体的 API 可以参见 Apache Ambari 的官方网页 API reference。
对于安全方面要求比较苛刻的环境来说,Ambari 可以支持 Kerberos 认证的 Hadoop 集群。
扩展 Ambari 管理一个自定义的 Service
首先,我们需要规划自定义的 Service 属于哪个 Stack(当然 Stack 也是可以自定义的)。这里为了快速创建一个新的 Service,而且我们已经安装了 HDP 2.2 的 Stack,所以就将自定义的 Service 放在 HDP 2.2 之下。
第一步,首先在 Ambari Service 机器上找到 HDP 2.2 Stack 的目录,如下图所示。
图 18. HDP 2.2 的目录
第二步,需要创建一个 Service 目录,我们这里用“SAMPLE”作为目录名。并在 SAMPLE 底下创建 metainfo.xml。示例代码如下。主要解释下 xml 代码中的两个字段 category 和 cardinality。category 指定了该模块(Component)的类别,可以是 MASTER、SLAVE、CLIENT。Cardinality 指的是所要安装的机器数,可以是固定数字 1,可以是一个范围比如 1-2,也可以是 1+,或者 ALL。如果是一个范围的时候,安装的时候会让用户选择机器。另外这里有关 Service 和 Component 的 name 配置要用大写,小写有时候会有问题。Displayname 可以随意设置。
<?xml version="1.0"?>
<metainfo>
<schemaVersion>2.0</schemaVersion>
<services>
<service>
<name>SAMPLE</name>
<displayName>My Sample</displayName>
<comment>My v1 Sample</comment>
<version>1.0</version>
<components>
<component>
<name>MYMASTER</name>
<displayName>My Master</displayName>
<category>MASTER</category>
<cardinality>1</cardinality>
<commandScript>
<script>scripts/master.py</script>
<scriptType>PYTHON</scriptType>
<timeout>5000</timeout>
</commandScript>
</component>
<component>
<name>MYSALVE</name>
<displayName>My Slave</displayName>
<category>SLAVE</category>
<cardinality>1+</cardinality>
<commandScript>
<script>scripts/slave.py</script>
<scriptType>PYTHON</scriptType>
<timeout>5000</timeout>
</commandScript>
</component>
</components>
<osSpecifics>
<osSpecific>
<osFamily>any</osFamily>
</osSpecific>
</osSpecifics>
</service>
</services>
</metainfo>
Python 脚本的示例代码:
Master.py:
import sys, os
from resource_management import *
from resource_management.core.exceptions import ComponentIsNotRunning
from resource_management.core.environment import Environment
from resource_management.core.logger import Logger
class Master(Script):
def install(self, env):
print "Install My Master"
def configure(self, env):
print "Configure My Master"
def start(self, env):
print "Start My Master"
def stop(self, env):
print "Stop My Master"
def status(self, env):
print "Status..."
if __name__ == "__main__":
Master().execute()
Slave.py:
import sys, os
from resource_management import *
from resource_management.core.exceptions import ComponentIsNotRunning
from resource_management.core.environment import Environment
from resource_management.core.logger import Logger
class Slave(Script):
def install(self, env):
print "Install My Slave"
def configure(self, env):
print "Configure My Slave"
def start(self, env):
print "Start My Slave"
def stop(self, env):
print "Stop My Slave"
def status(self, env):
print "Status..."
if __name__ == "__main__":
Slave().execute()
第四步,需要重启 Ambari Server。因为 Ambari Server 只有在重启的时候才会读取 Service 和 Stack 的配置。命令行执行:
ambari-server restart
第五步,登录 Ambari 的 GUI,点击左下角的 Action,选择 Add Service。如下图:
图 20. Add Service 按钮
这时候就可以看到我们自定义的 Service:SAMPLE。如下图:
图 21. Sample Service 列表
点击查看大图
选择左侧 My Sample 后,就可以一路 Next 了,这个过程其实和我们在搭建 Hadoop2.x 集群的时候是类似的。由于这个 Service 没有真的安装包,所以安装过程会非常的快,启动命令也没有真正的逻辑,所以启动过程也是很快的。等最后点击完 Complete,整个安装过程也就结束了。再回到 Ambari 的 Dashboard 的时候,我们就可以看到这个 My Sample 了,如下图:
图 22. My Sample 的 Service 页面
点击查看大图
到此就可以和第四节中管理 Hadoop 集群一样管理我们的 My Sample。例如下图,Stop 我们的 My Sample。
图 23. Stop Sample 页面 1
图 24. Stop Sample 页面 2
图 25. Stop Sample 页面 3
进阶的篇幅中,将会探讨如何给我们的 My Sample 自定义一些 Actions,以及 Action 之间的依赖关系如何定义。篇幅有限,这里就先到此为止。希望以上的介绍能够燃起大家对 Ambari 的热情。
总结
大数据与云计算可谓是如今数据中心中最火的两项技术领域,几乎所有的 IT 服务商都想在这两项技术中有所建树。相信 Ambari 可以帮助一些 Hadoop 的初学者。长远看来,大数据的发展离不开云计算,云计算中 IaaS 可谓已经很成熟,并且价格低廉。这时候许多公司将目光聚集在了 PaaS。大数据的流行更是加速了相关 PaaS 产品的发展,而 Ambari 的出现必然可以拉近 IaaS 和 PaaS 的距离。也就是说有了 Ambari,或许再加上 Docker,那么快速从 IaaS 演进到 PaaS 就显得不是那么困难了。
当然这里 Ambari 要跟 IaaS 更好的切合,还有个对手那就是 Sahara。它是另一个土生土长的 OpenStack 的子项目,其目的也是为了在 Openstack 上面快速搭建 Hadoop 等集群。期望着这些项目能够快速成长,将来对大家都有所帮助。
Sunny3096
关注
关注
12
点赞
65
收藏
打赏
评论
【大数据----Ambari】大数据平台的搭建利器
Ambari 是什么Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。目前最新的发布版本是 2.0.1,未来不久将发布 2.1 版本。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sq...
复制链接
扫一扫
专栏目录
Ambari-大数据平台的搭建利器
08-23
Ambari搭建的详细说明文档,通过本地源搭建Ambari服务
数据可视化利器之Visdom使用手册(转载自Github)
吴智深的博客
10-13
58
Visdom手册
评论 5
您还未登录,请先
登录
后发表或查看评论
用Ambari一键部署大数据平台
十色花的博客
07-09
3921
安装前准备先明确几个概念:
1. Ambari只能安装Hortonworks Data Platform,即Hortonworks的开源Hadoop,不支持Apach的Hadoop平台;
2. 对于已经安装了Apach Hadoop或者其他Hadoop平台的,不能使用Ambari来管理;
再说几个注意事项:
1. Ambari默认的安装方式是使用yum,从远程下载HDP组件安装,而HDP平台安装...
Centos7搭建Ambari
最新发布
qq_57305150的博客
11-09
720
搭建Hadoop_Ambari(含包)
Ambari——大数据平台的搭建利器(一)
weixin_42073629的博客
12-13
7101
Ambari是hadoop分布式集群配置管理工具,是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目,已经成为hadoop运维系统中的得力助手,引起了业界和学术界的关注。
Ambari采用的不是一个新的思想和架构,也不是完成了软件的新的革命,而是充分利用了一些已有的优秀开源软件,巧妙地把它们结合起来,使其在分布式环境中做到了集群式服务管理能力、监控能力、展示能力。这些优秀开源软件有:
在agent端,采用了puppet管理节点;
在Web端,采用了ember.js
Ambari安装和配置详细步骤
小慌慌的博客
09-04
8488
目录
一、准备环境
二、修改主机名和hosts文件
八、安装ambari
九、系统配置
十、实例演示
一、准备环境
1、服务器准备至少3台
我这边准备了3台:
192.168.1.86(master)
192.168.1.87(slave1)
192.168.1.88(slave2)
2、在(master上):mkdir -p /var/www/html
​3、ambari依赖包准备,上传到主节点master的/var/www/html路径下
(本次选择的amb..
Ambari大数据平台搭建利器【大讲台】
01-07
<p>
Ambari是由 HortonWorks 开发的一个Hadoop相关的项目,这款软件具有集群自动化安装、中心化管理、集群监控、报警等功能,使得安装集群从几天的时间缩短在几小时以内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。
</p>
<p>
<span style="color:#333333;"><strong>推荐进阶课程:</strong></span><a href="http://www.dajiangtai.com/course/112.do?sp=www_23"><span style="color:#E53333;"><strong>大数据实战精英+架构师班</strong></span></a><span style="color:#E53333;"><strong></strong></span>
</p>
ambari全攻略流程,认识ambari(一)
u010025966的博客
08-16
776
ambari介绍
Apache Ambari 项目旨在通过开发用于供应、管理和监控 Apache Hadoop 集群的软件来简化 Hadoop 管理。Ambari 提供了一个直观、易于使用的 Hadoop 管理 Web UI,由其 RESTful API 提供支持。
Ambari 使系统管理员能够:
配置 Hadoop 集群
– Ambari 提供了一个分步向导,用于在任意数量的主机上安装 Hadoop 服务。
– Ambari 为集群处理 Hadoop 服务的配置。
管理 Hadoop 集群
– Amb
全网最详细的ambari集群搭建详细步骤
luo981695830的博客
05-01
4890
1、服务器环境说明
集群三台节点
可以互相访问
使用root用户
配置免密
centos7
ambari-2.6.2.2
hdp-2.6.5
我的环境如下:
192.168.8.105 my-hdp1
192.168.8.106 my-hdp2
192.168.8.107 my-hdp3
2、防火墙设置
#查看防火墙状态
systemctl status firewalld
#关闭防火墙
systemctl stop firewalld
#设置防火墙服务开机不自启
system.
大数据Ambari自定义服务详细介绍
pop_xiaohao的专栏
03-23
3923
一、背景知识介绍
Ambari 内置服务包括Ambari 自己都是以rpm 包方式存放于repositories中。Ambari 一般有四个 repositories,具体如下:
1.Ambari:存放 ambari server, ambari agent, 和相关监控软件
2.HDP:存放 stack 软件包
3.HDP-UTILS:存放安装 Ambari 和 HDP 的公用包,例如:Ganglia, Nagios, Snappy, Rrd 等
4.EPEL:存放企业版本 Linux 所需的额外包,
Ambari部署后重启DataNode失败
梦想成真那天
07-31
513
Traceback (most recent call last):
File "/usr/lib/ambari-agent/lib/resource_management/libraries/script/script.py", line 995, in restart
self.status(env)
File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/HDFS/package/scripts/datanode.py", l
Ambari——大数据平台的搭建利器
xiaomin1991222的专栏
04-01
711
Ambari 是什么
Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。目前最新的发布版本是 2.0.1,未来不久将发布 2.1 版本。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,...
2018最新大数据Ambari+HDP搭建
maoqun55的博客
06-03
1890
01.HDP介绍02.环境准备--ntp--java--selinux--hosts--hostname--ip03.环境准备--克隆机器--配置IP和HostName03.环境准备--克隆机器--配置IP和HostName04.环境准备--安装MySQL--配置免密04.环境准备--安装MySQL--配置免密05.配置本地Ambari-HDP的yum源05.配置本地Ambari-HDP的yum源...
大数据技术之Ambari
魔法革1996
03-17
373
第1章 Ambari简述
1.1 什么是Ambari
Apache Ambari项目旨在通过开发用于配置,管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观,易用的Hadoop管理Web UI。
1.2 Ambari的功能
提供了跨任意数量的主机安装Hadoop服务的分步向导。
处理群集的Hadoop服务配置。
提供集中管理,用于在整个集群...
Ambari理论及使用介绍
hmxz2nn的博客
01-15
1605
本文转载整理自:Ambari——大数据平台的搭建利器及Ambari——大数据平台的搭建利器之进阶篇,针对内容有重点提取,完整内容请参考原博客。
Ambari 是什么
Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。目前最新的发布版本是 2.0.1,未来不久将发布 2.1 版本。就 Ambari 的作用来说,就...
基于Ambari的大数据平台搭建
a934079371的博客
08-25
835
同CDH部署类似,步骤分为ambari的部署和hdp的部署,先以1台为例(内存>6G,磁盘划分/至少40G,/data/10G),后续节点可以通过扩容方式加入集群,可参考:http...
Ambari离线安装笔记
optimus
11-12
346
离线Ambari安装
目录
文章目录离线Ambari安装目录简介安装步骤准备基础环境修改Hostname配置hosts配置免密登录生成私钥配置信任主机安装JDK卸载OpenJDK(非必须)安装Oracle JDK挂载硬盘[非必须]挂载硬盘设置开机自启安装httpd安装启动服务设置开机自启关闭防火墙时钟同步服务[非必须]查看时钟状态服务准备Mysql[非必须]安装Mysql配置root权限密码安装Ambari准备Ambari离线源安装包解压缩本地yum源配置配置yum源文件分配到各个节点创建本地库查看yum源
ambari监测进程脚本:check_process_status.py
weixin_40619157的博客
08-02
767
由于工作时使用到监控,因此看了一下监控进程实现逻辑
记录ambari监测进程脚本:check_process_status.py
#!/usr/bin/env python
from resource_management.core.exceptions import ComponentIsNotRunning
from resource_management.core.logger impor...
大数据管理神器:Ambari自定义stack和服务二次开发详细教程
赵英超的博客
05-07
4799
背景
Ambari是一个强大的大数据集群管理平台。在实际使用中,我们使用的大数据组件不会局限于官网提供的那些。如何在Ambari中集成进去其他组件呢?
一、Ambari基本架构
Ambari Server 会读取 Stack 和 Service 的配置文件。当用 Ambari 创建服务的时候,Ambari Server 传送 Stack 和 Service 的配置文件以及 Service 生命周期的控制脚本到 Ambari Agent。Agent 拿到配置文件后,会下载安装公共源里软件包(R.
docker部署ambari-2.7.3(大数据集群快速搭建)
寅贝勒的博客
12-16
7836
① centos7自身没有yum工具
② 安装git
③ 拉取远程仓库
④ 开始安装
⑤ 查看容器
2.配置ssh免密登录
我这里的三个容器的ip分别是① 修改主机名
172.17.0.2(amb-server) -> node3
172.17.0.3(amb1) -> node1
172.17.0.4(amb2) -> node2
② 修改hosts文件,可以直接ping名字
③ 生成密钥首先分别在这3个节点执行指令:ssh-keygen ,然后一直按回车键直到结束。此时你可以发现在
ambari全攻略流程,安装ambari(二)
u010025966的博客
08-16
348
ambari安装
“相关推荐”对你有帮助么?
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题:游动-白
设计师:我叫白小胖
返回首页
Sunny3096
CSDN认证博客专家
CSDN认证企业博客
码龄11年
暂无认证
369
原创
3万+
周排名
96万+
总排名
54万+
访问
等级
7206
积分
170
粉丝
229
获赞
51
评论
842
收藏
私信
关注
热门文章
【分布式事务----LCN】LCN原理及使用方式
106266
【配置中心----Apollo】Apollo的介绍及使用方式
26442
【大数据----Ambari】大数据平台的搭建利器
23920
【问题解决:死锁】Lock wait timeout exceeded; try restarting transaction的问题
18434
【接口】Rest和WebService的区别
16983
分类专栏
面试题
17篇
Java-基础
32篇
加密解密
16篇
权限、鉴权
13篇
Spring
3篇
SpringBoot
59篇
SpringCloud
9篇
数据库-事务
2篇
架构设计
12篇
数据库-MySQL
18篇
数据库-MongoDB
3篇
数据库-SQLServer
2篇
连接池
1篇
Socket
1篇
前端-Echarts
1篇
开发工具-Intellij Idea
12篇
开发工具-Eclipse
2篇
开发工具-Matlab
4篇
#文章
5篇
消息队列
1篇
消息队列-ActiveMQ
5篇
消息队列-Kafka
6篇
框架-Dubbo
6篇
大数据-ElasticSearch
12篇
大数据-Spark
8篇
大数据-Ambari
1篇
大数据-Flume
1篇
大数据-Hadoop
1篇
大数据-Hbase
1篇
大数据-Storm
1篇
大数据-数据挖掘
1篇
大数据-行为分析
1篇
小程序-微信
1篇
接口
浏览器
2篇
日志-Slf4j
1篇
网关
1篇
管理工具-Git
3篇
管理工具-Gradle
4篇
管理工具-Maven
7篇
管理工具-SVN
5篇
调度任务
6篇
Web容器-Tomcat
4篇
配置中心-Apollo
1篇
容器-Docker
11篇
容器-Kubernetes
1篇
图片服务
3篇
缓存-Redis
3篇
框架-Mybatis
9篇
负载均衡-Nginx
9篇
操作系统-Linux
34篇
注册中心
3篇
Java并发
1篇
前端-Vue
6篇
最新评论
Export2Excel使用及配置说明
贺泰豪:
单元格样式怎么在下载的时候加进去呢
【问题解决:死锁】Lock wait timeout exceeded; try restarting transaction的问题
weixin_46553600:
如果id在qurry end中呢
【大数据----Spark】spark源码编译
Faith_xzc:
最后放弃了,,,,
【分布式事务----LCN】LCN原理及使用方式
shanshuyu520:
t_tx_exception 这个表什么时候往里插入数据,是异常的时候放入的吗
【大数据----Spark】Spark入门教程[1]
睿思达DBA_WGX:
好文章,收藏起来。
您愿意向朋友推荐“博客详情页”吗?
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
Export2Excel使用及配置说明
Linux安装JDK
付费SSL证书和免费SSL证书的区别
2022年2篇
2020年22篇
2019年324篇
2018年5篇
2017年30篇
目录
目录
分类专栏
面试题
17篇
Java-基础
32篇
加密解密
16篇
权限、鉴权
13篇
Spring
3篇
SpringBoot
59篇
SpringCloud
9篇
数据库-事务
2篇
架构设计
12篇
数据库-MySQL
18篇
数据库-MongoDB
3篇
数据库-SQLServer
2篇
连接池
1篇
Socket
1篇
前端-Echarts
1篇
开发工具-Intellij Idea
12篇
开发工具-Eclipse
2篇
开发工具-Matlab
4篇
#文章
5篇
消息队列
1篇
消息队列-ActiveMQ
5篇
消息队列-Kafka
6篇
框架-Dubbo
6篇
大数据-ElasticSearch
12篇
大数据-Spark
8篇
大数据-Ambari
1篇
大数据-Flume
1篇
大数据-Hadoop
1篇
大数据-Hbase
1篇
大数据-Storm
1篇
大数据-数据挖掘
1篇
大数据-行为分析
1篇
小程序-微信
1篇
接口
浏览器
2篇
日志-Slf4j
1篇
网关
1篇
管理工具-Git
3篇
管理工具-Gradle
4篇
管理工具-Maven
7篇
管理工具-SVN
5篇
调度任务
6篇
Web容器-Tomcat
4篇
配置中心-Apollo
1篇
容器-Docker
11篇
容器-Kubernetes
1篇
图片服务
3篇
缓存-Redis
3篇
框架-Mybatis
9篇
负载均衡-Nginx
9篇
操作系统-Linux
34篇
注册中心
3篇
Java并发
1篇
前端-Vue
6篇
目录
评论 5
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
Sunny3096
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付
您的余额不足,请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明:
1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。
余额充值