denied 原因,apache用户无法访问rrd目录,执行journalctl -xe命令有提示 Mar 15 12:13:33 hadoop-n /usr/local/ganglia/sbin/gmetad make sure that /var/lib/ganglia/rrds is owned by nobody 将rrd目录的所有者和权限组改成nobody后解决 2,Starting GANGLIA gmetad : /usr/sbin/gmetad: error while loading shared libraries: librrd.so.4: cannot open shared object file
前言 ganglia分三个部分,gmond,gmetad、gweb。gmond是安装到每一台机器,负责收集数据。 gmetad不用安装到每一台,他负责接收gmond收集的数据,gweb也不用安装到每一台,主要负责展现gmetad的数据。 yum -y install epel-release 搜索一下看能不能找到,然后安装gmond yum search ganglia-gmond yum install ganglia-gmond gmetad 安装 安装命令 yum install ganglia-gmetad gweb安装 需要额外安装httpd、php,安装命令 yum install httpd php 安装完毕后检查/etc/php.d
准备了2台机器 Server 192.168.0.11(gmetad,web,gmond-master) Client 192.168.0.12(gmond) 2. Server端需要安装的软件包 epel包的安装:yum install -y epel-release(解决不能yum安装某些安装包的问题) gmetad的安装:yum install -y ganglia-gmetad 配置/etc/ganglia/gmetad.conf 修改data_source,改成: data_source "testcluster” 192.168.0.11:8650 #gmetad采集数据的目标 -rw-r--r-- 1 root root 8756 Jan 17 08:45 gmond.conf # vi gmetad.conf # In earlier versions of gmetad 重启gmetad,让配置生效 # service gmetad restart Shutting down GANGLIA gmetad: [
_64 0:3.7.2-2.el6 will be 安装 --> 处理依赖关系 ganglia = 3.7.2-2.el6,它被软件包 ganglia-gmetad-3.7.2-2.el6.x864 需要 .0()(64bit),它被软件包 ganglia-gmetad-3.7.2-2.el686_64 需要 --> 执行事务检查 ---> Package ganglia.x86_64 0:3.7.2-2 其中,Ganglia由gmond、gmetad 和 gweb三部分组成。 gmond(Ganglia Monitoring Daemon)是一种轻量级服务,安装在每台需要收集指标数据的节点主机上。 gmetad(Ganglia Meta Daemon)整合所有信息,并将其以RRD格式存储至磁盘的服务。 gweb(Ganglia Web)Ganglia可视化工具,gweb是一种利用浏览器显示gmetad所存储数据的PHP前端。在Web界面中以图表方式展现集群的运行状态下收集的多种不同指标数据。
/ganglia-3.6.0 cp gmetad/gmetad.init /etc/init.d/gmetad 注:这里编译ganglia的时候加了参数sysconfdir,所以这里不需要进行如下步骤 cp gmetad/gmetad.conf /usr/local/ganglia/etc/ 但是如果没有加上系统配置参数,则要执行上一步,然后 gmetad -t | tee /usr/loca /ganglia/etc/gmetad.conf这个是为了生成默认配置文件 vim /etc/init.d/gmetad 修改:GMETAD=/usr/sbin/gmetad-->GMETAD= /usr/local/ganglia/sbin/gmetad vim etc/ganglia/gmetad.conf 修改:data_source "my cluster" localhost 服务,并设为开机自动运行 service gmetad restart Starting GANGLIA gmetad: [ OK
pcre-devel pkgconfig pcre 我是直接运行的这个,没有用下面命令那些安装 epel包的安装:yum install -y epel-release(解决不能yum安装某些安装包的问题) gmetad 的安装:yum install -y ganglia-gmetad ganglia-devel gmond的安装:yum install -y ganglia-gmond rrdtool的安装:yum , gmond $ systemctl start httpd.service $ systemctl start gmetad.service $ systemctl start gmond.service $ systemctl enable httpd.service $ systemctl enable gmetad.service $ systemctl enable gmond.service :gmetad-d 9 · 查看gmetad收集到的XML文件:telnet 192.168.52.105 8649(如果提示没有telnet命令 yum install telnet-server
Ganglia的核心包含gmond、gmetad以及一个Web前端。 ganglia 2.客户端安装 在客户端中需要安装 yum -y install ganglia-gmond 四.ganglia的配置 1.服务端配置 在/etc/ganglia/gmetad.conf 可以不用修改) 修改了setuid_username后需要对权限进行更改: Chown -R apache:apache /var/lib/ganglia/rrds 否则使用service gmetad status时出现gmetad dead but subsys locked 3.Apache的服务端配置 /etc/httpd/conf.d/ganglia.conf 代码如下: Alias 并且设为开机启动 service gmetad start chkconfig gmetad on 通过telnet localhost 8651进行测试 启动客户端的gmond并设为开机启动
pub/epel/6/x86_64/epel-release-6-8.noarch.rpm [atguigu@hadoop102 flume]$ sudo yum -y install ganglia-gmetad Allow from 127.0.0.1 # Allow from ::1 # Allow from .example.com </Location> 修改配置文件/etc/ganglia/gmetad.conf [atguigu@hadoop102 flume]$ sudo vim /etc/ganglia/gmetad.conf 修改为: data_source "hadoop102" 192.168.1.102 ganglia [atguigu@hadoop102 flume]$ sudo service httpd start [atguigu@hadoop102 flume]$ sudo service gmetad
disabled/ /etc/selinux/config 重启,然后开始安装ganglia yum install -y rrdtool rrdtool-devel ganglia-web ganglia-gmetad httpd httpd-tools apr-devel zlib-devel libconfuse-devel expat-devel pcre-devel git 修改**/etc/ganglia/gmetad.conf **,将"Example Cluster"修改成你需要的集群名字 vim /etc/ganglia/gmetad.conf ... data_source "Example Cluster" master --permanent --zone=public --add-port=8652/tcp firewall-cmd --reload 开启服务 chkconfig httpd chkconfig gmetad on chkconfig gmond on systemctl start httpd systemctl start gmetad systemctl start gmond 服务端添加nvidia
pub/epel/6/x86_64/epel-release-6-8.noarch.rpm [bigdata@hadoop002 flume]$ sudo yum -y install ganglia-gmetad bigdata@hadoop002 flume]$ sudo yum install -y ganglia-gmond // 如果这三个不能下载安装的话修改epel源即可 Ganglia由gmond、gmetad gmetad(Ganglia Meta Daemon)整合所有信息,并将其以RRD格式存储至磁盘的服务。 gweb(Ganglia Web)Ganglia可视化工具,gweb是一种利用浏览器显示gmetad所存储数据的PHP前端。在Web界面中以图表方式展现集群的运行状态下收集的多种不同指标数据。 修改配置文件/etc/ganglia/gmetad.conf [bigdata@hadoop002 flume]$ sudo vim /etc/ganglia/gmetad.conf // 仅修改此处
(Ganglia Meta Daemon ) gmetad是ganglia的元数据守护进程,通常只需要一个监控集群只需要一个元数据守护进程即可,当然如果你想实现高可用的数据冗余,你也可以配置多个, gmetad主要是收集汇聚解析从各个gmond进程汇报发送过来的信息,并将其保存至rrd数据库里,供前端查询展示所需。 (四)Ganglia的安装 假设有3台机器centos6.5的系统,分别如下: 192.168.1.187 hadoop hbase gmetad gmond ganglia-web Java代码 sudo yum remove -y ganglia-web ganglia-gmetad 主节点启动 Java代码 sudo service gmetad start 至此,我们的监控系统就建立起来了,需要注意的是,当监控上hadoop的相关的指标时,rrds库的体积,膨胀比较大,所以这个库存的盘一定要大一点,或者在gmetad里面开启gzip压缩,否则把系统盘撑爆了
,不止图形界面,控制台界面也不能进了,一直提示下面的错误,停留在以下界面中: data_thread() got no answer form any [test] datasource 想想应该是gmetad 如何禁用gmetad服务? chkconfig gmetad off reboot 终于看到了熟悉的图形界面
1.1 Ganglia组件 Ganglia 监控套件包括三个主要部分:gmond,gmetad,和网页接口,通常被称为ganglia-web。 Gmetad:也是一个守护进程,他定期检查gmonds,从那里拉取数据,并将他们的指标存储在RRD存储引擎中。他可以查询多个集群并聚合指标。他也被用于生成用户界面的web前端。 Ganglia-web :顾名思义,他应该安装在有gmetad运行的机器上,以便读取RRD文件。 一般来说每个集群需要一个接收的gmond,每个网站需要一个gmetad。 在这个台机器上运行这着gmetad进程,收集来自各个节点上的信息并存储在RRDtool上,该进程的配置只由/etc/gmetad.conf决定。 右下角显示了关于网页方面的一些信息。
gmond 版本号 3.1.7 sudo service ganglia-monitor start 验证是否打开 telnet localhost 8649 gmetad 版本号3.1.7 service gmetad start rrd存放地址 : /var/lib/ganglia/rrds https://github.com/ganglia/monitor-core/wiki/Ganglia-Configuration
然后汇总到gmetad守护进程下,使用rrdtool存储数据,然后将历史数据以曲线方式通过PHP页面呈现。这里用来监控Flume的运行信息。1. phpyum -y install rrdtool perl-rrdtool rrdtool-develyum -y install apr-develyum -y install ganglia-gmetad 】vim /etc/ganglia/gmetad.conf# 配置数据源 名称 IP地址data_source "tcloud_source" tcloud【第 :three: 个配置文件:gmond.conf 启动验证# 启动 httpd 服务[root@tcloud ~]# systemctl start httpd.service# 启动 gmetad 服务[root@tcloud ~]# systemctl start gmetad.service# 启动 gmond 服务[root@tcloud ~]# systemctl start gmond.service访问 http://tcloud/ganglia
Hadoop、HBase配置Ganglia指南(metrics1) Server端: yum install rrdtool ganglia ganglia-gmetad ganglia-gmond cluster */ tcp_accept_channel { bind = master.hadoop.test port = 8649 } 编辑/etc/ganglia/gmetad.conf all </Location> # 开机运行采集进程 chkconfig --levels 235 gmond on # 开机运行数据存储进程 chkconfig --levels 235 gmetad on # 开机运行apache服务 chkconfig --levels 235 httpd on 启动服务 service gmond start service gmetad start
并删除 /var/lib/ganglia/dwoo/cache下的所有数据 删除完成后,重新启动gmetad和gmond服务。 service gmond restart service gmetad restart 结果终于出来了!
Ganglia监控本身没有提供API可供外部程序调用,不过根据ganglia监控的原理,可以通过分析gmetad的端口的xml来直接获取metrics。 /etc/ganglia/gmetad-*-*.conf这个文件必须要有,*可以用其他字符替代 2.tornado安装需要依赖包: backports.ssl_match_hostname certifi
以下是一些示例: # Ubuntu/Debian sudo apt-get install ganglia-monitor gmetad ganglia-webfrontend # CentOS/RHEL sudo yum install ganglia-gmond ganglia-gmetad ganglia-web 配置 在安装后,需要对Ganglia进行配置,使其能够连接到主机并收集数据。 /etc/ganglia/gmetad.conf:该文件包含gmetad守护进程的配置。在其中指定数据存储路径、数据源等信息。 以下是一些示例命令: # 启动gmond守护进程 sudo service gmond start # 启动gmetad守护进程 sudo service gmetad start # 启动Web前端
http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm sudo yum -y install ganglia-gmetad Allow from 127.0.0.1 # Allow from ::1 # Allow from .example.com </Location> 5) 修改配置文件/etc/ganglia/gmetad.conf sudo vim /etc/ganglia/gmetad.conf 修改为: data_source "hadoop002" 192.168.xx.102 6) 修改配置文件/etc/ganglia/ selinux本次生效关闭必须重启,如果此时不想重启,可以临时生效之: sudo setenforce 0 5) 启动ganglia sudo service httpd start sudo service gmetad