Zabbix监控简单安装

监控系统

在运维领域，监控系统即用于监控生产环境所使用的硬件、软件或者是业务的运行情况的报警系统。其能够对生产环境所产生的异常作出报警，使得管理员能够及时获知报警信息，保证业务的正常运行。
监控系统功能可以分为以下几个模块：

• 采样：即周期性地获取某个关注指标相关的数据，一个监控系统通常支持多种采样手段，常见的手段有：ssh/telnet、agent、IPMI、SNMP、JMX等等。
• 存储：即用于存储采样所收集到的数据，以便于管理员进行回溯查看。其存储的数据可分为历史数据和趋势数据，其中历史数据即每次采样所收集到的数据结果，通常保存周期为三个月到半年；而另一个趋势数据即为一段时间内的所采样的数据的最大值、最小值、平均值等数据，因数据量较小，通常保存较长的时间。监控系统常用的存储系统有Mysql、mariadb、Oracle、rrd等等。
• 报警：即当监控的对象发生异常时，系统用于通常管理员或其他相关人员的报警媒介。常用的报警媒介有：邮件、短信、微信、脚本等等。
• 展示：监控系统通过采样收集得到的数据，那么肯定得通过展示才能让管理人员更加方便的知道当前的监控项的运行情况。展示就是监控系统把数据从数据库中读取出来，然后通过统一的整理归类为标准的图形化进行输出展示，常见的展示接口有：webGUI、GUI、APP等等。

监控系统端称为NMS，被监控端称为agent；可分为无agent和有agent；
无agent方式包括：ssh，snmp，telnet；基于web监控可使用curl命令；
agent一般都是专业开发的；

监控通道：ssh，snmp（简单网络管理协议simple network management protocol），telnet，agent，IPMI接口，...

SNMP

SNMP即Simple Network Management Protocol，简单网络管理协议，是用于在网络实体或节点之间交换管理或监控信息的协议，最通用的监控系统；只要配置了snmp的监控端，就能监控所有设备；

v1 老版本，没有认证功能，通信过程没有加密；很多网络设备仅支持v1版本；
v2c 社区版本，有身份识别机制，基于预密钥系统，加密方式不成熟；
v3 包括了安全认证，通信过程加密；

SNMP优点：

• 标准化协议：SNMP协议属于TCP/IP协议中的标准网络管理协议，因此其兼容大多数的网络设备。
• 认可度高/流行度高：几乎所有主流的厂商都支持SNMP，所有使用SNMP管理的设备都使用相同的管理接口以支持通用的管理消息集合。
• 可移植性高：SNMP独立于操作系统和编程语言，SNMP的功能设计是可移植的，它定义了一套核心操作集，所有支持SNMP的设备都需要支持这套操作。
• 轻量级：SNMP协议的工作不会对设备的操作或性能产生冲击，网络设备只需以极小的资源消耗和负载即可增加对SNMP的管理支持。
• 扩展性高：因为所有的SNMP管理的设备上都会支持相同的一套核心操作集，而且SNMP也支持计算机网络设备中各种类型的设备的信息交互，因此添加设备变得很简单

SNMP的监控端就是一个命令行，安装一个程序包即可；

目前比较流行的开源监控系统由：zabbix、cacti、nagios、ganglia等等。
snmp没有周期性特性，早期只能创建一个周期性任务计划周期性执行；

cacti

提供简单web监控配置接口；利用snmp协议，用snmpget自动定义cron任务，到被监控主机上采样数据，cacti存储在自己的rrd（轮询）数据库中，但没有报警功能；

rrd数据库类似于一个环，一共能存储356天的数据，也就是在这个环上有365或366个固定的位置来存储每天的数据；存满之后，会覆盖最老的数据；每天的平均数据，是趋势数据；从创建的那一刻起，空间就固定了；好处是自动能清除数据；每一个数据指标就需要一个rrd；

cacti利用snmp客户端的工具像snmpget或snmpgetnext命令工具，到被监控端的agent上获取数据，然后存储咋rrd当中，周期性获取的，想查看某一天数据时，cacti提供了网页是通过php程序开发的，只要部署好了httpd、php，让php能够从rrd数据库当中加载数据，并且能即时把数据绘图，动态成图，例如每隔5秒钟或5分钟自动到rrd中加载数据，把新的数据再重新绘图；因此，这图的动态的，不断的再绘制的；但告警能力很有限；

所以，较早前cacti通常与另一个程序nagios一同实现；nagios系统能够实现对所关注的业务，能够制定合理区间，如果不在合理区间要做从软状态到硬状态变换；例如发现80端口不提供服务，采样一次为web服务down状态，连续采样3次都是down状态时，才认为从OK到problem状态发生改变；但是nagios不记录采样的数据，只记录几个窗口中的数据；例如，只记录过去到现在的8次数据；保存在内存中，一旦发现状态变化，就能实现告警操作，而nagios的告警功能非常强大；
但把cacti和nagios结合起来使用，有些不方便；

zabbix出现，就实现了上述的功能；既能实现采样、存储、告警、展示等功能；

nagios报警功能强大，但不能存储数据；
zabbix：实现采样、存储、告警、展示；
ganglia：较早的工具，但现在强大的数据聚合功能；

zabbix：

LTS：长期支持维护版本：3.0，4.0

zabbix多种监控功能：

• 支持Zabbix Agent
• SNMP Agent
• IPMI Agent
• 无代理监控
• web服务监控
• 数据库监控
• zabbix内部监控
• 计算以后进行监控展示
• 客户自定义命令监控

zabbix特性

数据采样：支持snmp，ssh，telnet，agent，ipmi，jmx；
支持自定义检测机制：通过UserParameter实现；
支持自定义指定时间间隔；历史数据保存多久，趋势数据保存多久；

支持实时绘图：展示，通过内置绘图模板，读取数据库数据完成绘图；
graph 绘图；
map 绘制网络拓扑图；
screen 定义一个屏幕展示各种图；
slide show 支持使用幻灯片机制显示；

告警：
支持告警升级；
定义脚本script
notification发通知，发邮件通知

数据存储：
数据库：自动超期数据清理
mysql，pgsql

支持使用模板：完成快速监控和配置；

网络自动发现：zabbix可自动扫描网段，发现即可添加被监控主机；

分布式监控：
server <--> proxy代理 <--> agent/ssh/ipmi
所有配置都在server端进行，自动推送；

API接口：支持研发扩展；

zabbix的程序架构

zabbix database负责专用于存储所有配置信息以及由Zabbix收集的数据；
zabbix server负责接收agnet发送的报告信息的核心组件，所有配置、统计数据及操作数据均由其组织进行；

zabbix server在zabbix服务器端运行一个进程就叫zabbix server；这个进程有n种子进程，对于每一种不同的监控接口，都有专用的子进程完成此类监控收集数据的实现；例如web页面监控，通过ICMP/IPMI/SNMP等协议监控设备，通过agent监控操作系统及对JMX（j2ee）监控；因此，每一类监控，都应该启动一个或几个子进程进行监控，启动多少个子进程，取决于监控指标的个数；
zabbix server就是靠这些协议不断收集数据，并存储在zabbix database数据库中；
如果想查看，就通过zabbix web GUI查看，zabbix web GUI使用php语言研发，所有的配置也在GUI接口上完成，通常与Zabbix server运行在同一台主机上；

proxy的可选组件，常用于分布监控环境中，代理server收集部分被监控端的监控数据并统一发往server端；
agent是部署在被监控主机上，负责收集本地数据并发往server端或proxy端；
zabbix支持分布式监控：所有数据存储在数据库中，例如zabbix server只监控5万个指标，另外2万个指标交给代理服务器进行监控，代理监控服务器先把收集的数据放在本地数据库，每隔一段时间，连接zabbix server后，把数据统计汇总后一次性发出；这样减轻了连接的压力；

在大规模监控中，Zabbix server、Zabbix database、Zabbix web GUI有可能是分别的主机提供，彼此间通过socket进行通信；

server1运行Zabbix sever，server2运行Zabbix web gui和apache、php（mysql或pgsql），server3运行mysql或pgsql数据库；
通过server2的web页面进行配置和展示，Zabbix server把采集的数据存储在数据库中；
Zabbix server所有运行通过Zabbix_server.conf配置文件加载，运行中的所有日志信息，记录在Zabbix_server.log文件中；
Zabbix agent每个agent端运行一个zabbix_agentd守护进程，zabbix_agentd通过负责在本地监控各种应用，例如数据库、硬件设备、应用程序等等，把收集的数据通过zabbix协议发送给zabbix server，然后进行存储；
对于agent通过zabbix_agentd.conf配置文件加载自己的配置，每个zabbix agent产生的日志信息记录在zabbix_agentd.log文件中；
zabbix proxy也需要配置文件zabbix_proxy.conf，日志文件zabbix_proxy.log；
配置好zabbix_agentd，在zabbix server端通过使用zabbix_get命令手动获取zabbix agent端数据测试，被动监控；zabbix agent端通过使用zabbix_sender命令，手动向zabbix server发送数据测试，主动监控；

zabbix监控java应用时，通过java gateway组件与java应用程序通信

zabbix常用术语

zabbix server端由zabbix poller进程从各被监控端拉取数据，例如每5分钟poller进程向zabbix agent端、snmp端或基于internal机制，向被监控项发起数据采集请求；任何poller的执行都基于items监控项进行的；定义了监控项就意味着基于某个命令来完成数据采集；
item会采集出时间序列数据，对每个数据判断是否在有效区间内，大多数item都需要定义触发器trigger，超过阈值进行触发一个报警事件；
触发器一旦触发一个事件，action能订阅事件，来触发某一动作；所以在trigger之上，还要定义触发事件执行的动作以便完成报警通知或执行远程脚本；
某一个监控项都是被监控主机上的某一指标；
可把主机定义一个组，在套用模板时方便批量监控部署操作；
maintenance是维护模式，不让触发器报警；

安装zabbix

配置服务端

192.168.0.103

配置MySQL

[root@zabbix ~]# yum install mariadb-server -y
[root@zabbix ~]# vim /etc/my.cnf
#添加如下两行
skip_name_resolve = ON #禁止数据库反解主机名
innodb_file_per_table = ON #开启独立表空间
[root@zabbix ~]# systemctl start mariadb.service
[root@zabbix ~]# ss -tnl
State       Recv-Q Send-Q     Local Address:Port                    Peer Address:Port              
LISTEN      0      50                     *:3306                               *:*   
[root@zabbix ~]# systemctl enable mariadb.service #设置开机自启
[root@zabbix ~]# mysql
MariaDB [(none)]>CREATE DATABASE zabbix CHARSET 'utf8';
MariaDB [(none)]> GRANT ALL ON zabbix.* TO zbxuser@'127.0.0.1' IDENTIFIED BY 'zbxpass';
MariaDB [(none)]> GRANT ALL ON zabbix.* TO zbxuser@'192.%.%.%' IDENTIFIED BY 'zbxpass';
MariaDB [(none)]> FLUSH PRIVILEGES;

安装zabbix官方仓库

[root@zabbix ~]# yum -y install http://repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm
[root@zabbix ~]# cat /etc/yum.repos.d/zabbix.repo
[zabbix]
name=Zabbix Official Repository - $basearch
baseurl=http://repo.zabbix.com/zabbix/3.0/rhel/7/$basearch/
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX

[zabbix-non-supported]
name=Zabbix Official Repository non-supported - $basearch 
baseurl=http://repo.zabbix.com/non-supported/rhel/7/$basearch/
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX
gpgcheck=1

安装epel源，若无wget命令，手动安装yum -y install wget

[root@zabbix ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
...

安装zabbix-server-mysql，zabbix-get
安装过程中，可能由于读条慢导致安装报错，重复执行安装命令之道进度条达100%即可

[root@zabbix ~]# yum install zabbix-server-mysql zabbix-get -y
...complete!

初始化zabbix的数据库，有专用的zabbix脚本实现
zabbix的2.0与3.0不一样，2.0有三个sql脚本而且要安装特定的固定顺序依次执行；
3.0只有一个sql脚本create.sql，需要把脚本导入到mysql数据库中；

[root@zabbix ~]# rpm -ql zabbix-server-mysql
/etc/logrotate.d/zabbix-server
/etc/zabbix/zabbix_server.conf
/usr/lib/systemd/system/zabbix-server.service
/usr/lib/tmpfiles.d/zabbix-server.conf
/usr/lib/zabbix/alertscripts
/usr/lib/zabbix/externalscripts
/usr/sbin/zabbix_server_mysql
/usr/share/doc/zabbix-server-mysql-3.0.28
/usr/share/doc/zabbix-server-mysql-3.0.28/AUTHORS
/usr/share/doc/zabbix-server-mysql-3.0.28/COPYING
/usr/share/doc/zabbix-server-mysql-3.0.28/ChangeLog
/usr/share/doc/zabbix-server-mysql-3.0.28/NEWS
/usr/share/doc/zabbix-server-mysql-3.0.28/README
/usr/share/doc/zabbix-server-mysql-3.0.28/create.sql.gz
/usr/share/man/man8/zabbix_server.8.gz
/var/log/zabbix
/var/run/zabbix
[root@zabbix ~]# cd /usr/share/doc/zabbix-server-mysql-3.0.28/
[root@zabbix ~]# gzip -d create.sql.gz
[root@zabbix ~]# mysql -uzbxuser -h127.0.0.1 -pzbxpass zabbix < /usr/share/doc/zabbix-server-mysql-3.0.28/create.sql
[root@zabbix ~]# mysql -uzbxuser -h127.0.0.1 -pzbxpass
MariaDB [(none)]> use zabbix;
Database changed
MariaDB [zabbix]> show tables;
+----------------------------+
| Tables_in_zabbix           |
+----------------------------+
| acknowledges               |
| actions                    |
| alerts                     |
| application_discovery      |
| application_prototype      |
| application_template       |
......

修改zabbix配置文件

[root@zabbix ~]# cp /etc/zabbix/zabbix_server.conf zabbix_server.conf_20191013 #备份配置文件
[root@zabbix ~]# vim /etc/zabbix/zabbix_server.conf
其中：
在GENERAL PARAMETERS段：

ListenPort=10051

SourceIP= 执行监控操作时，zabbix server有多个ip时，指定使用的IP，因为客户端在执行监控时要验证服务端ip的，基于ip授权；

日志设置
日志类型有三种方式：
system  - syslog 写入系统日志；
file    - file specified with LogFile parameter 自定义单独使用日志文件；
console - standard output 日志发往控制台，调试才使用；
LogType=file 日志类型
LogFile=/var/log/zabbix/zabbix_server.log
LogFileSize=0 设置日志文件大小，超过后自动滚动；0表示不滚动；
PidFile=/var/run/zabbix/zabbix_server.pid 服务端pid文件的路径；

DBHost=127.0.0.1 数据库服务器地址；如果不在当前主机此项是必须改的；
DBName=zabbix 数据库名
DBUser=zbxuser 数据库登录用户
DBPassword=zbxpass 数据库登录密码
DBSocket=/var/lib/mysql/mysql.sock 因为mysql数据库在本地，所以，此项为本土通信使用；

启动zabbix

[root@zabbix ~]# vim /etc/sysconfig/selinux  #修改为disabled
SELINUX=disabled
[root@zabbix ~]# reboot
[root@zabbix ~]# systemctl stop firewalld.service
[root@zabbix ~]# systemctl disable firewalld.service
[root@zabbix ~]# systemctl start zabbix-server.service 
[root@zabbix ~]# ss -tnl #10051端口开启
LISTEN      0      128                    *:10051                              *:*                  
LISTEN      0      128                   :::22                                :::*                  
LISTEN      0      100                  ::1:25                                :::*                  
LISTEN      0      128                   :::10051                             :::*      

注意：centos7.1中trousers程序包版本不支持zabbix，所以只有centos7.2以上版本才支持，因此，需升级trousers版本到trousers-0.3.13-1.el7.x86_64.rpm，如果未安装trousers，直接yum安装

配置web端

开启node1：192.168.0.104，部署web界面
安装zabbix仓库步骤省略

[root@node1 ~]# yum install httpd php-mysql php-mbstring php-gd php-bcmath php-ldap php-xml -y
[root@node1 ~]# yum install zabbix-web zabbix-web-mysql -y

指明zabbix的时区，即配置php的时区指定；两种方式修改php时区，一个是全局php.ini，一个是zabbix在php中自己的配置文件/etc/httpd/conf.d/zabbix.conf；

[root@node1 ~]# vim /etc/httpd/conf.d/zabbix.conf
其中：
Alias /zabbix /usr/share/zabbix 路径别名，所有的zabbix页面文件是在/usr/share/zabbix文件中；
仅修改：
php_value date.timezone Asia/Shanghai
其它都是定义授权项的无需修改；
[root@node1 ~]# systemctl start httpd.service
[root@node1 ~]# ss -tnl
State       Recv-Q Send-Q       Local Address:Port                      Peer Address:Port              
LISTEN      0      128                      *:22                                   *:*                  
LISTEN      0      100              127.0.0.1:25                                   *:*                  
LISTEN      0      128                     :::80                                  :::* 

访问web界面，浏览器输入：http://192.168.0.104/zabbix

zabbix欢迎界面

相关组件检查

MySQL连接

zabbix server需要改成服务端IP，图中localhost有误

安装后配置文件：/etc/zabbix/web/zabbix.conf.php，若之前填写出现错误，可以修改

登录界面

默认管理员账户/密码：admin/zabbix

zabbix控制面板

配置agent

192.168.0.105

安装agent

[root@agent ~]# yum install zabbix-agent zabbix-sender -y
...
complete!
[root@agent ~]# rpm -ql zabbix-agent
/etc/logrotate.d/zabbix-agent
/etc/zabbix/zabbix_agentd.conf
/etc/zabbix/zabbix_agentd.d
/etc/zabbix/zabbix_agentd.d/userparameter_mysql.conf
/usr/lib/systemd/system/zabbix-agent.service
/usr/lib/tmpfiles.d/zabbix-agent.conf
/usr/sbin/zabbix_agentd
/usr/share/doc/zabbix-agent-3.0.28
/usr/share/doc/zabbix-agent-3.0.28/AUTHORS
/usr/share/doc/zabbix-agent-3.0.28/COPYING
/usr/share/doc/zabbix-agent-3.0.28/ChangeLog
/usr/share/doc/zabbix-agent-3.0.28/NEWS
/usr/share/doc/zabbix-agent-3.0.28/README
/usr/share/doc/zabbix-agent-3.0.28/userparameter_examples.conf
/usr/share/man/man8/zabbix_agentd.8.gz
/var/log/zabbix
/var/run/zabbix

配置文件：/etc/zabbix/zabbix_agentd.conf
Unitd File：zabbix-agent.service

编辑配置文件

[root@agent ~]# vim /etc/zabbix/zabbix_agentd.conf
##### Passive checks related（被动检测相关的配置：agent等待server过来请求数据）
Server=192.168.0.103
可使用逗号分隔授权给哪些zabbix-server或zabbix-proxy过来采集数据的服务器地址列表；
ListenPort=10050 本机的监听端口
ListenIP=0.0.0.0 监听主机，表示本机所有地址；
StartAgents=3 启动agent进程数；

##### Active checks related（主动检测相关的配置：agent主动向server发送监控数据）
ServerActive=192.168.0.103 
以逗号分隔的，当前agent主动发送监控数据过去的server端；
Hostname=node2 在zabbix主机上的主机名；

启动zabbix-agent

[root@agent ~]# systemctl start zabbix-agent.service      
[root@agent ~]# ss -tnl
State       Recv-Q Send-Q     Local Address:Port                    Peer Address:Port              
LISTEN      0      128                    *:22                                 *:*                  
LISTEN      0      100            127.0.0.1:25                                 *:*                  
LISTEN      0      128                    *:10050                              *:*                  
LISTEN      0      128                   :::22                                :::*                  
LISTEN      0      100                  ::1:25                                :::*                  
LISTEN      0      128                   :::10050                             :::*                     

配置监控

一次完整的简单监控配置：
host group --> host --> [application] --> item --> trigger (Events) --> (Media Type,User Group,User) --> action(conditions,operations(send message,remote script))

快速配置

配置item

参数简述

主机配置：
监控主机的接口：4种

• Agent interfaces
• SNMP interfaces
• JMX interfaces
• IPMI interfaces

定义item：key+parameters

key：2种

• zabbix内建：预定义；内建key有n种分类；
  type：agent（被动），agent（主动），snmp v1，...
• 用户自定义：在客户端进行定义，在服务端进行添加；

trigger：触发器

逻辑表达式：{:.(

触发器所支持的函数有avg、count、change、date、dayofweek、delta、diff、iregexp、last、sum、now等

大多数数值函数可以接受秒数为其参数，而如果在数值参数之前使用“#”作为前缀，则表示为最近几次的取值，如sum(300)表示300秒内所有取值之和，而sum(#10)则表示最近10此取值之和
此外，avg、count、last、min和max还支持使用第二个参数，用于完成时间限定；
例如，max(1h,7d)将返回一周之前的最大值

示例：{www.magedu.com:system.cpu.load[all,avg1].last(0)}>3
表示主机www.magedu.com上所有CPU的过去1分钟内的平均负载的最后一次取值大于3时触发状态变换
对于last函数来说，last(0)相当于last(#1)

触发器定义了数据指标的阈值；通常定义不合理区间；

• OK:正常状态 --> 老版本为false;
• PROBLEM：非正常状态 --> 老版本为true;

定义触发器

创建触发器

触发器设置完成

查看监控信息

安全连接：发邮件时是否使用安全的连接

如果使用的是互联网上的邮件服务器，基于认证的方式，填入注册的邮箱、密码即可；

Action：动作

• conditions：触发此动作的条件，一般通过“事件”触发
• operations：触发条件满足时采取的动作

create action

①send message

• Meida Type：传递消息的通道；
• script：用来定义信息通道，完成信息传递的脚本；
  （1）脚本放置路径：在服务器端/etc/zabbix/zabbix_server.conf
  AlertScriptsPath=/usr/lib/zabbix/alerscripts
  （2）zabbix会向脚本传递三个参数：
  $1：经由此信道发送的信息的接收目标；可以是邮箱地址，电话号码；
  $2：信息的主题，subject；
  $3：传递信息的内容；

3.x版本之后三个参数默认不再传递，需要自行定义；可以使用宏来模拟此前的行为

{ALTET.SENDTO}
{ALERT.SUBJECT}
{ALERT.MESSAGE}

注意：每个信息接收人相对于此媒介来说，得配置相应的接收地址

媒介：定义告警方式的传输信息的通道

创建media type

设置media type

用户定义midia type

User：主要定义利用指定信道接收消息；
User Groups：用户的逻辑容器；

②remote command
功能：在agent所在的主机上运行用户指定的命令或脚本来尝试着恢复故障
-重启服务
使用IPMI接口重启服务器；

• 任何自定义脚本可完成的功能
  custom script（常用）
  ssh
  telnet
  global script

Create action

remote command中的脚本是远程执行的脚本，而sent message中media type里的脚本是用来发信息的脚本；

在被管理主机上zabbix_agentd进程是以zabbix用户身份运行的，所以要执行远程命令时，会用到管理权限，所以zabbix基于sudo的方式执行命令；

在192.168.0.105被管理终端上：
第一步：开启zabbix用户的sudo管理权限：

[root@agent ~]# visudo
## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL
zabbix  ALL=(ALL)       NOPASSWD: ALL

#Defaults requiretty #把此项注释掉，否则远程执行命令失败，表示不需要控制终端

第二步：开启zabbix server执行远程命令

[root@agent ~]# vim /etc/zabbix/zabbix_agentd.conf
EnableRemoteCommands=1 允许远程命令在本机执行
LogRemoteCommands=1 启用远程命名执行的记录日志
[root@agent ~]# systemctl restart zabbix-agent.service
[root@agent ~]# usermod -s /bin/bash zabbix

Customed Script前提：
在agent端需要完成的配置：
（1）zabbix用户有所需的管理权限（基于sudo授权实现）；

1. Defaults requiretty，修改为 # Defaults requiretty，表示不需要控制终端；
2. Defaults requiretty，修改为 Defaults:nobody !requitretty，表示用户不需要控制终端；

（2）agent进程要允许执行远程命令；/etc/zabbix/zabbix_agentd.conf
EnableRemoteCommands=1

可执行的命令类型：5种方式

• IPMI
• ssh：需要提供账号、密码，一般不使用；
• telnet
• Customed Script：自定义脚本
  sudo /usr/bin/systemctl restart httpd.service
• Global Script

告警升级：
（1）remote command
（2）send message

在zabbix server端编辑发送邮件的脚本：
例如：

[root@agent ~]# vim /usr/lib/zabbix/alertscripts/sendmail.sh
#!/bin/bash
# 
contact=$1
subject=$2
body=$3

echo "$body" | mail -s "$subject" "$contact"

[root@agent ~]# chmod +x /usr/lib/zabbix/alertscripts/sendmail.sh 
[root@agent lib]# /usr/lib/zabbix/alertscripts/sendmail.sh root@localhost "test" "test body"
[root@agent lib]# mail
Heirloom Mail version 12.5 7/5/10.  Type ? for help.
"/var/spool/mail/root": 1 message 1 new
>N  1 root                  Fri Nov 15 19:57  18/598   "test"
& 

在web页面设置：

[root@agent ~]# vim /etc/zabbix/zabbix_server.conf
DebugLevel=5 开启调试级别