...
Carbon Reductor позволяет мониторить состояние сервера по определенным метрикам с помощью демона collectd.
h2. Установка и настройка
*Шаг 1.* На сервере с Carbon Reductor выполняем следующие команды:
{code}
cd /root/
yum -y install collectd git
chkconfig --level 345 collectd on
git clone https://download5.carbonsoft.ru/reductor/collectd-reductor
cd collectd-reductor
make install_collectd
{code}
*Шаг 2.* Настраиваем отправку метрик на сервер, занимающийся их хранением (откуда их можно брать для анализа, оповещений и т.д.).
В файле: /etc/collectd.conf:
{code}
<Plugin network>
Server "10.50.140.131"
</Plugin>
{code}
В нём же исправляем строчку:
{code}
Include "/etc/collectd.d/"
{code}
на
{code}
Include "/etc/collectd.d/*.conf"
{code}
*Шаг 3.* Перезапустите демон collectd
{code}
service collectd restart
{code}
h2. Доступные метрики
Число загруженных URL/доменов
Число элементов в внутренней базе данных (важно в основном для разработки)
Число проверенных пакетов
Число срабатываний модулей
Состояние активации
h2. Формат метрик
h4.
Метрики отсылаются в формате:
{panel}
PUTVAL хост/модуль/gauge-метрика время:значение
{panel}
h4. *Модуль HTTP-матчинга (ipt_reductor):*
* activation_error: 0 - всё в порядке, 1 - ошибка
* database - то что загружено в память модуля
** buffer - промежуточная база данных
** readonly - используемая база данных
** urls - загруженные в базу URL
** elements - элементы на которые дробится URL при добавлении в базу URL
* packets
** matched - число срабатываний модуля
** checked - число проверенных пакетов
** skipped - число проигнорированных из-за лицензии пакетов
PUTVAL reductor_stand/ipt_reductor/gauge-activation_error 1490010353:0
PUTVAL reductor_stand/ipt_reductor/gauge-database_buffer_urls 1490010353:69791
PUTVAL reductor_stand/ipt_reductor/gauge-database_readonly_urls 1490010353:69791
PUTVAL reductor_stand/ipt_reductor/gauge-database_buffer_elements 1490010353:89564
PUTVAL reductor_stand/ipt_reductor/gauge-database_readonly_elements 1490010353:89564
PUTVAL reductor_stand/ipt_reductor/gauge-packets_matched 1490010353:1
PUTVAL reductor_stand/ipt_reductor/gauge-packets_checked 1490010353:16068546
PUTVAL reductor_stand/ipt_reductor/gauge-packets_skipped 1490010353:0
h4. *Модуль DNS-матчинга (ipt_dnsmatch):*
Всё абсолютно то же самое, что и в ipt_reductor, только вместо URL домены.
* packets_slowpath - число DNS-пакетов, для проверки которых приходилось дополнительно выделять память. Таких пакетов пока замечено не было.
PUTVAL reductor_stand/ipt_dnsmatch/gauge-activation_error 1490010353:0
PUTVAL reductor_stand/ipt_dnsmatch/gauge-database_buffer_domains 1490010353:18369
PUTVAL reductor_stand/ipt_dnsmatch/gauge-database_readonly_domains 1490010353:18369
PUTVAL reductor_stand/ipt_dnsmatch/gauge-database_buffer_elements 1490010353:19849
PUTVAL reductor_stand/ipt_dnsmatch/gauge-database_readonly_elements 1490010353:19849
PUTVAL reductor_stand/ipt_dnsmatch/gauge-packets_matched 1490010353:633179
PUTVAL reductor_stand/ipt_dnsmatch/gauge-packets_checked 1490010353:8696581
PUTVAL reductor_stand/ipt_dnsmatch/gauge-packets_skipped 1490010353:0
PUTVAL reductor_stand/ipt_dnsmatch/gauge-packets_slowpath 1490010353:0
PUTVAL reductor_stand/ipt_snimatch/gauge-activation_error 1490010353:0
h4. *Модуль HTTPS-матчинга (ipt_snimatch):*
Всё то же самое, что и у ipt_dnsmatch и ipt_reductor.
* packets-ambigous - не удалось определить размер TCP-заголовка стандартными средствами ядра Linux. Приводит к более медленному срабатыванию и дополнительной (но незначительной) нагрузке на сервер.
* packets-nonlinear и packets-notmatched - служебная статистика для разработчиков, нужна для отслеживания ситуаций, которые не должны никак происходить.
PUTVAL reductor_stand/ipt_snimatch/gauge-database_buffer_domains 1490010353:18368
PUTVAL reductor_stand/ipt_snimatch/gauge-database_readonly_domains 1490010353:18368
PUTVAL reductor_stand/ipt_snimatch/gauge-database_buffer_elements 1490010353:19754
PUTVAL reductor_stand/ipt_snimatch/gauge-database_readonly_elements 1490010353:19754
PUTVAL reductor_stand/ipt_snimatch/gauge-packets_matched 1490010353:0
PUTVAL reductor_stand/ipt_snimatch/gauge-packets_notmatched 1490010353:2842349
PUTVAL reductor_stand/ipt_snimatch/gauge-packets_ambigous 1490010353:2842310
PUTVAL reductor_stand/ipt_snimatch/gauge-packets_nonlinear 1490010353:0
PUTVAL reductor_stand/ipt_snimatch/gauge-packets_checked 1490010353:2842344
PUTVAL reductor_stand/ipt_snimatch/gauge-packets_skipped 1490010353:0
h4. *Сигнатуры и списки*
* signatures - размер списка сигнатур, нужных модулю ipt_reductor
* lists
** rkn - то, что было извлечено из реестра, без дополнительной обработки
** load - то, что было обработано Carbon Reductor: агрегировано, модифцировано и т.д. Это то, что реально используется для фильтрации.
Подробную документацию по тому, какой список чем является можно посмотреть [здесь|CarbonReductor:Списки. Какой список чем является]
PUTVAL reductor_stand/reductor_cache/gauge-signatures 1490010353:71854
PUTVAL reductor_stand/lists/gauge-rkn.url_http 1490010353:57193
PUTVAL reductor_stand/lists/gauge-rkn.ip_port 1490010353:9
PUTVAL reductor_stand/lists/gauge-rkn.domain_mask 1490010353:139
PUTVAL reductor_stand/lists/gauge-rkn.url_https 1490010353:4233
PUTVAL reductor_stand/lists/gauge-rkn.domain_exact 1490010353:17205
PUTVAL reductor_stand/lists/gauge-rkn.port_http 1490010353:6
PUTVAL reductor_stand/lists/gauge-rkn.ip_https_plus 1490010353:8200
PUTVAL reductor_stand/lists/gauge-rkn.port_https 1490010353:2
PUTVAL reductor_stand/lists/gauge-rkn.ip_https 1490010353:38
PUTVAL reductor_stand/lists/gauge-rkn.ip_block 1490010353:1434
PUTVAL reductor_stand/lists/gauge-rkn.domain_proxy 1490010353:1034
PUTVAL reductor_stand/lists/gauge-rkn.url_unknown 1490010353:0
PUTVAL reductor_stand/lists/gauge-load.ip_block 1490010353:1438
PUTVAL reductor_stand/lists/gauge-load.ip_https_plus 1490010353:10973
PUTVAL reductor_stand/lists/gauge-load.url_hsts 1490010353:2035
PUTVAL reductor_stand/lists/gauge-load.url_http 1490010353:69791
PUTVAL reductor_stand/lists/gauge-load.port_https 1490010353:2
PUTVAL reductor_stand/lists/gauge-load.ip6_https_plus 1490010353:1640
PUTVAL reductor_stand/lists/gauge-load.domain_mask 1490010353:18365
PUTVAL reductor_stand/lists/gauge-load.ip6_port 1490010353:0
PUTVAL reductor_stand/lists/gauge-load.port_http 1490010353:6
PUTVAL reductor_stand/lists/gauge-load.ip_https 1490010353:38
PUTVAL reductor_stand/lists/gauge-load.url_https 1490010353:7800
PUTVAL reductor_stand/lists/gauge-load.ip_port 1490010353:9
PUTVAL reductor_stand/lists/gauge-load.ip6_https 1490010353:0
PUTVAL reductor_stand/lists/gauge-load.domain_hsts 1490010353:1
