Описание работы служб сбора статистики

Схема взаимодействия служб сбора статистики.

В биллинге имеются две схемы обработки статистики. Старая и новая. По у молчанию включена старая схема.

Старая схема: nf_collector + traf_reporter + bstatd

Статистика приходит по протоколу netflow на порт 9996 и обрабатывается демоном nf_collector.

Путь трафика от маршрутизатора, до детальной статистики довольно длинный:

1. Маршрутизатор шлет на биллинг NetFlow определенной версии на определенный порт биллинга (стандартный порт netflow: 9996)
2. Билинг слушает с помощью демона nf_collector этот порт и собирает статистику в память, и согласно конфигурационному файлу, отправляет её в директорию /var/stat/raw/ (контейнер collector), в названии файла содержится тайм-штамп (время в формате unixtime) первого пакета и данные для экспорта в детальную статистику в /var/dump/ (так же контейнер collector), в названии файла содержится ip клиента, тайм-штамп.
3. Демон bstatd берёт сырую статистику из директории /var/stat/raw/, агрегирует её и сохраняет в директорию /var/stat/binstat/, разбитую по директориям: месяц/user_id, например 201501/297. В последствии эти данные отображаются в детальной статистике абонента.
4. Демон traf_reporter берет данные из директории /var/dump/ и отправляет их на радиус демону radiusd_traf (контейнер asr_billing). Демон radiusd_traf кладет данные в отдельную базу, в последствии [worker] биллинга обрабатывает эти данные и наполняет ими таблицу counters.

Новая схема: nfsen -> nf_collector + traf_reporter (опционально + bstatd)

Статистика приходит по протоколу netflow на порт 9996 и обрабатывается демоном nfcapd.

Настройка сбора статистики.

Для настройки сбора статистики используется web интерфейс.

Далее

Доступные настройки:

1. Включить bstatd для детальной статистики (снято с поддержки)
   Включает использование демона bstatd. В этом случае статистика собирается в формате bstatd её можно увидеть в Разделе "Детальная статистика" в учётной записи абонента.
2. Порт для сбора статистики
   Порт, на котором будет приниматься netflow трафик. Стандартное значение 9996.
3. IP для дублирования статистики
   IP для дублирования статистики. Используется для отправки статистики nfcapd в nf_collector. Стандартное значение 169.254.99.95.
4. Порт для дублирования статистики
   Порт для дублирования статистики. Стандартное значение 9995.
5. Агрегировать статистику
   Опция включает использование демона nf_collector.
6. Сохранять сырую статистику в формате nfcapd для анализа nfsen
   Опция включает сохранение сырой статистики в формате nfcapd. Далее её можно просматривать в web интерфейсе nfsen.
7. Отправлять агрегированную статистику на Биллинг
   Включает подсчёт объёмов трафика и отправку её в БД биллинга.
8. Адрес Биллинга для отправки статистики
   IP адрес службы raddb_traf. Служба принимает значения по объёму трафика в по протоколу radius. Стандартное значение 169.254.38.13.
9. Порт Биллинга для отправки статистики
   Порт службы raddb_traf. Стандартное значение 3813.

Настойки сохранения сырой статистики

Так же web интерфейсе можно настроить параметры сохранения сырой статистики:

Настройки:

1. IP адрес для доступа к API биллинга:
   IP адрес для доступа к API биллинга. По умолчанию: 169.254.80.82. В данный момент недоступно для редактирования.
2. Логин для доступа к API биллинга:
   Логин для доступа к API биллинга. По умолчанию root. В данный момент недоступно для редактирования.
3. Пароль для доступа к API биллинга:
   Пароль для доступа к API биллинга. По умолчанию servicemode. В данный момент недоступно для редактирования.
4. Порт для доступа к API биллинга:
   Порт для доступа к API биллинга. По умолчанию 8082. В данный момент недоступно для редактирования.
5. Объем данных для подтверждения валидности ip адреса клиента, мб.
   Объем данных для подтверждения валидности ip адреса клиента, мб.
6. Интервал экспорта детальной статистики (bstatd):
   Интервал экспорта детальной статистики (bstatd). По умолчанию 30 секунд.
7. Порог для экспорта статистики, мб.
   Порог для экспорта статистики, мб. По умолчанию 512.
8. Интервал проверки массива экспорта в bstatd, сек.
   Интервал проверки массива экспорта в bstatd, сек. По умолчанию 300.
9. Директория сохранения статистики для Биллинга
   Используется для сохранения статистики об объёмах трафика и дальнейшей передачи её в биллинг через службу reporter. По умолчанию /var/dump
10. Экспорт статистики по времени в Биллинг, сек.
    Интервал времени, в который служба reporter переносит данные по объёму трафика в БД биллинга. По умолчанию 1800 сек.
11. Уровень логгирования:
    Уровень логирования nf_collector. Используется при поиске проблем. Доступные значения: ERROR, INFO, DEBUG.
12. Использовать NAT в Netflow v9:
    В сырую и агрегированную статистику будет сохраняться SNAT адрес, он так же будет заменяться в учетной записи в поле "IP адрес для SNAT", при изменении сохраняться в истории учетной записи.
13. Директория сохранения статистики для bstatd:
    Директория сохранения статистики для bstatd. По умолчанию /var/stat/raw.
14. Сохранять статистику для bstatd:
    При включённой опции статистика будет сохраняться для обработки демоном bstat.
15. Директория для сохранения:
    Директория для сохранения статистики в формате nfcapd. По умолчанию /var/stat/raw.
16. Сохранять сырую статистику:
    При включённой опции статистика будет сохраняться для обработки демоном nfcapd.
17. Размер одного файла:
    Размер одного файла для сохранения статистики. По умолчанию 50 Мб.