Описание работы служб сбора статистики

Skip to end of metadata
Go to start of metadata

Схема взаимодействия служб сбора статистики.

В биллинге имеются две схемы обработки статистики. Старая и новая. По у молчанию включена старая схема.

Старая схема: nf_collector + traf_reporter + bstatd

Статистика приходит по протоколу netflow на порт 9996 и обрабатывается демоном nf_collector.

Путь трафика от маршрутизатора, до детальной статистики довольно длинный:

  1. Маршрутизатор шлет на биллинг NetFlow определенной версии на определенный порт биллинга (стандартный порт netflow: 9996)
  2. Билинг слушает с помощью демона nf_collector этот порт и собирает статистику в память, и согласно конфигурационному файлу, агрегирует по SRC_IP и отправляет её в директорию /var/stat/raw/ для последующего переноса в детальную статистику, в названии файла содержится тайм-штамп (время в формате unixtime) первого пакета; данные для для расхода абонента отправляются в папку /var/dump/, в названии файла содержится ip клиента, тайм-штамп.
  3. Демон bstatd берёт агрегированную статистику из директории /var/stat/raw/, перемещает в папку /var/stat/agreg/trash, преобразует формат и сохраняет в директорию /var/stat/binstat/, разбитую по директориям: месяц/user_id, например 201501/297. В последствии эти данные отображаются в детальной статистике абонента.
    Если процесс bstatd был завершен неудачно не успев обработать какую-то статистику из папки /var/stat/agrag/trash, он возвращает её в папку. Перезапустите процесс, чтобы демон заново обработал эту статистику:
    chroot /app/collector service bstatd restart
  4. Демон traf_reporter берет данные из директории /var/dump/ и отправляет их на радиус демону radiusd_traf (контейнер asr_billing). Демон radiusd_traf кладет данные в отдельную базу, в последствии worker биллинга обрабатывает эти данные и наполняет ими таблицу counters.

Новая схема: nfsen -> nf_collector + traf_reporter (опционально + bstatd)

Статистика приходит по протоколу netflow на порт 9996 и обрабатывается демоном nfcapd.

Настройка сбора статистики.

Для настройки сбора статистики используется web интерфейс.

Далее

Доступные настройки:

  1. Включить bstatd для детальной статистики (снято с поддержки)
    Включает использование демона bstatd. В этом случае статистика собирается в формате bstatd её можно увидеть в Разделе "Детальная статистика" в учётной записи абонента.
  2. Порт для сбора статистики
    Порт, на котором будет приниматься netflow трафик. Стандартное значение 9996.
  3. IP для дублирования статистики
    IP для дублирования статистики. Используется для отправки статистики nfcapd в nf_collector. Стандартное значение 169.254.99.95.
  4. Порт для дублирования статистики
    Порт для дублирования статистики. Стандартное значение 9995.
  5. Агрегировать статистику
    Опция включает использование демона nf_collector.
  6. Сохранять сырую статистику в формате nfcapd для анализа nfsen
    Опция включает сохранение сырой статистики в формате nfcapd. Далее её можно просматривать в web интерфейсе nfsen.
  7. Отправлять агрегированную статистику на Биллинг
    Включает подсчёт объёмов трафика и отправку её в БД биллинга.
  8. Адрес Биллинга для отправки статистики
    IP адрес службы raddb_traf. Служба принимает значения по объёму трафика в по протоколу radius. Стандартное значение 169.254.38.13.
  9. Порт Биллинга для отправки статистики
    Порт службы raddb_traf. Стандартное значение 3813.

Настойки сохранения сырой статистики

Так же web интерфейсе можно настроить параметры сохранения сырой статистики:

Настройки:

  1. IP адрес для доступа к API биллинга:
    IP адрес для доступа к API биллинга. По умолчанию: 169.254.80.82. В данный момент недоступно для редактирования.
  2. Логин для доступа к API биллинга:
    Логин для доступа к API биллинга. По умолчанию root. В данный момент недоступно для редактирования.
  3. Пароль для доступа к API биллинга:
    Пароль для доступа к API биллинга. По умолчанию servicemode. В данный момент недоступно для редактирования.
  4. Порт для доступа к API биллинга:
    Порт для доступа к API биллинга. По умолчанию 8082. В данный момент недоступно для редактирования.
  5. Объем данных для подтверждения валидности ip адреса клиента, мб.
    Объем данных для подтверждения валидности ip адреса клиента, мб.
  6. Интервал экспорта детальной статистики (bstatd):
    Интервал экспорта детальной статистики (bstatd). По умолчанию 30 секунд.
  7. Порог для экспорта статистики, мб.
    Порог для экспорта статистики, мб. По умолчанию 512.
  8. Интервал проверки массива экспорта в bstatd, сек.
    Интервал проверки массива экспорта в bstatd, сек. По умолчанию 300.
  9. Директория сохранения статистики для Биллинга
    Используется для сохранения статистики об объёмах трафика и дальнейшей передачи её в биллинг через службу reporter. По умолчанию /var/dump
  10. Экспорт статистики по времени в Биллинг, сек.
    Интервал времени, в который служба reporter переносит данные по объёму трафика в БД биллинга. По умолчанию 1800 сек.
  11. Уровень логгирования:
    Уровень логирования nf_collector. Используется при поиске проблем. Доступные значения: ERROR, INFO, DEBUG.
  12. Использовать NAT в Netflow v9:
    В сырую и агрегированную статистику будет сохраняться SNAT адрес.
  13. Директория сохранения статистики для bstatd:
    Директория сохранения статистики для bstatd. По умолчанию /var/stat/raw.
  14. Сохранять статистику для bstatd:
    При включённой опции статистика будет сохраняться для обработки демоном bstat.
  15. Директория для сохранения:
    Директория для сохранения статистики в формате nfcapd. По умолчанию /var/stat/raw.
  16. Сохранять сырую статистику:
    При включённой опции статистика будет сохраняться для обработки демоном nfcapd.
  17. Размер одного файла:
    Размер одного файла для сохранения статистики. По умолчанию 50 Мб.
Введите метки, чтобы добавить к этой странице:
Please wait 
Ищите метку? просто начните печатать.