h2. Схема взаимодействия служб сбора статистики.
В биллинге имеются две схемы обработки статистики. Старая и новая. По у молчанию включена *старая* схема.
h3. Старая схема: nf_collector + traf_reporter + bstatd
Статистика приходит по протоколу netflow на порт 9996 и обрабатывается демоном nf_collector.
Путь трафика от маршрутизатора, до детальной статистики довольно длинный:
# Маршрутизатор шлет на биллинг NetFlow определенной версии на определенный порт биллинга (стандартный порт netflow: 9996)
# Билинг слушает с помощью демона *nf_collector* этот порт и собирает статистику в память, и согласно конфигурационному файлу, отправляет её в директорию */var/stat/raw/* (контейнер collector), в названии файла содержится тайм-штамп (время в формате [unixtime|https://ru.wikipedia.org/wiki/Unix-время]) первого пакета и данные для экспорта в детальную статистику в */var/dump/* (так же контейнер collector), в названии файла содержится ip клиента, тайм-штамп.
# Демон *bstatd* берёт сырую статистику из директории /var/stat/raw/, агрегирует её и сохраняет в директорию */var/stat/binstat/*, разбитую по директориям: месяц/user_id, например 201501/297. В последствии эти данные отображаются в детальной статистике абонента.
# Демон *traf_reporter* берет данные из директории /var/dump/ и отправляет их на радиус демону *radiusd_traf* (контейнер asr_billing). Демон radiusd_traf кладет данные в отдельную базу, в последствии [worker|CarbonBilling:Worker] биллинга обрабатывает эти данные и наполняет ими таблицу [counters|CarbonBilling:Счетчики услуг. Вкладка "Расход".].
!nf_collector_old.png|border=1!
h3. Новая схема: nfsen \-> nf_collector + traf_reporter (опционально + bstatd)
Статистика приходит по протоколу netflow на порт 9996 и обрабатывается демоном nfcapd.
!nf_collector_new.png|border=1!
h2. Настройка сбора статистики.
Для настройки сбора статистики используется web интерфейс.
!stat01.png|border=1,width=449,height=225!
Далее
!stat02.png|border=1!
Доступные настройки:
# *Включить bstatd для детальной статистики (снято с поддержки)*
Включает использование демона bstatd. В этом случае статистика собирается в формате bstatd её можно увидеть в Разделе "Детальная статистика" в учётной записи абонента.
# *Порт для сбора статистики*
Порт, на котором будет приниматься netflow трафик. Стандартное значение 9996.
# *IP для дублирования статистики*
IP для дублирования статистики. Используется для отправки статистики nfcapd в nf_collector. Стандартное значение 169.254.99.95.
# *Порт для дублирования статистики*
Порт для дублирования статистики. Стандартное значение 9995.
# *Агрегировать статистику*
Опция включает использование демона nf_collector.
# *Сохранять сырую статистику в формате nfcapd для анализа nfsen*
Опция включает сохранение сырой статистики в формате nfcapd. Далее её можно просматривать в web интерфейсе nfsen.
# *Отправлять агрегированную статистику на Биллинг*
Включает подсчёт объёмов трафика и отправку её в БД биллинга.
# *Адрес Биллинга для отправки статистики*
IP адрес службы raddb_traf. Служба принимает значения по объёму трафика в по протоколу radius. Стандартное значение 169.254.38.13.
# *Порт Биллинга для отправки статистики*
Порт службы raddb_traf. Стандартное значение 3813.
h2. Настойки сохранения сырой статистики
Так же web интерфейсе можно настроить параметры сохранения сырой статистики:
!stat03.png|border=1!
Настройки:
# *IP адрес для доступа к API биллинга:*
IP адрес для доступа к API биллинга. По умолчанию: 169.254.80.82. В данный момент недоступно для редактирования.
# *Логин для доступа к API биллинга:*
Логин для доступа к API биллинга. По умолчанию root. В данный момент недоступно для редактирования.
# *Пароль для доступа к API биллинга:*
Пароль для доступа к API биллинга. По умолчанию servicemode. В данный момент недоступно для редактирования.
# *Порт для доступа к API биллинга:*
Порт для доступа к API биллинга. По умолчанию 8082. В данный момент недоступно для редактирования.
# *Объем данных для подтверждения валидности ip адреса клиента, мб.*
Объем данных для подтверждения валидности ip адреса клиента, мб.
# *Интервал экспорта детальной статистики (bstatd):*
Интервал экспорта детальной статистики (bstatd). По умолчанию 30 секунд.
# *Порог для экспорта статистики, мб.*
Порог для экспорта статистики, мб. По умолчанию 512.
# *Интервал проверки массива экспорта в bstatd, сек.*
Интервал проверки массива экспорта в bstatd, сек. По умолчанию 300.
# *Директория сохранения статистики для Биллинга*
Используется для сохранения статистики об объёмах трафика и дальнейшей передачи её в биллинг через службу reporter. По умолчанию /var/dump
# *Экспорт статистики по времени в Биллинг, сек.*
Интервал времени, в который служба reporter переносит данные по объёму трафика в БД биллинга. По умолчанию 1800 сек.
# *Уровень логгирования:*
Уровень логирования nf_collector. Используется при поиске проблем. Доступные значения: ERROR, INFO, DEBUG.
# *Использовать NAT в Netflow v9:*
В сырую и агрегированную статистику будет сохраняться SNAT адрес.
# *Директория сохранения статистики для bstatd:*
Директория сохранения статистики для bstatd. По умолчанию /var/stat/raw.
# *Сохранять статистику для bstatd:*
При включённой опции статистика будет сохраняться для обработки демоном bstat.
# *Директория для сохранения:*
Директория для сохранения статистики в формате nfcapd. По умолчанию /var/stat/raw.
# *Сохранять сырую статистику:*
При включённой опции статистика будет сохраняться для обработки демоном nfcapd.
# *Размер одного файла:*
Размер одного файла для сохранения статистики. По умолчанию 50 Мб.
В биллинге имеются две схемы обработки статистики. Старая и новая. По у молчанию включена *старая* схема.
h3. Старая схема: nf_collector + traf_reporter + bstatd
Статистика приходит по протоколу netflow на порт 9996 и обрабатывается демоном nf_collector.
Путь трафика от маршрутизатора, до детальной статистики довольно длинный:
# Маршрутизатор шлет на биллинг NetFlow определенной версии на определенный порт биллинга (стандартный порт netflow: 9996)
# Билинг слушает с помощью демона *nf_collector* этот порт и собирает статистику в память, и согласно конфигурационному файлу, отправляет её в директорию */var/stat/raw/* (контейнер collector), в названии файла содержится тайм-штамп (время в формате [unixtime|https://ru.wikipedia.org/wiki/Unix-время]) первого пакета и данные для экспорта в детальную статистику в */var/dump/* (так же контейнер collector), в названии файла содержится ip клиента, тайм-штамп.
# Демон *bstatd* берёт сырую статистику из директории /var/stat/raw/, агрегирует её и сохраняет в директорию */var/stat/binstat/*, разбитую по директориям: месяц/user_id, например 201501/297. В последствии эти данные отображаются в детальной статистике абонента.
# Демон *traf_reporter* берет данные из директории /var/dump/ и отправляет их на радиус демону *radiusd_traf* (контейнер asr_billing). Демон radiusd_traf кладет данные в отдельную базу, в последствии [worker|CarbonBilling:Worker] биллинга обрабатывает эти данные и наполняет ими таблицу [counters|CarbonBilling:Счетчики услуг. Вкладка "Расход".].
!nf_collector_old.png|border=1!
h3. Новая схема: nfsen \-> nf_collector + traf_reporter (опционально + bstatd)
Статистика приходит по протоколу netflow на порт 9996 и обрабатывается демоном nfcapd.
!nf_collector_new.png|border=1!
h2. Настройка сбора статистики.
Для настройки сбора статистики используется web интерфейс.
!stat01.png|border=1,width=449,height=225!
Далее
!stat02.png|border=1!
Доступные настройки:
# *Включить bstatd для детальной статистики (снято с поддержки)*
Включает использование демона bstatd. В этом случае статистика собирается в формате bstatd её можно увидеть в Разделе "Детальная статистика" в учётной записи абонента.
# *Порт для сбора статистики*
Порт, на котором будет приниматься netflow трафик. Стандартное значение 9996.
# *IP для дублирования статистики*
IP для дублирования статистики. Используется для отправки статистики nfcapd в nf_collector. Стандартное значение 169.254.99.95.
# *Порт для дублирования статистики*
Порт для дублирования статистики. Стандартное значение 9995.
# *Агрегировать статистику*
Опция включает использование демона nf_collector.
# *Сохранять сырую статистику в формате nfcapd для анализа nfsen*
Опция включает сохранение сырой статистики в формате nfcapd. Далее её можно просматривать в web интерфейсе nfsen.
# *Отправлять агрегированную статистику на Биллинг*
Включает подсчёт объёмов трафика и отправку её в БД биллинга.
# *Адрес Биллинга для отправки статистики*
IP адрес службы raddb_traf. Служба принимает значения по объёму трафика в по протоколу radius. Стандартное значение 169.254.38.13.
# *Порт Биллинга для отправки статистики*
Порт службы raddb_traf. Стандартное значение 3813.
h2. Настойки сохранения сырой статистики
Так же web интерфейсе можно настроить параметры сохранения сырой статистики:
!stat03.png|border=1!
Настройки:
# *IP адрес для доступа к API биллинга:*
IP адрес для доступа к API биллинга. По умолчанию: 169.254.80.82. В данный момент недоступно для редактирования.
# *Логин для доступа к API биллинга:*
Логин для доступа к API биллинга. По умолчанию root. В данный момент недоступно для редактирования.
# *Пароль для доступа к API биллинга:*
Пароль для доступа к API биллинга. По умолчанию servicemode. В данный момент недоступно для редактирования.
# *Порт для доступа к API биллинга:*
Порт для доступа к API биллинга. По умолчанию 8082. В данный момент недоступно для редактирования.
# *Объем данных для подтверждения валидности ip адреса клиента, мб.*
Объем данных для подтверждения валидности ip адреса клиента, мб.
# *Интервал экспорта детальной статистики (bstatd):*
Интервал экспорта детальной статистики (bstatd). По умолчанию 30 секунд.
# *Порог для экспорта статистики, мб.*
Порог для экспорта статистики, мб. По умолчанию 512.
# *Интервал проверки массива экспорта в bstatd, сек.*
Интервал проверки массива экспорта в bstatd, сек. По умолчанию 300.
# *Директория сохранения статистики для Биллинга*
Используется для сохранения статистики об объёмах трафика и дальнейшей передачи её в биллинг через службу reporter. По умолчанию /var/dump
# *Экспорт статистики по времени в Биллинг, сек.*
Интервал времени, в который служба reporter переносит данные по объёму трафика в БД биллинга. По умолчанию 1800 сек.
# *Уровень логгирования:*
Уровень логирования nf_collector. Используется при поиске проблем. Доступные значения: ERROR, INFO, DEBUG.
# *Использовать NAT в Netflow v9:*
В сырую и агрегированную статистику будет сохраняться SNAT адрес.
# *Директория сохранения статистики для bstatd:*
Директория сохранения статистики для bstatd. По умолчанию /var/stat/raw.
# *Сохранять статистику для bstatd:*
При включённой опции статистика будет сохраняться для обработки демоном bstat.
# *Директория для сохранения:*
Директория для сохранения статистики в формате nfcapd. По умолчанию /var/stat/raw.
# *Сохранять сырую статистику:*
При включённой опции статистика будет сохраняться для обработки демоном nfcapd.
# *Размер одного файла:*
Размер одного файла для сохранения статистики. По умолчанию 50 Мб.