{toc}
h1. Включение nfsen
Для настройки nfsen и bstatd в базовом меню откройте пункт "[Система сбора статистики|CarbonBilling:Описание работы служб сбора статистики]" и настройте следующие опции:
* *Основные настройки \-> Сохранять сырую статистику в формате nfcapd для анализа nfsen*: +включите+
* *Основные настройки \-> Включить bstatd для детальной статистики*: +выключите+
* *Настройка сохранения сырой статистики \-> Сохранять статистику для bstatd*: +выключите+
{info}* После изменения настроек, nfcapd будет собираться в каталоге /app/collector/var/nfcapd_dump/
* Можно оставить обе службы в работе, - nfsen для точности и предоставления правоохранительным органам, bstatd для отображения статистики в ЛК, - но это потребует довольно много дискового пространства. Рекомендуется в таком случае установить диск объёмом не менее 4Тб{info}
{info}
* Чтобы сырая статистика для bstatd не собиралась в /var/stat/raw (если используется nfsen вместо bstatd), необходимо в настройках системы мониторинга в разделе "Настройка сохранения сырой статистики" отключить опцию "сохранять сырую статистику".
{info}
h1. Использование nfsen
# После включения *nfsen*, на странице управления сервером появится новый элемент "*Детальная статистика Netflow*"
\\
\\ !nfsen_base.png|border=1!\\
\\
# В интерфейсе детальной статистики перейдите на вкладку "*Details*"
\\
\\ !nfsen_interface.png|border=1!\\
\\
# Выберите требуемый период, за который необходимо посмотреть статистику
\\
\\ !nfsen_selectperiod.png|border=1!\\
\\
# Выберите "*List Flows*" чтобы отобразить зарегистрированные потоки трафика, либо "*Stat TopN*" чтобы отобразить топ трафика по хостам. Нажмите "*process*"
Настроить фильтры Вы можете используя документацию "[NfSen. Filter Syntax|http://nfsen.sourceforge.net/#mozTocId652064]"
\\
\\ !nfsen_netflow_processing.png|border=1!
h1. Примеры использования
*Задача: получить данные за период 13.03.2020 08:00 по 13.03.2020 12:00*
Выбираем временное окно.
\\
\\
\\
h1. Получение данных в командной строке
Примеры использования и полное описание формата данных и работы с ними Вы можете получить в документации проекта *nfdump* [http://nfdump.sourceforge.net]
*nfsen* является веб-интерфейсом для удобства получение данных. При просмотре детальной статистики он делает вызовы к командному интерфейсу *nfdump*.
Данные nfdump хранятся в папке */app/collector/var/nfcapd_dump/live/router* и разбиты по принципу "год/месяц/день". В папке по каждому дню потоки разбиты на файлы по пятиминутным временным промежуткам, например: "nfcapd.201811191500" и имеют следующий формат:
* nfcapd.YYYYmmddHHMMSS, где:
** *nfcapd* \- неизмено и включается в название всех файлов
** *YYYY* \- год полностью, четыре символа
** *mm* \- месяц, два символа (например, январь - 01, февраль - 02 и т.д.)
** *dd* \- число месяца, два символа (например, первое - 01, второе - 02 и т.д.)
** *HH* \- часы, два символа (например, час ночи - 01, час дня - 13 и т.д.)
** *MM* \- минуты, два символа (например, первая минута часа - 01, вторая минута часа - 02 и т.д.)
** *SS* \- секунды, два символа, как правило всегда "00"
Несколько примеров вызова nfdump с пояснениями приведены ниже.
{info}Команда nfdump находится в контейнере collector, перед её использованием выполните команду:
{code}chroot /app/collector{code}{info}
* Трафик за 07 июля 2019 года в период с 00:00 до 11:00 по хосту с адресом 10.10.1.18
{code}nfdump -R /var/nfcapd_dump/live/router/2019/07/ -t 2019/07/08.00:00:00-2019/07/08.11:00:00 'host 10.10.1.18'{code}
* Трафик за 24 января 2019 года в период с 10:55 до 11:25 по хосту с адресом 10.10.1.18
{code}nfdump -R /var/nfcapd_dump/live/router/2019/01/24/nfcapd.201901241055:nfcapd.201901241125 'host 10.10.1.18'{code}
* Трафик за 15 марта 2019 года в период с 16:05 до 17:30, топ 10 потоков сгруппированных по IP и потокам.
{code}nfdump -M /var/nfcapd_dump//live/router -T -R 2019/03/15/nfcapd.201903151605:2019/03/15/nfcapd.201903151730 -n 10 -s ip/flows{code}
* Трафик за 23 октября 2018 года в период с 17:00 до 17:30, топ 10 потоков сгруппированных по IP и потокам только по хосту с адресом 10.46.159.66
{code}nfdump -M /var/nfcapd_dump/live/router -T -R 2018/10/23/nfcapd.201810231700:2018/10/23/nfcapd.201810231730 'host 10.46.159.66' -s ip/bytes{code}
* Трафик за 19 ноябяря 2018 года в период с 15:00 до 16:10, по хосту 10.46.159.66 исключая трафик с локальных сетей 10.0.0.0/8 и 192.168.0.0/16 и Link-Local адреса
{code}nfdump -M /var/nfcapd_dump/live/router -T -R 2018/11/19/nfcapd.201811191500:2018/11/19/nfcapd.201811191610 'host 10.46.159.66 and not src net 10.0.0.0/8 and not src net 192.168.0.0/16 and not net 169.254.0.0/16' -B{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, агрегированный по IP-адресам
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -o extended -s dstip -n 255 | grep -E 'Dst|10.0.0.116|10.0.0.140|10.0.0.136|10.0.0.120|10.0.0.188|10.0.0.160|10.0.0.132|10.0.0.144|10.0.0.92|10.0.0.128'
{code}
{code:title=Вывод}
Top 255 Dst IP Addr ordered by flows:
Date first seen Duration Proto Dst IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp
2020-05-27 17:43:45.554 54957.130 any 10.0.0.92 6261( 0.5) 6447( 0.0) 369438( 0.0) 0 53 57
2020-05-27 17:43:41.334 54960.740 any 10.0.0.140 6239( 0.5) 6325( 0.0) 369195( 0.0) 0 53 58
2020-05-27 17:43:39.804 54961.690 any 10.0.0.160 6223( 0.5) 6417( 0.0) 369384( 0.0) 0 53 57
2020-05-27 17:43:50.034 54949.040 any 10.0.0.144 6222( 0.5) 6300( 0.0) 366055( 0.0) 0 53 58
2020-05-27 17:43:54.184 54938.470 any 10.0.0.136 6188( 0.5) 6248( 0.0) 363664( 0.0) 0 52 58
2020-05-27 17:43:54.044 54936.971 any 10.0.0.120 6187( 0.5) 6246( 0.0) 362871( 0.0) 0 52 58
2020-05-27 17:43:53.274 54950.180 any 10.0.0.132 6186( 0.5) 6254( 0.0) 364476( 0.0) 0 53 58
2020-05-27 17:43:47.204 54956.060 any 10.0.0.128 6158( 0.5) 6222( 0.0) 364034( 0.0) 0 52 58
2020-05-27 17:43:39.644 54960.630 any 10.0.0.116 6126( 0.5) 6170( 0.0) 358314( 0.0) 0 52 58
2020-05-27 17:43:39.364 54962.920 any 10.0.0.188 6082( 0.5) 6137( 0.0) 331378( 0.0) 0 48 53
{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, агрегированный по IP-адресам, результат отфильтрован по адресу 10.0.0.122
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -A dstip | grep -E 'Dst|10.0.0.122'
{code}
{code:title=Вывод}
Date first seen Duration Dst IP Addr Packets Bytes bps Bpp Flows
2020-05-27 17:43:49.894 55853.180 10.0.0.122 372967 283.0 M 40531 758 41027
{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, агрегированный по IP-адресам, результат отфильтрован по адресу 10.0.0.122 - немного другой способ агрегации
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -o extended -s dstip -n 255 | grep -E 'Dst|10.0.0.122'
{code}
{code:title=Вывод}
Top 255 Dst IP Addr ordered by flows:
Date first seen Duration Proto Dst IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp
2020-05-27 17:43:49.894 55853.180 any 10.0.0.122 41027( 3.2) 372967( 0.7) 283.0 M( 0.8) 6 40531 758
{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, в выводе только данные по IP и объёму трафика, вывод отфильтрован до трёх нужных IP-адресов
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -A dstip -o "fmt: %dap %byt" | grep -E 'Dst|10.0.0.128|10.0.0.156|10.0.0.146
{code}
{code:title=Вывод}
Dst IP Addr:Port Bytes
10.0.0.128:0 370294
10.0.0.146:0 634.4 M
10.0.0.156:0 373131
{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, сумма по всей выборке (Summary...total bytes) и вывод топ 3 адресов
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -o extended -s dstip/bytes -n 3
{code}
{code:title=Вывод}
Top 3 Dst IP Addr ordered by bytes:
Date first seen Duration Proto Dst IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp
2020-05-27 17:15:19.104 58460.330 any 10.0.0.166 7980( 0.6) 44.0 M(75.5) 27.9 G(75.9) 751 3.8 M 635
2020-05-27 17:31:47.794 57475.780 any 10.0.0.114 60325( 4.6) 2.6 M( 4.4) 2.4 G( 6.6) 44 336593 945
2020-05-27 17:42:54.914 56808.800 any 10.0.0.142 35588( 2.7) 1.1 M( 1.9) 1.2 G( 3.3) 19 168935 1103
Summary: total flows: 1297366, total bytes: 35.7 G, total packets: 56.4 M, avg bps: 4.9 M, avg pps: 975, avg bpp: 632
Time window: 2020-05-27 17:15:18 - 2020-05-28 09:19:43
Total flows processed: 5559870, Blocks skipped: 0, Bytes read: 289138140
Sys: 0.468s flows/second: 11856553.7 Wall: 0.467s flows/second: 11882907.9
{code}
h1. Включение nfsen
Для настройки nfsen и bstatd в базовом меню откройте пункт "[Система сбора статистики|CarbonBilling:Описание работы служб сбора статистики]" и настройте следующие опции:
* *Основные настройки \-> Сохранять сырую статистику в формате nfcapd для анализа nfsen*: +включите+
* *Основные настройки \-> Включить bstatd для детальной статистики*: +выключите+
* *Настройка сохранения сырой статистики \-> Сохранять статистику для bstatd*: +выключите+
{info}* После изменения настроек, nfcapd будет собираться в каталоге /app/collector/var/nfcapd_dump/
* Можно оставить обе службы в работе, - nfsen для точности и предоставления правоохранительным органам, bstatd для отображения статистики в ЛК, - но это потребует довольно много дискового пространства. Рекомендуется в таком случае установить диск объёмом не менее 4Тб{info}
{info}
* Чтобы сырая статистика для bstatd не собиралась в /var/stat/raw (если используется nfsen вместо bstatd), необходимо в настройках системы мониторинга в разделе "Настройка сохранения сырой статистики" отключить опцию "сохранять сырую статистику".
{info}
h1. Использование nfsen
# После включения *nfsen*, на странице управления сервером появится новый элемент "*Детальная статистика Netflow*"
\\
\\ !nfsen_base.png|border=1!\\
\\
# В интерфейсе детальной статистики перейдите на вкладку "*Details*"
\\
\\ !nfsen_interface.png|border=1!\\
\\
# Выберите требуемый период, за который необходимо посмотреть статистику
\\
\\ !nfsen_selectperiod.png|border=1!\\
\\
# Выберите "*List Flows*" чтобы отобразить зарегистрированные потоки трафика, либо "*Stat TopN*" чтобы отобразить топ трафика по хостам. Нажмите "*process*"
Настроить фильтры Вы можете используя документацию "[NfSen. Filter Syntax|http://nfsen.sourceforge.net/#mozTocId652064]"
\\
\\ !nfsen_netflow_processing.png|border=1!
h1. Примеры использования
*Задача: получить данные за период 13.03.2020 08:00 по 13.03.2020 12:00*
Выбираем временное окно.
\\
\\
\\
h1. Получение данных в командной строке
Примеры использования и полное описание формата данных и работы с ними Вы можете получить в документации проекта *nfdump* [http://nfdump.sourceforge.net]
*nfsen* является веб-интерфейсом для удобства получение данных. При просмотре детальной статистики он делает вызовы к командному интерфейсу *nfdump*.
Данные nfdump хранятся в папке */app/collector/var/nfcapd_dump/live/router* и разбиты по принципу "год/месяц/день". В папке по каждому дню потоки разбиты на файлы по пятиминутным временным промежуткам, например: "nfcapd.201811191500" и имеют следующий формат:
* nfcapd.YYYYmmddHHMMSS, где:
** *nfcapd* \- неизмено и включается в название всех файлов
** *YYYY* \- год полностью, четыре символа
** *mm* \- месяц, два символа (например, январь - 01, февраль - 02 и т.д.)
** *dd* \- число месяца, два символа (например, первое - 01, второе - 02 и т.д.)
** *HH* \- часы, два символа (например, час ночи - 01, час дня - 13 и т.д.)
** *MM* \- минуты, два символа (например, первая минута часа - 01, вторая минута часа - 02 и т.д.)
** *SS* \- секунды, два символа, как правило всегда "00"
Несколько примеров вызова nfdump с пояснениями приведены ниже.
{info}Команда nfdump находится в контейнере collector, перед её использованием выполните команду:
{code}chroot /app/collector{code}{info}
* Трафик за 07 июля 2019 года в период с 00:00 до 11:00 по хосту с адресом 10.10.1.18
{code}nfdump -R /var/nfcapd_dump/live/router/2019/07/ -t 2019/07/08.00:00:00-2019/07/08.11:00:00 'host 10.10.1.18'{code}
* Трафик за 24 января 2019 года в период с 10:55 до 11:25 по хосту с адресом 10.10.1.18
{code}nfdump -R /var/nfcapd_dump/live/router/2019/01/24/nfcapd.201901241055:nfcapd.201901241125 'host 10.10.1.18'{code}
* Трафик за 15 марта 2019 года в период с 16:05 до 17:30, топ 10 потоков сгруппированных по IP и потокам.
{code}nfdump -M /var/nfcapd_dump//live/router -T -R 2019/03/15/nfcapd.201903151605:2019/03/15/nfcapd.201903151730 -n 10 -s ip/flows{code}
* Трафик за 23 октября 2018 года в период с 17:00 до 17:30, топ 10 потоков сгруппированных по IP и потокам только по хосту с адресом 10.46.159.66
{code}nfdump -M /var/nfcapd_dump/live/router -T -R 2018/10/23/nfcapd.201810231700:2018/10/23/nfcapd.201810231730 'host 10.46.159.66' -s ip/bytes{code}
* Трафик за 19 ноябяря 2018 года в период с 15:00 до 16:10, по хосту 10.46.159.66 исключая трафик с локальных сетей 10.0.0.0/8 и 192.168.0.0/16 и Link-Local адреса
{code}nfdump -M /var/nfcapd_dump/live/router -T -R 2018/11/19/nfcapd.201811191500:2018/11/19/nfcapd.201811191610 'host 10.46.159.66 and not src net 10.0.0.0/8 and not src net 192.168.0.0/16 and not net 169.254.0.0/16' -B{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, агрегированный по IP-адресам
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -o extended -s dstip -n 255 | grep -E 'Dst|10.0.0.116|10.0.0.140|10.0.0.136|10.0.0.120|10.0.0.188|10.0.0.160|10.0.0.132|10.0.0.144|10.0.0.92|10.0.0.128'
{code}
{code:title=Вывод}
Top 255 Dst IP Addr ordered by flows:
Date first seen Duration Proto Dst IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp
2020-05-27 17:43:45.554 54957.130 any 10.0.0.92 6261( 0.5) 6447( 0.0) 369438( 0.0) 0 53 57
2020-05-27 17:43:41.334 54960.740 any 10.0.0.140 6239( 0.5) 6325( 0.0) 369195( 0.0) 0 53 58
2020-05-27 17:43:39.804 54961.690 any 10.0.0.160 6223( 0.5) 6417( 0.0) 369384( 0.0) 0 53 57
2020-05-27 17:43:50.034 54949.040 any 10.0.0.144 6222( 0.5) 6300( 0.0) 366055( 0.0) 0 53 58
2020-05-27 17:43:54.184 54938.470 any 10.0.0.136 6188( 0.5) 6248( 0.0) 363664( 0.0) 0 52 58
2020-05-27 17:43:54.044 54936.971 any 10.0.0.120 6187( 0.5) 6246( 0.0) 362871( 0.0) 0 52 58
2020-05-27 17:43:53.274 54950.180 any 10.0.0.132 6186( 0.5) 6254( 0.0) 364476( 0.0) 0 53 58
2020-05-27 17:43:47.204 54956.060 any 10.0.0.128 6158( 0.5) 6222( 0.0) 364034( 0.0) 0 52 58
2020-05-27 17:43:39.644 54960.630 any 10.0.0.116 6126( 0.5) 6170( 0.0) 358314( 0.0) 0 52 58
2020-05-27 17:43:39.364 54962.920 any 10.0.0.188 6082( 0.5) 6137( 0.0) 331378( 0.0) 0 48 53
{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, агрегированный по IP-адресам, результат отфильтрован по адресу 10.0.0.122
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -A dstip | grep -E 'Dst|10.0.0.122'
{code}
{code:title=Вывод}
Date first seen Duration Dst IP Addr Packets Bytes bps Bpp Flows
2020-05-27 17:43:49.894 55853.180 10.0.0.122 372967 283.0 M 40531 758 41027
{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, агрегированный по IP-адресам, результат отфильтрован по адресу 10.0.0.122 - немного другой способ агрегации
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -o extended -s dstip -n 255 | grep -E 'Dst|10.0.0.122'
{code}
{code:title=Вывод}
Top 255 Dst IP Addr ordered by flows:
Date first seen Duration Proto Dst IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp
2020-05-27 17:43:49.894 55853.180 any 10.0.0.122 41027( 3.2) 372967( 0.7) 283.0 M( 0.8) 6 40531 758
{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, в выводе только данные по IP и объёму трафика, вывод отфильтрован до трёх нужных IP-адресов
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -A dstip -o "fmt: %dap %byt" | grep -E 'Dst|10.0.0.128|10.0.0.156|10.0.0.146
{code}
{code:title=Вывод}
Dst IP Addr:Port Bytes
10.0.0.128:0 370294
10.0.0.146:0 634.4 M
10.0.0.156:0 373131
{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, сумма по всей выборке (Summary...total bytes) и вывод топ 3 адресов
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -o extended -s dstip/bytes -n 3
{code}
{code:title=Вывод}
Top 3 Dst IP Addr ordered by bytes:
Date first seen Duration Proto Dst IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp
2020-05-27 17:15:19.104 58460.330 any 10.0.0.166 7980( 0.6) 44.0 M(75.5) 27.9 G(75.9) 751 3.8 M 635
2020-05-27 17:31:47.794 57475.780 any 10.0.0.114 60325( 4.6) 2.6 M( 4.4) 2.4 G( 6.6) 44 336593 945
2020-05-27 17:42:54.914 56808.800 any 10.0.0.142 35588( 2.7) 1.1 M( 1.9) 1.2 G( 3.3) 19 168935 1103
Summary: total flows: 1297366, total bytes: 35.7 G, total packets: 56.4 M, avg bps: 4.9 M, avg pps: 975, avg bpp: 632
Time window: 2020-05-27 17:15:18 - 2020-05-28 09:19:43
Total flows processed: 5559870, Blocks skipped: 0, Bytes read: 289138140
Sys: 0.468s flows/second: 11856553.7 Wall: 0.467s flows/second: 11882907.9
{code}