nfsen

Ключ
Эта строка удалена.
Это слово было удалено. Это слово было добавлено.
Эта строка добавлена.

Изменения (7)

просмотр истории страницы
{toc}

h1. Включение nfsen

...
* Можно оставить обе службы в работе, - nfsen для точности и предоставления правоохранительным органам, bstatd для отображения статистики в ЛК, - но это потребует довольно много дискового пространства. Рекомендуется в таком случае установить диск объёмом не менее 4Тб{info}

h2. Использование nfsen
{info}
* Чтобы сырая статистика для bstatd не собиралась в /var/stat/raw (если используется nfsen вместо bstatd), необходимо в настройках системы мониторинга в разделе "Настройка сохранения сырой статистики" отключить опцию "сохранять сырую статистику".
{info}

h1. Использование nfsen

# После включения *nfsen*, на странице управления сервером появится новый элемент "*Детальная статистика Netflow*"
\\
...
\\ !nfsen_netflow_processing.png|border=1!

h1. Примеры использования

*Задача: получить данные за период 13.03.2020 08:00 по 13.03.2020 12:00*

Выбираем временное окно.
\\
\\
\\

h1. Получение данных в командной строке

...

Несколько примеров вызова nfdump с пояснениями приведены ниже.
{info}Команда nfdump находится в контейнере collector, перед её использованием выполните команду:
{code}chroot /app/collector{code}{info}

* Трафик за 07 июля 2019 года в период с 00:00 до 11:00 по хосту с адресом 10.10.1.18
{code}nfdump -R /var/nfcapd_dump/live/router/2019/07/ -t 2019/07/08.00:00:00-2019/07/08.11:00:00 'host 10.10.1.18'{code}
...
* Трафик за 19 ноябяря 2018 года в период с 15:00 до 16:10, по хосту 10.46.159.66 исключая трафик с локальных сетей 10.0.0.0/8 и 192.168.0.0/16 и Link-Local адреса
{code}nfdump -M /var/nfcapd_dump/live/router -T -R 2018/11/19/nfcapd.201811191500:2018/11/19/nfcapd.201811191610 'host 10.46.159.66 and not src net 10.0.0.0/8 and not src net 192.168.0.0/16 and not net 169.254.0.0/16' -B{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, агрегированный по IP-адресам
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -o extended -s dstip -n 255 | grep -E 'Dst|10.0.0.116|10.0.0.140|10.0.0.136|10.0.0.120|10.0.0.188|10.0.0.160|10.0.0.132|10.0.0.144|10.0.0.92|10.0.0.128'
{code}
{code:title=Вывод}
Top 255 Dst IP Addr ordered by flows:
Date first seen Duration Proto Dst IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp
2020-05-27 17:43:45.554 54957.130 any 10.0.0.92 6261( 0.5) 6447( 0.0) 369438( 0.0) 0 53 57
2020-05-27 17:43:41.334 54960.740 any 10.0.0.140 6239( 0.5) 6325( 0.0) 369195( 0.0) 0 53 58
2020-05-27 17:43:39.804 54961.690 any 10.0.0.160 6223( 0.5) 6417( 0.0) 369384( 0.0) 0 53 57
2020-05-27 17:43:50.034 54949.040 any 10.0.0.144 6222( 0.5) 6300( 0.0) 366055( 0.0) 0 53 58
2020-05-27 17:43:54.184 54938.470 any 10.0.0.136 6188( 0.5) 6248( 0.0) 363664( 0.0) 0 52 58
2020-05-27 17:43:54.044 54936.971 any 10.0.0.120 6187( 0.5) 6246( 0.0) 362871( 0.0) 0 52 58
2020-05-27 17:43:53.274 54950.180 any 10.0.0.132 6186( 0.5) 6254( 0.0) 364476( 0.0) 0 53 58
2020-05-27 17:43:47.204 54956.060 any 10.0.0.128 6158( 0.5) 6222( 0.0) 364034( 0.0) 0 52 58
2020-05-27 17:43:39.644 54960.630 any 10.0.0.116 6126( 0.5) 6170( 0.0) 358314( 0.0) 0 52 58
2020-05-27 17:43:39.364 54962.920 any 10.0.0.188 6082( 0.5) 6137( 0.0) 331378( 0.0) 0 48 53
{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, агрегированный по IP-адресам, результат отфильтрован по адресу 10.0.0.122
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -A dstip | grep -E 'Dst|10.0.0.122'
{code}
{code:title=Вывод}
Date first seen Duration Dst IP Addr Packets Bytes bps Bpp Flows
2020-05-27 17:43:49.894 55853.180 10.0.0.122 372967 283.0 M 40531 758 41027
{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, агрегированный по IP-адресам, результат отфильтрован по адресу 10.0.0.122 - немного другой способ агрегации
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -o extended -s dstip -n 255 | grep -E 'Dst|10.0.0.122'
{code}
{code:title=Вывод}
Top 255 Dst IP Addr ordered by flows:
Date first seen Duration Proto Dst IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp
2020-05-27 17:43:49.894 55853.180 any 10.0.0.122 41027( 3.2) 372967( 0.7) 283.0 M( 0.8) 6 40531 758
{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, в выводе только данные по IP и объёму трафика, вывод отфильтрован до трёх нужных IP-адресов
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -A dstip -o "fmt: %dap %byt" | grep -E 'Dst|10.0.0.128|10.0.0.156|10.0.0.146
{code}
{code:title=Вывод}
Dst IP Addr:Port Bytes
10.0.0.128:0 370294
10.0.0.146:0 634.4 M
10.0.0.156:0 373131
{code}
* Трафик за май 2020 по подсети 10.0.0.0/24, сумма по всей выборке (Summary...total bytes) и вывод топ 3 адресов
{code:title=Команда}
chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24' -o extended -s dstip/bytes -n 3
{code}
{code:title=Вывод}
Top 3 Dst IP Addr ordered by bytes:
Date first seen Duration Proto Dst IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp
2020-05-27 17:15:19.104 58460.330 any 10.0.0.166 7980( 0.6) 44.0 M(75.5) 27.9 G(75.9) 751 3.8 M 635
2020-05-27 17:31:47.794 57475.780 any 10.0.0.114 60325( 4.6) 2.6 M( 4.4) 2.4 G( 6.6) 44 336593 945
2020-05-27 17:42:54.914 56808.800 any 10.0.0.142 35588( 2.7) 1.1 M( 1.9) 1.2 G( 3.3) 19 168935 1103


Summary: total flows: 1297366, total bytes: 35.7 G, total packets: 56.4 M, avg bps: 4.9 M, avg pps: 975, avg bpp: 632
Time window: 2020-05-27 17:15:18 - 2020-05-28 09:19:43
Total flows processed: 5559870, Blocks skipped: 0, Bytes read: 289138140
Sys: 0.468s flows/second: 11856553.7 Wall: 0.467s flows/second: 11882907.9
{code}