nfsen

Skip to end of metadata
Go to start of metadata

Включение nfsen

Для настройки nfsen и bstatd в базовом меню откройте пункт "Система сбора статистики" и настройте следующие опции:

  • Основные настройки -> Сохранять сырую статистику в формате nfcapd для анализа nfsen: включите
  • Основные настройки -> Включить bstatd для детальной статистики: выключите
  • Настройка сохранения сырой статистики -> Сохранять статистику для bstatd: выключите
  • После изменения настроек, nfcapd будет собираться в каталоге /app/collector/var/nfcapd_dump/
  • Можно оставить обе службы в работе, - nfsen для точности и предоставления правоохранительным органам, bstatd для отображения статистики в ЛК, - но это потребует довольно много дискового пространства. Рекомендуется в таком случае установить диск объёмом не менее 4Тб
  • Чтобы сырая статистика для bstatd не собиралась в /var/stat/raw (если используется nfsen вместо bstatd), необходимо в настройках системы мониторинга в разделе "Настройка сохранения сырой статистики" отключить опцию "сохранять сырую статистику".

Использование nfsen

  1. После включения nfsen, на странице управления сервером появится новый элемент "Детальная статистика Netflow"



  2. В интерфейсе детальной статистики перейдите на вкладку "Details"



  3. Выберите требуемый период, за который необходимо посмотреть статистику



  4. Выберите "List Flows" чтобы отобразить зарегистрированные потоки трафика, либо "Stat TopN" чтобы отобразить топ трафика по хостам. Нажмите "process"
    Настроить фильтры Вы можете используя документацию "NfSen. Filter Syntax"

Примеры использования

Задача: получить данные за период 13.03.2020 08:00 по 13.03.2020 12:00

Выбираем временное окно.


Получение данных в командной строке

Примеры использования и полное описание формата данных и работы с ними Вы можете получить в документации проекта nfdump http://nfdump.sourceforge.net
nfsen является веб-интерфейсом для удобства получение данных. При просмотре детальной статистики он делает вызовы к командному интерфейсу nfdump.
Данные nfdump хранятся в папке /app/collector/var/nfcapd_dump/live/router и разбиты по принципу "год/месяц/день". В папке по каждому дню потоки разбиты на файлы по пятиминутным временным промежуткам, например: "nfcapd.201811191500" и имеют следующий формат:

  • nfcapd.YYYYmmddHHMMSS, где:
    • nfcapd - неизмено и включается в название всех файлов
    • YYYY - год полностью, четыре символа
    • mm - месяц, два символа (например, январь - 01, февраль - 02 и т.д.)
    • dd - число месяца, два символа (например, первое - 01, второе - 02 и т.д.)
    • HH - часы, два символа (например, час ночи - 01, час дня - 13 и т.д.)
    • MM - минуты, два символа (например, первая минута часа - 01, вторая минута часа - 02 и т.д.)
    • SS - секунды, два символа, как правило всегда "00"

Несколько примеров вызова nfdump с пояснениями приведены ниже.

Команда nfdump находится в контейнере collector, перед её использованием выполните команду: 
chroot /app/collector
  • Трафик за 07 июля 2019 года в период с 00:00 до 11:00 по хосту с адресом 10.10.1.18 
    nfdump -R /var/nfcapd_dump/live/router/2019/07/ -t 2019/07/08.00:00:00-2019/07/08.11:00:00 'host 10.10.1.18'
  • Трафик за 24 января 2019 года в период с 10:55 до 11:25 по хосту с адресом 10.10.1.18 
    nfdump -R /var/nfcapd_dump/live/router/2019/01/24/nfcapd.201901241055:nfcapd.201901241125 'host 10.10.1.18'
  • Трафик за 15 марта 2019 года в период с 16:05 до 17:30, топ 10 потоков сгруппированных по IP и потокам. 
    nfdump -M /var/nfcapd_dump//live/router -T -R 2019/03/15/nfcapd.201903151605:2019/03/15/nfcapd.201903151730 -n 10 -s ip/flows
  • Трафик за 23 октября 2018 года в период с 17:00 до 17:30, топ 10 потоков сгруппированных по IP и потокам только по хосту с адресом 10.46.159.66 
    nfdump  -M /var/nfcapd_dump/live/router -T -R 2018/10/23/nfcapd.201810231700:2018/10/23/nfcapd.201810231730 'host 10.46.159.66' -s ip/bytes
  • Трафик за 19 ноябяря 2018 года в период с 15:00 до 16:10, по хосту 10.46.159.66 исключая трафик с локальных сетей 10.0.0.0/8 и 192.168.0.0/16 и Link-Local адреса 
    nfdump  -M /var/nfcapd_dump/live/router -T -R 2018/11/19/nfcapd.201811191500:2018/11/19/nfcapd.201811191610 'host 10.46.159.66 and not src net 10.0.0.0/8 and not src net 192.168.0.0/16 and not net 169.254.0.0/16' -B
  • Трафик за май 2020 по подсети 10.0.0.0/24, агрегированный по IP-адресам
    Команда
    chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24'  -o extended -s dstip -n 255 | grep -E 'Dst|10.0.0.116|10.0.0.140|10.0.0.136|10.0.0.120|10.0.0.188|10.0.0.160|10.0.0.132|10.0.0.144|10.0.0.92|10.0.0.128'
    Вывод
    Top 255 Dst IP Addr ordered by flows:
Date first seen          Duration Proto       Dst IP Addr    Flows(%)     Packets(%)       Bytes(%)         pps      bps   bpp
2020-05-27 17:43:45.554 54957.130 any          10.0.0.92     6261( 0.5)     6447( 0.0)   369438( 0.0)        0       53    57
2020-05-27 17:43:41.334 54960.740 any         10.0.0.140     6239( 0.5)     6325( 0.0)   369195( 0.0)        0       53    58
2020-05-27 17:43:39.804 54961.690 any         10.0.0.160     6223( 0.5)     6417( 0.0)   369384( 0.0)        0       53    57
2020-05-27 17:43:50.034 54949.040 any         10.0.0.144     6222( 0.5)     6300( 0.0)   366055( 0.0)        0       53    58
2020-05-27 17:43:54.184 54938.470 any         10.0.0.136     6188( 0.5)     6248( 0.0)   363664( 0.0)        0       52    58
2020-05-27 17:43:54.044 54936.971 any         10.0.0.120     6187( 0.5)     6246( 0.0)   362871( 0.0)        0       52    58
2020-05-27 17:43:53.274 54950.180 any         10.0.0.132     6186( 0.5)     6254( 0.0)   364476( 0.0)        0       53    58
2020-05-27 17:43:47.204 54956.060 any         10.0.0.128     6158( 0.5)     6222( 0.0)   364034( 0.0)        0       52    58
2020-05-27 17:43:39.644 54960.630 any         10.0.0.116     6126( 0.5)     6170( 0.0)   358314( 0.0)        0       52    58
2020-05-27 17:43:39.364 54962.920 any         10.0.0.188     6082( 0.5)     6137( 0.0)   331378( 0.0)        0       48    53
  • Трафик за май 2020 по подсети 10.0.0.0/24, агрегированный по IP-адресам, результат отфильтрован по адресу 10.0.0.122
    Команда
    chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24'  -A dstip | grep -E 'Dst|10.0.0.122'
    Вывод
    Date first seen          Duration       Dst IP Addr   Packets    Bytes      bps    Bpp Flows
2020-05-27 17:43:49.894 55853.180       10.0.0.122    372967  283.0 M    40531    758 41027
  • Трафик за май 2020 по подсети 10.0.0.0/24, агрегированный по IP-адресам, результат отфильтрован по адресу 10.0.0.122 - немного другой способ агрегации
    Команда
    chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24'  -o extended -s dstip -n 255 | grep -E 'Dst|10.0.0.122'
    Вывод
    Top 255 Dst IP Addr ordered by flows:
Date first seen          Duration Proto       Dst IP Addr    Flows(%)     Packets(%)       Bytes(%)         pps      bps   bpp
2020-05-27 17:43:49.894 55853.180 any         10.0.0.122    41027( 3.2)   372967( 0.7)  283.0 M( 0.8)        6    40531   758
  • Трафик за май 2020 по подсети 10.0.0.0/24, в выводе только данные по IP и объёму трафика, вывод отфильтрован до трёх нужных IP-адресов
    Команда
    chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24'  -A dstip -o "fmt: %dap %byt" | grep -E 'Dst|10.0.0.128|10.0.0.156|10.0.0.146
    Вывод
          Dst IP Addr:Port     Bytes
      10.0.0.128:0       370294
      10.0.0.146:0      634.4 M
      10.0.0.156:0       373131
  • Трафик за май 2020 по подсети 10.0.0.0/24, сумма по всей выборке (Summary...total bytes) и вывод топ 3 адресов
    Команда
    chroot /app/collector/ nfdump -R /var/nfcapd_dump/live/router/2020/05/ 'dst net 10.0.0.0/24'  -o extended -s dstip/bytes -n 3
    Вывод
    Top 3 Dst IP Addr ordered by bytes:
Date first seen          Duration Proto       Dst IP Addr    Flows(%)     Packets(%)       Bytes(%)         pps      bps   bpp
2020-05-27 17:15:19.104 58460.330 any         10.0.0.166     7980( 0.6)   44.0 M(75.5)   27.9 G(75.9)      751    3.8 M   635
2020-05-27 17:31:47.794 57475.780 any         10.0.0.114    60325( 4.6)    2.6 M( 4.4)    2.4 G( 6.6)       44   336593   945
2020-05-27 17:42:54.914 56808.800 any         10.0.0.142    35588( 2.7)    1.1 M( 1.9)    1.2 G( 3.3)       19   168935  1103


Summary: total flows: 1297366, total bytes: 35.7 G, total packets: 56.4 M, avg bps: 4.9 M, avg pps: 975, avg bpp: 632
Time window: 2020-05-27 17:15:18 - 2020-05-28 09:19:43
Total flows processed: 5559870, Blocks skipped: 0, Bytes read: 289138140
Sys: 0.468s flows/second: 11856553.7 Wall: 0.467s flows/second: 11882907.9
Введите метки, чтобы добавить к этой странице:
Please wait 
Ищите метку? просто начните печатать.