Сбор дампа трафика Ревизора средствами Carbon Reductor 8

Ключ
Эта строка удалена.
Это слово было удалено. Это слово было добавлено.
Эта строка добавлена.

Изменения (37)

просмотр истории страницы
*Устанавливаем wireshark*


{panel}
yum install \-y wireshark
{panel}

*Включаем сбор дампов по cron*

Для этого, добавляем в /etc/crontab /app/reductor/etc/crontab строчку:

{panel}

45 * * * * root /app/reductor/usr/local/Reductor/bin/revisor_dump.sh /usr/local/Reductor/bin/revisor_dump.sh 1.1.1.1 eth1 3600 1

{panel}

Где
* 1.1.1.1 - IP-адрес Ревизора/Carbon Reductor Satellite;
* eth1 - интерфейс, принимающий зеркало;
* 1.1.1.1 - IP-адрес Ревизора/Carbon Reductor Satellite (необходимо указать IP Вашего Ревизора);
* eth1 - интерфейс, принимающий зеркало (необходимо указать интерфейс, принимающий зеркало на Вашем сервере);
* 3600 - время сбора дампа в секундах;
* 1 - тип трафика (0 - весь трафик, 1 только http/https/dns).

По умолчанию он сохраняется в "/var/revisor_dump/". Возможно в качестве аргумента передать директорию для хранения дампов так:

{panel}
После того, как дамп собран, открываем отчет от АС "Ревизор" с зафиксированными нарушениями. В нем нас интересует url/ip и время пропуска. Также при анализе стоит учитывать, что существует поле "Адрес перенаправления". Это именно тот адрес, на который обращался АС "Ревизор".

45 * * * * root dumpdir="/home/root/" /app/reductor/usr/local/Reductor/bin/revisor_dump.sh 1.1.1.1 eth1 3600 1
*Скачиваем сформированный, например, в три часа ночи дамп с Carbon Reductor на машину с установленным tshark/wireshark.*

{panel}

После того, как дамп собран, открываем отчет Ревизора с зафиксированными нарушениями. В нем нас интересует url/ip и время пропуска. Также при анализе стоит учитывать, что существует поле "Адрес перенаправления". Это именно тот адрес, на который обращался АС "Ревизор".

Скачиваем сформированный, например, в три часа ночи дамп с Редуктора на машину с установленным tshark.

\#scp /app/reductor/var/revisor_dump/1.1.1.1/2017.03.16/03/duplex.pcap root@2.2.2.2:/home/user/dump/duplex.pcap
{panel}
\#scp /var/revisor_dump/1.1.1.1/2017.03.16/03/duplex.pcap root@2.2.2.2:/home/user/dump/duplex.pcap
{panel}

*Приступаем к анализу*
{panel}

Допустим, пропуск был зафиксирован в 03:04:34, ищем GET запрос по времени.


{panel}
\# tshark \-T fields \-e tcp.stream \-e frame.time \-e ip.src \-e ip.dst \-e \_ws.col.Info \-e http.host \-r /home/user/dump/duplex.pcap \| grep "kasparov.ru"

4937 May 16, 2017 03:04:33.277118000 \+05 1.2.3.4 93.188.207.254 52.0.182.227 GET / HTTP/1.1 www1.kasparov.ru
4942 May 16, 2017 03:04:33.424510000 \+05 1.2.3.4 93.188.207.254 52.0.80.30 GET / HTTP/1.1 www1.kasparov.ru
{color:#000000}{*}4944 May 16, 2017 03:04:34.935537000 \+05 1.2.3.4 93.188.207.254 54.236.109.144 GET / HTTP/1.1 www1.kasparov.ru{*}{color}
4946 May 16, 2017 03:04:35.224281000 \+05 1.2.3.4 93.188.207.254 52.22.237.157 GET / HTTP/1.1 www1.kasparov.ru
{panel}

В левой колонке видим tcp-stream 4944, дату и время.
В левой колонке видим tcp-stream с  IP-адресом,который указан в отчете АС "Ревизора" и время совпадает, а именно {color:#000000}{*}54.236.109.144{*}{color}{color:#000000}, следовательно наш tcp-stream{color} 4944.

*2. Сортируем дамп по полю tcp-stream*
Также возможен случай, когда в сервер с Carbon Reductor не попал GET-запрос, тогда стоит искать по ip-адресу ресурса, который всегда фигурирует в файле отчёта агента:

{panel}
\# tshark \-T fields \-e tcp.stream \-e frame.time \-e ip.src \-e ip.dst \-e \_ws.col.Info \-e http.host \-r /home/user/dump/duplex.pcap \| grep "52.0.182.227"
{panel}

Признаком того, что проблема с отсутствием GET-запроса в конкретном стриме - наличие пакета, который tshark пометит как +"TCP Previous segment not captured"+

Проблема в таком случае +в копировании трафика для зеркала+ или +в его доставке+ (где-то в сети на пути прохождения трафика есть "узкое" место) до Carbon Reductor.


*2. Смотрим в дампе конкретный стрим, который мы нашли ранее:*

{panel}
\# tshark \-R "tcp.stream eq 4944" \-2 \-T fields \-e frame.time \-e frame.number \-e ip.src \-e ip.dst \-e \_ws.col.Info \-e http.host \-r /home/user/dump/duplex.pcap


May 16, 2017 03:04:34.794475000 \+05 1 1.2.3.4 93.188.207.254 54.236.109.144 33819 → 80 [SYN] Seq=0 Win=1460 Len=0 MSS=1460 SACK_PERM=1 TSval=37755423 TSecr=0 WS=1
May 16, 2017 03:04:34.934989000 \+05 2 1.2.3.4 93.188.207.254 54.236.109.144 33819 → 80 [ACK] Seq=1 Ack=1 Win=1460 Len=0 TSval=37755437 TSecr=3815877753
May 16, 2017 03:04:34.935537000 \+05 3 1.2.3.4 93.188.207.254 54.236.109.144 GET / HTTP/1.1 www1.kasparov.ru
May 16, 2017 03:04:34.935581000 \+05 4 54.236.109.144 1.2.3.4 93.188.207.254 HTTP/1.1 302 Moved Temporarily (text/html)
May 16, 2017 03:04:34.935587000 \+05 5 54.236.109.144 1.2.3.4 93.188.207.254 80 → 33819 [RST, ACK] Seq=1 Ack=254 Win=252 Len=0
May 16, 2017 03:04:34.936544000 \+05 6 1.2.3.4 93.188.207.254 54.236.109.144 33819 → 80 [ACK] Seq=254 Ack=333 Win=1460 Len=0 TSval=37755437 TSecr=3815877753
May 16, 2017 03:04:34.938385000 \+05 7 1.2.3.4 93.188.207.254 54.236.109.144 33819 → 80 [RST, ACK] Seq=254 Ack=333 Win=1460 Len=0 TSval=37755437 TSecr=3815877753
May 16, 2017 03:04:35.076308000 \+05 8 1.2.3.4 93.188.207.254 54.236.109.144 33819 → 80 [RST] Seq=254 Win=0 Len=0
May 16, 2017 03:04:35.079443000 \+05 9 1.2.3.4 93.188.207.254 54.236.109.144 33819 → 80 [RST] Seq=254 Win=0 Len=0
May 16, 2017 03:04:35.079687000 \+05 10 1.2.3.4 93.188.207.254 54.236.109.144 33819 → 80 [RST] Seq=254 Win=0 Len=0
{panel}


{panel}
May 16, 2017 03:04:34.935537000 \+05 3 1.2.3.4 93.188.207.254 54.236.109.144 *GET / HTTP/1.1 www1.kasparov.ru*
May 16, 2017 03:04:34.935581000 \+05 4 54.236.109.144 93.188.207.254 1.2.3.4 *HTTP/1.1 302 Moved Temporarily (text/html)*
May 16, 2017 03:04:34.935587000 \+05 5 54.236.109.144 1.2.3.4 93.188.207.254 80 → 33819 *[RST, ACK]* *Seq=1 Ack=254 Win=252 Len=0*
{panel}