Carbon Reductor - готовое решение для фильтрации трафика с поддержкой фильтрации URL / доменов / IP, успешно проходящее проверку РосКомНадзором и таким образом помогающее исполнить ФЗ №149 и Постановление Правительства Российской Федерации от 26 октября 2012 г. № 1101 (PDF) интернет-провайдерам любого размера.

Описание функциональных характеристик ПО

• Автоматическое обновление списков РосКомНадзора (используя файл с ключом, USB-токен, пару XML запрос-подпись либо по HTTP/HTTPS со своего сервера) и минюста.
• Поддержка фильтрации IPv4 и IPv6 трафика
• Поддержка многих проблемных URL за счёт предварительной обработки.
• Проверка до 900 000 пакетов сетевого трафика на ядро процессора в секунду (до 50гбит на сервер). Подробнее о производительности можно прочитать в этой статье.
• Фильтрация HTTP, DNS и HTTPS трафика (собственные разработки). Поддерживается использование нескольких списков.
• Возможность вертикального масштабирования.
• Возможность использования собственных списков - белых, чёрных, абонентских, URL, IP.
• Возможно блокирование конкретных страниц или субдоменов.
• Блокирование HTTP-ресурсов не связано с IP адресом ресурса и в результате не произойдёт случайной блокировки всего хостинга.
• Блокирование HTTPS-ресурсов происходит по домену с помощью двух механизмов фильтрации - по DNS и SNI.
• Блокировка по IP только в крайнем случае (ipset).
• Возможность интеграции с маршрутизаторами для блокировки IP адресов целиком (анонсирование по OSPF/BGP).
• Возможность интеграции с DNS-серверами провайдера.
• В комплекте предоставляется бесплатная система проверки фильтрации, способная служить резервным сервером выгрузки - Carbon Reductor Satellite.
• Фильтрация производится несколькими правилами iptables (не более 20-30), так что нагрузка на сервер - незначительна.
• Платформа для Carbon Reductor - CentOS 6 бесплатна и знакома многим системным администратором, что облегчает поддержку и использование.
• Абоненты могут свободно использовать сторонние DNS-сервера, ограничения срабатывают только на заблокированные домены.
• Поддержка обработки трафика дублируемого как с маршрутизаторов (L3), так и с коммутаторов (L2).
• Быстрые разбор и обработка "корявых" URL/доменов/IP из реестра Роскомнадзора - в среднем, после скачивания обработка занимает около 5 секунд.
• Имеется модуль автоматической самодиагностики, выявляющий на сервере проблемы настройки и эксплуатации и сообщающий об этом системным администраторам по почте.
• Для приобретших подписку есть возможность использования облачного сервера мониторинга, автоматически создающего заявки о возникших проблемах (в том числе и выход сервера из строя) для технической поддержки.
• Возможность указать собственные страницы заглушки.
• Возможность интеграции с Carbon Billing 5 для редиректов negbal/blocked/noauth-абонентов.
• Просмотр статистических данных по экспулатации в веб-интерфейсе в виде графиков, отчётов итд.
• Возможность автоматического выяснения текущего IP адреса ресурса с помощью DNS-запросов (DNS-резолвер).
• Почти все системы имеют возможность расширения и доработок под себя.
• Возможность конфигурации с помощью консольного меню.

Как установить Carbon Reductor

Как приобрести

Установка производится с помощью скрипта установки, ссылку на него и инструкцию по запуску можно получить на этой странице.

Для приобретения лицензии Carbon Reductor вам необходимо связаться с нашим отделом продаж, контакты указаны в нижней части страницы скачивания.

Что нельзя делать

• Установка совместно с другими продуктами. Поскольку Carbon Reductor полностью контролирует файрвол - он не совместим с другими нашими (и не только) продуктами и устанавливается только на отдельный сервер. Не пытайтесь установить его на сервера с CentOS где уже установлены какие-либо важные системы - биллинги, маршрутизаторы итд.
• Использование внутри контейнера. Модули xt_reductor и ipt_FORBIDDEN не работают в контейнерах openVZ и LXC, поскольку в них ограничена подгрузка модулей.
• Использование внутри Xen. К сожалению при использовании данной системы виртуализации иногда с передаваемыми внутрь виртуальной машины пакетами возникают странные эффекты, не позволяющие обрабатывать трафик.
• Использование неподходящего дистрибутива.
  • Подходящие платформы - CentOS 6.7, 6.8 (x86_64).
  • Неподходящие - Debian (он хороший, мы его тоже любим, но мы решили сконцентрироваться на отличном уровне фильтрации, а не на поддержке нескольких целевых платформ), CentOS 5.x, 7.х, любые другие Linux (возможно исключением является RHEL6, но на нём не тестировалось).
  • Немного устаревшие - CentOS 6.6 и ниже довольно устарели, можете установить и их, но перед установкой Carbon Reductor выполнить yum update и перезагрузиться.
• Использование кастомных ядер. Модули собраны для ядра 2.6.32 x86_64 el6. Использование других может привести к проблемам со стартом итд.
  • Рекомендуемое к использованию на текущий момент ядро: 2.6.32-573.12.1.
  • Известны проблемы с работой фильтрации IPv6 на ядре: 2.6.32-358.el6
  • Обновить ядро можно командами: yum -y install kernel && reboot
• Использование в virtualbox на продакшне. Данная платформа виртуализации очень хороша чтобы попробовать что-то на собственном десктопе/ноутбуке, посмотреть веб-интерфейс итд, но не более. Подходящие системы виртуализации для продакшна - VMWare ESXi и KVM.
• Использование полной версии CentOS 6. После установки потребуется делать множество лишних телодвижений (чревато от неработающего консольного меню до потери настроек сети при перезагрузке). Не рекомендуется устанавливать графическое окружение на сервер, так как оно тянет за собой много всего, лезущего в сеть (может подтянуться в качестве зависимости для teamviewer, например). Используйте только minimal-редакцию.
• Устанавливать и использовать Carbon Reductor в различных облачных решениях. Одно из самых важных требований к системе для Carbon Reductor - возможность обрабатывать пакеты практически в реальном времени и взаимодействовать почти напрямую с железом (сетёвки, процессор, итд). Использование дополнительных прослоек приносит гигантское падение качества блокировок, они хороши когда у вас есть большие длительные вычислительные задачи, которые можно раскидать на несколько потоков/машин, а не миллиарды микроскопических задачек, которые должны выполняться моментально.

Подготовка

Возможно поможет видео-инструкция - установка Carbon Reductor 5.1.1 в virtualbox + vagrant

1. Прочитайте системные требования перед выбором/сборкой машины для установки.
2. Скачайте дистрибутив CentOS 6.7 с одного из официальных зеркал или с нашего зеркала (CentOS-6.7-x86_64-minimal.iso).
3. Обзаведитесь доступом в портал технической поддержки на странице продукта.
4. После скачивания запишите скачанный ISO-образ на диск (хватит CD) или USB, вставьте в сервер, на который планируется установка и загрузитесь с него.
5. Настройте сеть для выхода в интернет.
6. Настройте правильное время в системе
7. Получите экспортированный сертификат в формате .pfx, для экспорта потребуется установленный на Windows машине КриптоПРО. Обратите внимание, что с помощью дефолтного certmgr извлекаются неподходящие сертификаты.

Установка

В случае возникновения проблем в ходе установки вы можете свободно обращаться в техническую поддержку.

Скачайте скрипт установки Carbon Reductor и запустите его (если беспокоитесь о том, что там что-то страшное, откройте ссылку браузером - там буквально 3 команды, устанавливающие 2 пакета)

sudo -s
curl "http://download5.carbonsoft.ru/reductor/reductor_install" | bash

Настройка

Основная настройка с помощью мастера

Запустите мастер настройки командой:

/usr/local/Reductor/bin/setup_master.sh

Будет запущен мастер настройки Carbon Reductor. В его рамках нужно будет:

• зарегистрировать и активировать Carbon Reductor;
• настроить систему обновления списков;
• выбрать опции фильтрации https;
• настроить сеть для приёма зеркала трафика.

Отвечаем на все вопросы (при необходимости введённые данные можно позже поменять с помощью команды menu)

Добавление сертификата

По статье Выгрузки реестра

Проверка настроек

Проверка запуска

Выполняем:

service reductor restart

Снова заходим в меню и смотрим в правый верхний угол, если есть строка:

Carbon Reductor (master) 5xxxxx: Активирован, код регистрации: xxx-xxx-xxx-xxx-xxx

Если сервер не активирован и при service reductor restart не выводится инструкции по тому как это исправить, свяжитесь в с технической поддержкой.

Проверка выгрузок

Выполняем:

service reductor update

и наблюдаем за выводом. Должно завершаться успешно, либо выдать ошибку/инструкцию по исправлению.

Проверка захвата трафика

Возможно настройки сканирования трафика придётся подкорректировать, некоторые конфигурации с VLAN приводят к петлям в сети. Обязательно прочитайте статью.

Остальные проверки

После этого выполните (дважды, т.к. диагностика старается исправлять некоторые проблемы):

service reductor check

Все пункты должны быть OK.

Внимание: для загрузки списков и работы редуктора необходимо чтоб адрес docs.carbonsoft.ru был доступен с сервера по протоколу ICMP (должны проходить пинги)

Эксплуатация Carbon Reductor

Документация

Актуальная документация находится по адресу http://docs.carbonsoft.ru/display/reductor5

Техническая поддержка

Получить помощь при интеграции и в случае возникающих во время эксплуатации проблем можно в хелпдеске по адресу http://helpdesk.carbonsoft.ru

Что остаётся на стороне персонала компании

• Мониторинг за работоспособностью сервера и своевременная замена аппаратных составляющих сервера, где работает Carbon Reductor
• Отслеживание уведомлений от хелпдеска и самого Carbon Reductor
• Изменение настроек зеркалирования трафика при изменении структуры сети, при необходимости
• Периодическое обновление ЭЦП для выгрузки единого реестра запрещённой информации
• Содействие персоналу технической поддержки CarbonSoft при решении проблем.