 | После ручного изменения любого из списков для применения изменений необходимо выполнить команду:
chroot /app/reductor /usr/local/Reductor/bin/update.sh |
Расположение списков
Списки в Carbon Reductor 8 находятся в директории:
/app/reductor/var/lib/reductor/lists/
Теперь имеется следующая:
Реально используемые результаты обработки списков, готовые к загрузке в модули фильтрации:
- load - все агрегированные, обработанные и используемые Carbon Reductor списки;
"Сырые" списки, служащие источником данных при обработке списков перед загрузкой в модули фильтрации.
- rkn - всё, что парсер реестра извлёк из него.
- rkn_archive - архивные списки РКН за последние 24 часа (опционально, не рекомендуется при использовании дельта-выгрузок).
- provider - собственные списки провайдера.
- carbonsoft - списки от carbonsoft для оперативного решения проблем с фильтрацией без обновления самого Carbon Reductor.
- resolver - результаты резолва по спискам доменов.
Промежуточные результаты обработки списков:
- tmp - промежуточные результаты обработки списков, необходимые обычно только разработчикам. Напрямую не используется (за исключением https.resolv);
- preload - служебный буфер списков перед началом их использования.
Унифицированы и имена (расширения) файлов:
| Расширение | Точность фильтрации | Какими модулями используется |
Подробное описание |
|---|---|---|---|
| url_http | URL | Фильтрация HTTP-трафика | Запросы на URL из этого списка будут перенаправляться на страницу-заглушку. Также используется для наполнения списка url_hsts при использовании прокси-сервера. |
| url_https | URL | Только обработка списков | Используется для наполнения списка url_hsts при использовании прокси-сервера. |
| url_hsts | URL | Прокси-сервер | Трафик, направляемый через прокси-сервер будет перенаправлять запросы на URL из этого списка на страницу-заглушку. Остальные запросы прокси-сервер будет пропускать дальше. |
| domain_exact | домен | Фильтрация DNS-трафика, Фильтрация HTTPS-трафика |
DNS и HTTPS трафик будет фильтроваться с точностью до домена в том виде, как он записан в данном списке. Ни один субдомен не фильтруется. Служит для формирования списка доменов, который синхронизируется при интеграции с DNS-сервером провайдера. |
| domain_mask | домен | Фильтрация DNS-трафика, Фильтрация HTTPS-трафика |
DNS и HTTPS трафик будет фильтроваться с точностью до домена в том виде, как он записан в данном списке + всех его субдоменов. Служит для формирования списка доменов, который синхронизируется при интеграции с DNS-сервером провайдера. |
| domain_proxy | домен | Фильтрация DNS-трафика | DNS запросы на домены из этого списка будут перенаправляться на IP адрес прокси-сервера. Используется, в случае если все HTTPS-ресурсы отправляются в прокси-сервер. |
| domain_hsts | домен | Фильтрация DNS-трафика | DNS запросы на домены из этого списка будут перенаправляться на IP адрес прокси-сервера. Используется, в случае если явно заданные провайдером HTTPS-ресурсы отправляются в прокси-сервер. |
| ip_https | IP + диапазон портов | Фильтрация HTTPS-трафика | Запросы к этим ресурсам по HTTPS будут блокироваться по IP, так как иначе их заблокировать невозможно. |
| ip_https_plus | IP + диапазон портов | Фильтрация HTTPS-трафика | Запросы к этим ресурсам по HTTPS будут блокироваться по IP в целях повышения надёжности фильтрации. |
| ip_http_plus | не используется для фильтрации напрямую |
Фильтрация всего трафика | Содержит все известные IP адреса ресурсов, подвергаемых блокировке по URL, домену или частичной блокировке по IP. |
| ip_forward | не используется для фильтрации напрямую |
Фильтрация всего трафика | Формируется автоматически из списков ip_https, ip_https_plus, ip_http_plus, содержит все адреса, которые необходимо отправлять на Carbon Reductor для дальнейшей фильтрации при использовании асинхронной маршрутизации. Используется контейнером BGP Blackhole. |
| ip_block | IP целиком | Фильтрация IP трафика | То же, что и ip_subnet_block с 17.04.2018 |
| ip_subnet_block | IP целиком | Фильтрация IP трафика |
Список подсетей, доступ к которым ограничивается по всем портам и протоколам. Используется как в файрволе Carbon Reductor, для отправки разрыва соединения, так и в контейнере BGP Blackhole для анонсирования маршрутов через Carbon Reductor. |
| ip_port | IP + порт | Файрвол Carbon Reductor | Содержит связки IP + порт ресурсов, использующих протоколы, отличные от HTTP, HTTPS и DNS. По ним производится разрыв соединения. |
| port_http | не используется для фильтрации напрямую |
Список портов, трафик которых считается содержащим HTTP запросы и анализируемый глубоко. |
|
| port_https | не используется для фильтрации напрямую |
Список портов, трафик которых считается содержащим HTTPS запросы и анализируемый глубоко. |
+ все те же списки IP, только для IPv6, префикс которых начинается как ip6_ вместо ip_.
Любой из этих списков превращается в белый список добавлением к расширению слова whitelist, например url_http_whitelist.
Собственные списки провайдера
Собственные списки провайдера находятся в каталоге
/app/reductor/var/lib/reductor/lists/provider/
Названия формируются исходя из названий вышеприведённых списков путём добавления our. вначале.
Для примера:
- our.url_http - списки URL для фильтрации по HTTP
- our.url_https - списки URL для фильтрации по HTTPS (используется только при интеграции с прокси)
- our.domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
- our.domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)
F.A.Q:
> у нас же появляется только 1 файл domain_mask.load.
По умолчанию все домены блокируются как маски, чтобы исключить лишние проблемы. Есть опция: "DNS-маски только при необходимости", но пока у нас пока нет информации о том, какие получаются отчёты ревизора при её использовании.
> нужно ли донастраивать named_fakezone_generator
Пока нет. Мы сейчас стараемся обеспечивать обратную совместимость с named_fakezone_generator, задача по его обновлению запланирована, но пока не сделана, поэтому временно генерируется файл: lists/tmp/domains_all.load на который указывает симлинк lists/https.resolv. В итоге все домены по прежнему блокируются. Позже (мы обязательно упомянем в рассылке) достаточно будет просто обновить named_fakezone_generator командой git pull origin master.ductor/lists/