Списки. Какой список чем является

После ручного изменения любого из списков для применения изменений необходимо выполнить команду: chroot /app/reductor /usr/local/Reductor/bin/update.sh

Расположение списков

Списки в Carbon Reductor 8 находятся в директории:

Теперь имеется следующая:

Реально используемые результаты обработки списков, готовые к загрузке в модули фильтрации:

• load - все агрегированные, обработанные и используемые Carbon Reductor списки;

"Сырые" списки, служащие источником данных при обработке списков перед загрузкой в модули фильтрации.

• rkn - всё, что парсер реестра извлёк из него.
• rkn_archive - архивные списки РКН за последние 24 часа (опционально, не рекомендуется при использовании дельта-выгрузок).
• provider - собственные списки провайдера.
• carbonsoft - списки от carbonsoft для оперативного решения проблем с фильтрацией без обновления самого Carbon Reductor.
• resolver - результаты резолва по спискам доменов.

Промежуточные результаты обработки списков:

• tmp - промежуточные результаты обработки списков, необходимые обычно только разработчикам. Напрямую не используется (за исключением https.resolv);
• preload - служебный буфер списков перед началом их использования.

Унифицированы и имена (расширения) файлов:

• url_http - списки URL для фильтрации по HTTP
• url_https - списки URL для фильтрации по HTTPS (используется при интеграции с прокси)
• url_hsts - списки URL для фильтрации по HTTPS (используется при интеграции с прокси, генерируется из списков выше и domain_hsts, указываемого вручную)
• domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
• domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)
• domain_proxy - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (генерируется из реестра)
• domain_hsts - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (указывается вручную, используется для генерации url_hsts)
• ip_https - IP адреса HTTPS ресурсов, которые необходимо заблокировать, но иного способа кроме как по IP - нет.
• ip_https_plus - расширенный список IP адресов HTTPS ресурсов, которые могут быть заблокированы иными способами.
• ip_block - IP адреса, которые должны быть заблокированы целиком (используется для интеграции с маршрутизаторами)
• ip_port - IP адреса + порты протоколов, к которым на текущий момент не применима более глубокая фильтрация.
• port_http - анализируемые порты HTTP трафика.
• port_https - анализируемые порты HTTPS трафика.
• + все те же списки IP, только для IPv6.

Любой из этих списков превращается в белый список добавлением к расширению слова whitelist, например url_http_whitelist.

Списки доменов domain_mask и domain_exact используются следующими модулями:

• dnsmatch - редирект по DNS (анализируется зеркало трафика на редукторе)
• snimatch - анализ HTTPS-трафика (анализируется зеркало трафика на редукторе) с точностью до домена.
• fakezone - интеграция c DNS-серверами (анализируются запросы, поступившие на DNS-сервер провайдера)

Собственные списки провайдера

Собственные списки провайдера находятся в каталоге

/app/reductor/var/lib/reductor/lists/provider/

Названия формируются исходя из названий вышеприведённых списков путём добавления our. вначале.

Для примера:

• our.url_http - списки URL для фильтрации по HTTP
• our.url_https - списки URL для фильтрации по HTTPS (используется только при интеграции с прокси)
• our.domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
• our.domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)

F.A.Q:

> у нас же появляется только 1 файл domain_mask.load.

По умолчанию все домены блокируются как маски, чтобы исключить лишние проблемы. Есть опция: "DNS-маски только при необходимости", но пока у нас пока нет информации о том, какие получаются отчёты ревизора при её использовании.

> нужно ли донастраивать named_fakezone_generator

Пока нет. Мы сейчас стараемся обеспечивать обратную совместимость с named_fakezone_generator, задача по его обновлению запланирована, но пока не сделана, поэтому временно генерируется файл: lists/tmp/domains_all.load на который указывает симлинк lists/https.resolv. В итоге все домены по прежнему блокируются. Позже (мы обязательно упомянем в рассылке) достаточно будет просто обновить named_fakezone_generator командой git pull origin master.ductor/lists/