Списки. Какой список чем является

После ручного изменения любого из списков для применения изменений необходимо выполнить команду: chroot /app/reductor /usrlocal/Reductor/bin/update.sh

Расположение списков

Списки в Carbon Reductor 8 находятся в директории:

Теперь имеется следующая:

• load - все агрегированные, обработанные и используемые Carbon Reductor списки;
• rkn - всё, что парсер реестра извлёк из него. Напрямую не используется;
• provider - собственные списки провайдера. Напрямую не используется;
• carbonsoft - списки от carbonsoft для оперативного устранения проблем с фильтрацией без обновления самого Carbon Reductor. Напрямую не используется;
• resolver - результаты резолва по разным спискам доменов. Напрямую не используется;
• tmp - промежуточные результаты обработки списков, необходимые обычно только разработчикам. Напрямую не используется (за исключением https.resolv);

Унифицированы и имена (расширения) файлов:

• url_http - списки URL для фильтрации по HTTP
• url_https - списки URL для фильтрации по HTTPS (используется при интеграции с прокси)
• url_hsts - списки URL для фильтрации по HTTPS (используется при интеграции с прокси, генерируется из списков выше и domain_hsts, указываемого вручную)
• domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
• domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)
• domain_proxy - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (генерируется из реестра)
• domain_hsts - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (указывается вручную, используется для генерации url_hsts)
• ip_https - IP адреса HTTPS ресурсов, которые необходимо заблокировать, но иного способа кроме как по IP - нет.
• ip_https_plus - расширенный список IP адресов HTTPS ресурсов, которые могут быть заблокированы иными способами.
• ip_block - IP адреса, которые должны быть заблокированы целиком (используется для интеграции с маршрутизаторами)
• ip_port - IP адреса + порты протоколов, к которым на текущий момент не применима более глубокая фильтрация.
• port_http - анализируемые порты HTTP трафика.
• port_https - анализируемые порты HTTPS трафика.
• + все те же списки IP, только для IPv6.

Любой из этих списков превращается в белый список добавлением к расширению слова whitelist, например url_http_whitelist.

Собственные списки провайдера

Собственные списки провайдера находятся в каталоге

/app/reductor/var/lib/reductor/lists/provider/

Названия формируются исходя из названий вышеприведённых списков путём добавления our. вначале.

Для примера:

• our.url_http - списки URL для фильтрации по HTTP
• our.url_https - списки URL для фильтрации по HTTPS (используется только при интеграции с прокси)
• our.domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
• our.domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)

F.A.Q:

> у нас же появляется только 1 файл domain_mask.load.

По умолчанию все домены блокируются как маски, чтобы исключить лишние проблемы. Есть опция: "DNS-маски только при необходимости", но пока у нас пока нет информации о том, какие получаются отчёты ревизора при её использовании.

> нужно ли донастраивать named_fakezone_generator

Пока нет. Мы сейчас стараемся обеспечивать обратную совместимость с named_fakezone_generator, задача по его обновлению запланирована, но пока не сделана, поэтому временно генерируется файл: lists/tmp/domains_all.load на который указывает симлинк lists/https.resolv. В итоге все домены по прежнему блокируются. Позже (мы обязательно упомянем в рассылке) достаточно будет просто обновить named_fakezone_generator командой git pull origin master.ductor/lists/