Начиная с 7.4.4
Теперь имеется следующая структура внутри /usr/local/Reductor/lists/:
- load - все агрегированные, обработанные и используемые Carbon Reductor списки;
- rkn - всё, что парсер реестра извлёк из него. Напрямую не используется;
- provider - собственные списки провайдера. Напрямую не используется;
- carbonsoft - списки от carbonsoft для оперативного устранения проблем с фильтрацией без обновления самого Carbon Reductor. Напрямую не используется;
- resolver - результаты резолва по разным спискам доменов. Напрямую не используется;
- tmp - промежуточные результаты обработки списков, необходимые обычно только разработчикам. Напрямую не используется (за исключением https.resolv);
Унифицированы и имена (расширения) файлов:
- url_http - списки URL для фильтрации по HTTP
- url_https - списки URL для фильтрации по HTTPS (используется при интеграции с прокси)
- url_hsts - списки URL для фильтрации по HTTPS (используется при интеграции с прокси, генерируется из списков выше и domain_hsts, указываемого вручную)
- domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
- domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)
- domain_proxy - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (генерируется из реестра)
- domain_hsts - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (указывается вручную, используется для генерации url_hsts)
- ip_https - IP адреса HTTPS ресурсов, которые необходимо заблокировать, но иного способа кроме как по IP - нет.
- ip_https_plus - расширенный список IP адресов HTTPS ресурсов, которые могут быть заблокированы иными способами.
- ip_block - IP адреса, которые должны быть заблокированы целиком (используется для интеграции с маршрутизаторами)
- ip_port - IP адреса + порты протоколов, к которым на текущий момент не применима более глубокая фильтрация.
- + все те же списки IP, только для IPv6.
Любой из этих списков превращается в белый список добавлением к расширению слова whitelist, например url_http_whitelist.
F.A.Q:
> у нас же появляется только 1 файл domain_mask.load.
По умолчанию все домены блокируются как маски, чтобы исключить лишние проблемы. Есть опция: "DNS-маски только при необходимости", но пока у нас пока нет информации о том, какие получаются отчёты ревизора при её использовании.
> нужно ли донастраивать named_fakezone_generator
Пока нет. Мы сейчас стараемся обеспечивать обратную совместимость с named_fakezone_generator, задача по его обновлению запланирована, но пока не сделана, поэтому временно генерируется файл: lists/tmp/domains_all.load на который указывает симлинк lists/https.resolv. В итоге все домены по прежнему блокируются. Позже (мы обязательно упомянем в рассылке) достаточно будет просто обновить named_fakezone_generator командой git pull origin master.
>
До 7.4.4
Все списки располагаются в папке:
/usr/local/Reductor/lists/
Будем считать, что все перечисленные ниже файлы указаны относительно этой директории.
TODO Списки провайдера хранить в /usr/local/Reductor/userinfo/lists/ чтобы было легче бэкапить, просматривать итд, при обработке копировать в lists, но пока что обеспечивать совместимость со старым вариантом
Используемые
Агрегируемые и перезаписываемые
Их не имеет никакого смысла править вручную.
- http.load - сагрегированный и обработанный список HTTP ресурсов, которые будут блокироваться модулем xt_reductor и подлежат редиректу
- http.ports - список дополнительных портов, пакеты к которым необходимо обрабатывать как HTTP запросы
- https.resolv - агрегированный список доменов, подлежащих резолву и последующей блокировке их IP адресов по HTTPS
- ip.load - агрегированный список блокируемых по HTTPS IP адресов (443 порт)
- ip_ftp.load - список блокируемых по FTP IP адресов (21 порт)
- ip_http.load - список блокируемых по HTTP IP адресов (пока в реестре не имеется записей, которые туда попадают) (80 + доп. порты)
- ip_block.load - список блокируемых целиком IP адресов
Собственные списки провайдера
Более подробная статья, включающая описание всех доступных собственных списков. Здесь перечислены только самые популярные. Изменяются только вручную, сохраняются при обновлении.
- our.httpslist - собственный список доменов, которые необходимо резолвить
- our.iplist - собственный список IP адресов блокируемых по https
- our.list - собственный список HTTP URL
- our.ip_block - собственный список IP, которые необходимо блокировать целиком (по всем протоколам).
Результаты разбора реестра запрещённых сайтов
Их также не имеет смысла править вручную.
- rkn.iplist - список IP адресов из реестра РКН
- rkn.list - список URL из реестра РКН
- system.https - список доменов которые необходимо отрезолвить для блокировки по HTTPS из реестра РКН
Прочие
- minjust.list - обновляющийся с нашего сервера список минюста (только HTTP URL)
Временные
Данные списки устарели и не используются, вы можете удалить их командой:
rm -f /usr/local/Reductor/lists/http.load.* /usr/local/Reductor/lists/http.noload.* /usr/local/Reductor/lists/http_full.noload*