Списки. Какой список чем является

Skip to end of metadata
Go to start of metadata
После ручного изменения любого из списков для применения изменений необходимо выполнить команду:
/usrlocal/Reductor/bin/update.sh

Начиная с 7.4.4

Теперь имеется следующая структура внутри /usr/local/Reductor/lists/:

  • load - все агрегированные, обработанные и используемые Carbon Reductor списки;
  • rkn - всё, что парсер реестра извлёк из него. Напрямую не используется;
  • provider - собственные списки провайдера. Напрямую не используется;
  • carbonsoft - списки от carbonsoft для оперативного устранения проблем с фильтрацией без обновления самого Carbon Reductor. Напрямую не используется;
  • resolver - результаты резолва по разным спискам доменов. Напрямую не используется;
  • tmp - промежуточные результаты обработки списков, необходимые обычно только разработчикам. Напрямую не используется (за исключением https.resolv);

Унифицированы и имена (расширения) файлов:

  • url_http - списки URL для фильтрации по HTTP
  • url_https - списки URL для фильтрации по HTTPS (используется ТОЛЬКО при интеграции с прокси на Carbon Reductor 8)
  • url_hsts - списки URL для фильтрации по HTTPS (используется при интеграции с прокси, генерируется из списков выше и domain_hsts, указываемого вручную)
  • domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
  • domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)
  • domain_proxy - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (генерируется из реестра)
  • domain_hsts - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (указывается вручную, используется для генерации url_hsts)
  • ip_https - IP адреса HTTPS ресурсов, которые необходимо заблокировать, но иного способа кроме как по IP - нет.
  • ip_https_plus - расширенный список IP адресов HTTPS ресурсов, которые могут быть заблокированы иными способами.
  • ip_block - IP адреса, которые должны быть заблокированы целиком (используется для интеграции с маршрутизаторами)
  • ip_port - IP адреса + порты протоколов, к которым на текущий момент не применима более глубокая фильтрация.
  • port_http - анализируемые порты HTTP трафика.
  • port_https - анализируемые порты HTTPS трафика.
  • + все те же списки IP, только для IPv6.

Любой из этих списков превращается в белый список добавлением к расширению слова whitelist, например url_http_whitelist.

F.A.Q:

> у нас же появляется только 1 файл domain_mask.load.

По умолчанию все домены блокируются как маски, чтобы исключить лишние проблемы. Есть опция: "DNS-маски только при необходимости", но пока у нас пока нет информации о том, какие получаются отчёты ревизора при её использовании.

> нужно ли донастраивать named_fakezone_generator

Пока нет. Мы сейчас стараемся обеспечивать обратную совместимость с named_fakezone_generator, задача по его обновлению запланирована, но пока не сделана, поэтому временно генерируется файл: lists/tmp/domains_all.load на который указывает симлинк lists/https.resolv. В итоге все домены по прежнему блокируются. Позже (мы обязательно упомянем в рассылке) достаточно будет просто обновить named_fakezone_generator командой git pull origin master.

До 7.4.4

Все списки располагаются в папке:

/usr/local/Reductor/lists/

Будем считать, что все перечисленные ниже файлы указаны относительно этой директории.

TODO Списки провайдера хранить в /usr/local/Reductor/userinfo/lists/ чтобы было легче бэкапить, просматривать итд, при обработке копировать в lists, но пока что обеспечивать совместимость со старым вариантом

Используемые

Агрегируемые и перезаписываемые

Их не имеет никакого смысла править вручную.

  • http.load - сагрегированный и обработанный список HTTP ресурсов, которые будут блокироваться модулем xt_reductor и подлежат редиректу
  • http.ports - список дополнительных портов, пакеты к которым необходимо обрабатывать как HTTP запросы
  • https.resolv - агрегированный список доменов, подлежащих резолву и последующей блокировке их IP адресов по HTTPS
  • ip.load - агрегированный список блокируемых по HTTPS IP адресов (443 порт)
  • ip_ftp.load - список блокируемых по FTP IP адресов (21 порт)
  • ip_http.load - список блокируемых по HTTP IP адресов (пока в реестре не имеется записей, которые туда попадают) (80 + доп. порты)
  • ip_block.load - список блокируемых целиком IP адресов

Собственные списки провайдера

Более подробная статья, включающая описание всех доступных собственных списков. Здесь перечислены только самые популярные. Изменяются только вручную, сохраняются при обновлении.

  • our.httpslist - собственный список доменов, которые необходимо резолвить
  • our.iplist - собственный список IP адресов блокируемых по https
  • our.list - собственный список HTTP URL
  • our.ip_block - собственный список IP, которые необходимо блокировать целиком (по всем протоколам).

Результаты разбора реестра запрещённых сайтов

Их также не имеет смысла править вручную.

  • rkn.iplist - список IP адресов из реестра РКН
  • rkn.list - список URL из реестра РКН
  • system.https - список доменов которые необходимо отрезолвить для блокировки по HTTPS из реестра РКН

Прочие

  • minjust.list - обновляющийся с нашего сервера список минюста (только HTTP URL)

Временные

Данные списки устарели и не используются, вы можете удалить их командой:

rm -f /usr/local/Reductor/lists/http.load.* /usr/local/Reductor/lists/http.noload.* /usr/local/Reductor/lists/http_full.noload*
Введите метки, чтобы добавить к этой странице:
Please wait 
Ищите метку? просто начните печатать.