Списки. Какой список чем является

h2. Теперь имеется следующая структура внутри /usr/local/Reductor/lists/:

* load - все агрегированные, обработанные и используемые Carbon Reductor списки;
* rkn - всё, что парсер реестра извлёк из него. Напрямую не используется;
* provider - собственные списки провайдера. Напрямую не используется;
* carbonsoft - списки от carbonsoft для оперативного устранения проблем с фильтрацией без обновления самого Carbon Reductor. Напрямую не используется;
* resolver - результаты резолва по разным спискам доменов. Напрямую не используется;
* tmp - промежуточные результаты обработки списков, необходимые обычно только разработчикам. Напрямую не используется (за исключением https.resolv);



h2. Унифицированы и имена (расширения) файлов:

* url_http - списки URL для фильтрации по HTTP
* url_https - списки URL для фильтрации по HTTPS (используется *ТОЛЬКО* при интеграции с прокси на Carbon Reductor 8)
* url_hsts - списки URL для фильтрации по HTTPS (используется при интеграции с прокси, генерируется из списков выше и domain_hsts, указываемого вручную)
* domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
* domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)
* domain_proxy - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (генерируется из реестра)
* domain_hsts - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (указывается вручную, используется для генерации url_hsts)
* ip_https - IP адреса HTTPS ресурсов, которые необходимо заблокировать, но иного способа кроме как по IP - нет.
* ip_https_plus - расширенный список IP адресов HTTPS ресурсов, которые могут быть заблокированы иными способами.
* ip_block - IP адреса, которые должны быть заблокированы целиком (используется для интеграции с маршрутизаторами)
* ip_port - IP адреса + порты протоколов, к которым на текущий момент не применима более глубокая фильтрация.
* port_http - анализируемые порты HTTP трафика.
* port_https - анализируемые порты HTTPS трафика.
* + все те же списки IP, только для IPv6.



Любой из этих списков превращается в белый список добавлением к расширению слова whitelist, например url_http_whitelist.

h2. F.A.Q:

> у нас же появляется только 1 файл domain_mask.load.

По умолчанию все домены блокируются как маски, чтобы исключить лишние проблемы. Есть опция: "DNS-маски только при необходимости", но пока у нас пока нет информации о том, какие получаются отчёты ревизора при её использовании.

> нужно ли донастраивать named_fakezone_generator

Пока нет. Мы сейчас стараемся обеспечивать обратную совместимость с named_fakezone_generator, задача по его обновлению запланирована, но пока не сделана, поэтому временно генерируется файл: lists/tmp/domains_all.load на который указывает симлинк lists/https.resolv. В итоге все домены по прежнему блокируются. Позже (мы обязательно упомянем в рассылке) достаточно будет просто обновить named_fakezone_generator командой git pull origin master.


h1. До 7.4.4

Все списки располагаются в папке:

{code}
/usr/local/Reductor/lists/
{code}
Будем считать, что все перечисленные ниже файлы указаны относительно этой директории.

{quote}
TODO Списки провайдера хранить в /usr/local/Reductor/userinfo/lists/ чтобы было легче бэкапить, просматривать итд, при обработке копировать в lists, но пока что обеспечивать совместимость со старым вариантом
{quote}

h2. Используемые


h3. Агрегируемые и перезаписываемые

Их не имеет никакого смысла править вручную.


* http.load - сагрегированный и обработанный список HTTP ресурсов, которые будут блокироваться модулем xt_reductor и подлежат редиректу
* http.ports - список дополнительных портов, пакеты к которым необходимо обрабатывать как HTTP запросы
* https.resolv - агрегированный список доменов, подлежащих резолву и последующей блокировке их IP адресов по HTTPS
* ip.load - агрегированный список блокируемых по HTTPS IP адресов (443 порт)
* ip_ftp.load - список блокируемых по FTP IP адресов (21 порт)
* ip_http.load - список блокируемых по HTTP IP адресов (пока в реестре не имеется записей, которые туда попадают) (80 + доп. порты)
* ip_block.load - список блокируемых целиком IP адресов

h3. Собственные списки провайдера

Более [подробная статья, включающая описание всех доступных собственных списков|reductor5:Свои списки. Черные списки. Белые списки]. Здесь перечислены только самые популярные. Изменяются только вручную, сохраняются при обновлении.


* our.httpslist - собственный список доменов, которые необходимо резолвить
* our.iplist - собственный список IP адресов блокируемых по https
* our.list - собственный список HTTP URL
* our.ip_block - собственный список IP, которые необходимо блокировать целиком (по всем протоколам).

h3. Результаты разбора реестра запрещённых сайтов

Их также не имеет смысла править вручную.

* rkn.iplist - список IP адресов из реестра РКН
* rkn.list - список URL из реестра РКН
* system.https - список доменов которые необходимо отрезолвить для блокировки по HTTPS из реестра РКН

h3. Прочие

* minjust.list - обновляющийся с нашего сервера список минюста (только HTTP URL)




h2. Временные

Данные списки устарели и не используются, вы можете удалить их командой:

{code}
rm -f /usr/local/Reductor/lists/http.load.* /usr/local/Reductor/lists/http.noload.* /usr/local/Reductor/lists/http_full.noload*
{code}