{toc}{info}
После ручного изменения любого из списков для применения изменений необходимо выполнить команду:
{code}
chroot /app/reductor /usr/local/Reductor/bin/update.sh
{code}
{info}
h2. Расположение списков
Списки в Carbon Reductor 8 находятся в директории:
{panel}
/app/reductor/var/lib/reductor/lists/
{panel}
h2. Теперь имеется следующая:
Реально используемые результаты обработки списков, готовые к загрузке в модули фильтрации:
* load - все агрегированные, обработанные и используемые Carbon Reductor списки;
"Сырые" списки, служащие источником данных при обработке списков перед загрузкой в модули фильтрации.
* rkn - всё, что парсер реестра извлёк из него.
* rkn_archive - архивные списки РКН за последние 24 часа (опционально, не рекомендуется при использовании дельта-выгрузок).
* provider - собственные списки провайдера.
* carbonsoft - списки от carbonsoft для оперативного решения проблем с фильтрацией без обновления самого Carbon Reductor.
* resolver - результаты резолва по спискам доменов.
Промежуточные результаты обработки списков:
* tmp - промежуточные результаты обработки списков, необходимые обычно только разработчикам. Напрямую не используется (за исключением https.resolv);
* preload - служебный буфер списков перед началом их использования.
h2. Унифицированы и имена (расширения) файлов:
|| Расширение || Точность фильтрации || Какими модулями \\
используется || Подробное описание ||
| url_http | URL | Фильтрация HTTP-трафика | Запросы на URL из этого списка будут \\
перенаправляться на страницу-заглушку. \\
Также используется для наполнения списка \\
url_hsts при использовании прокси-сервера. |
| url_https | URL | Только обработка списков | Используется для наполнения списка url_hsts \\
при использовании прокси-сервера. |
| url_hsts | URL | Прокси-сервер | Трафик, направляемый через прокси-сервер \\
будет перенаправлять запросы на URL из этого \\
списка на страницу-заглушку. Остальные запросы \\
прокси-сервер будет пропускать дальше. |
| domain_exact | домен | Фильтрация DNS-трафика, \\
Фильтрация HTTPS-трафика | DNS и HTTPS трафик будет фильтроваться с \\
точностью до домена в том виде, как он записан \\
в данном списке. *Ни один* субдомен не фильтруется. \\
Служит для формирования списка доменов, который\\
синхронизируется при интеграции с DNS-сервером провайдера. |
| domain_mask | домен | Фильтрация DNS-трафика, \\
Фильтрация HTTPS-трафика | DNS и HTTPS трафик будет фильтроваться с \\
точностью до домена в том виде, как он записан \\
в данном списке + *всех* его субдоменов. \\
Служит для формирования списка доменов, который\\
синхронизируется при интеграции с DNS-сервером провайдера.\\ |
| domain_proxy | домен | Фильтрация DNS-трафика | DNS запросы на домены из этого списка будут \\
перенаправляться на IP адрес прокси-сервера. \\
Используется, в случае если *все* HTTPS-ресурсы \\
отправляются в прокси-сервер. |
| domain_hsts | домен | Фильтрация DNS-трафика | DNS запросы на домены из этого списка будут \\
перенаправляться на IP адрес прокси-сервера. \\
Используется, в случае если *явно заданные провайдером* \\
HTTPS-ресурсы отправляются в прокси-сервер. |
| ip_https | IP + диапазон портов | Фильтрация HTTPS-трафика | Запросы к этим ресурсам по HTTPS будут блокироваться \\
по IP, так как иначе их заблокировать невозможно. |
| ip_https_plus | IP + диапазон портов | Фильтрация HTTPS-трафика | Запросы к этим ресурсам по HTTPS будут блокироваться \\
по IP в целях повышения надёжности фильтрации. \\ |
| ip_http_plus | не используется для \\
фильтрации напрямую | Фильтрация всего трафика | Содержит все известные IP адреса ресурсов, подвергаемых \\
блокировке по URL, домену или частичной блокировке по IP. \\ |
| ip_forward | не используется для \\
фильтрации напрямую | Фильтрация всего трафика | Формируется автоматически из списков ip_https, ip_https_plus, \\
ip_http_plus, содержит все адреса, которые необходимо отправлять \\
на Carbon Reductor для дальнейшей фильтрации при использовании \\
асинхронной маршрутизации. Используется контейнером \\
BGP Blackhole. |
| ip_block | IP целиком | Фильтрация IP трафика | То же, что и ip_subnet_block с 17.04.2018 |
| ip_subnet_block | IP целиком | Фильтрация IP трафика \\ | Список подсетей, доступ к которым ограничивается по всем \\
портам и протоколам. Используется как в файрволе Carbon Reductor, \\
для отправки разрыва соединения, так и в контейнере BGP Blackhole \\
для анонсирования маршрутов через Carbon Reductor. |
| ip_port | IP + порт | Файрвол Carbon Reductor | Содержит связки IP + порт ресурсов, использующих протоколы, \\
отличные от HTTP, HTTPS и DNS. По ним производится разрыв \\
соединения. |
| port_http | не используется для \\
фильтрации напрямую | ---- | Список портов, трафик которых считается содержащим HTTP запросы \\
и анализируемый глубоко. |
| port_https | не используется для \\
фильтрации напрямую | ---- | Список портов, трафик которых считается содержащим HTTPS запросы \\
и анализируемый глубоко. |
+ все те же списки IP, только для IPv6, префикс которых начинается как ip6\_ вместо ip_.
Любой из этих списков превращается в белый список добавлением к расширению слова whitelist, например url_http_whitelist.
h2. {color:#000000}Собственные списки провайдера{color}
Собственные списки провайдера находятся в каталоге
{code}
/app/reductor/var/lib/reductor/lists/provider/
{code}
Названия формируются исходя из названий вышеприведённых списков путём добавления _our._ вначале.
Для примера:
* our.url_http - списки URL для фильтрации по HTTP
* our.url_https - списки URL для фильтрации по HTTPS (используется *только* при интеграции с [прокси|http://docs.carbonsoft.ru/pages/viewpage.action?pageId=67404201])
* our.domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
* our.domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)
h2. F.A.Q:
> у нас же появляется только 1 файл domain_mask.load.
По умолчанию все домены блокируются как маски, чтобы исключить лишние проблемы. Есть опция: "DNS-маски только при необходимости", но пока у нас пока нет информации о том, какие получаются отчёты ревизора при её использовании.
> нужно ли донастраивать named_fakezone_generator
Пока нет. Мы сейчас стараемся обеспечивать обратную совместимость с named_fakezone_generator, задача по его обновлению запланирована, но пока не сделана, поэтому временно генерируется файл: lists/tmp/domains_all.load на который указывает симлинк lists/https.resolv. В итоге все домены по прежнему блокируются. Позже (мы обязательно упомянем в рассылке) достаточно будет просто обновить named_fakezone_generator командой git pull origin master.ductor/lists/
После ручного изменения любого из списков для применения изменений необходимо выполнить команду:
{code}
chroot /app/reductor /usr/local/Reductor/bin/update.sh
{code}
{info}
h2. Расположение списков
Списки в Carbon Reductor 8 находятся в директории:
{panel}
/app/reductor/var/lib/reductor/lists/
{panel}
h2. Теперь имеется следующая:
Реально используемые результаты обработки списков, готовые к загрузке в модули фильтрации:
* load - все агрегированные, обработанные и используемые Carbon Reductor списки;
"Сырые" списки, служащие источником данных при обработке списков перед загрузкой в модули фильтрации.
* rkn - всё, что парсер реестра извлёк из него.
* rkn_archive - архивные списки РКН за последние 24 часа (опционально, не рекомендуется при использовании дельта-выгрузок).
* provider - собственные списки провайдера.
* carbonsoft - списки от carbonsoft для оперативного решения проблем с фильтрацией без обновления самого Carbon Reductor.
* resolver - результаты резолва по спискам доменов.
Промежуточные результаты обработки списков:
* tmp - промежуточные результаты обработки списков, необходимые обычно только разработчикам. Напрямую не используется (за исключением https.resolv);
* preload - служебный буфер списков перед началом их использования.
h2. Унифицированы и имена (расширения) файлов:
|| Расширение || Точность фильтрации || Какими модулями \\
используется || Подробное описание ||
| url_http | URL | Фильтрация HTTP-трафика | Запросы на URL из этого списка будут \\
перенаправляться на страницу-заглушку. \\
Также используется для наполнения списка \\
url_hsts при использовании прокси-сервера. |
| url_https | URL | Только обработка списков | Используется для наполнения списка url_hsts \\
при использовании прокси-сервера. |
| url_hsts | URL | Прокси-сервер | Трафик, направляемый через прокси-сервер \\
будет перенаправлять запросы на URL из этого \\
списка на страницу-заглушку. Остальные запросы \\
прокси-сервер будет пропускать дальше. |
| domain_exact | домен | Фильтрация DNS-трафика, \\
Фильтрация HTTPS-трафика | DNS и HTTPS трафик будет фильтроваться с \\
точностью до домена в том виде, как он записан \\
в данном списке. *Ни один* субдомен не фильтруется. \\
Служит для формирования списка доменов, который\\
синхронизируется при интеграции с DNS-сервером провайдера. |
| domain_mask | домен | Фильтрация DNS-трафика, \\
Фильтрация HTTPS-трафика | DNS и HTTPS трафик будет фильтроваться с \\
точностью до домена в том виде, как он записан \\
в данном списке + *всех* его субдоменов. \\
Служит для формирования списка доменов, который\\
синхронизируется при интеграции с DNS-сервером провайдера.\\ |
| domain_proxy | домен | Фильтрация DNS-трафика | DNS запросы на домены из этого списка будут \\
перенаправляться на IP адрес прокси-сервера. \\
Используется, в случае если *все* HTTPS-ресурсы \\
отправляются в прокси-сервер. |
| domain_hsts | домен | Фильтрация DNS-трафика | DNS запросы на домены из этого списка будут \\
перенаправляться на IP адрес прокси-сервера. \\
Используется, в случае если *явно заданные провайдером* \\
HTTPS-ресурсы отправляются в прокси-сервер. |
| ip_https | IP + диапазон портов | Фильтрация HTTPS-трафика | Запросы к этим ресурсам по HTTPS будут блокироваться \\
по IP, так как иначе их заблокировать невозможно. |
| ip_https_plus | IP + диапазон портов | Фильтрация HTTPS-трафика | Запросы к этим ресурсам по HTTPS будут блокироваться \\
по IP в целях повышения надёжности фильтрации. \\ |
| ip_http_plus | не используется для \\
фильтрации напрямую | Фильтрация всего трафика | Содержит все известные IP адреса ресурсов, подвергаемых \\
блокировке по URL, домену или частичной блокировке по IP. \\ |
| ip_forward | не используется для \\
фильтрации напрямую | Фильтрация всего трафика | Формируется автоматически из списков ip_https, ip_https_plus, \\
ip_http_plus, содержит все адреса, которые необходимо отправлять \\
на Carbon Reductor для дальнейшей фильтрации при использовании \\
асинхронной маршрутизации. Используется контейнером \\
BGP Blackhole. |
| ip_block | IP целиком | Фильтрация IP трафика | То же, что и ip_subnet_block с 17.04.2018 |
| ip_subnet_block | IP целиком | Фильтрация IP трафика \\ | Список подсетей, доступ к которым ограничивается по всем \\
портам и протоколам. Используется как в файрволе Carbon Reductor, \\
для отправки разрыва соединения, так и в контейнере BGP Blackhole \\
для анонсирования маршрутов через Carbon Reductor. |
| ip_port | IP + порт | Файрвол Carbon Reductor | Содержит связки IP + порт ресурсов, использующих протоколы, \\
отличные от HTTP, HTTPS и DNS. По ним производится разрыв \\
соединения. |
| port_http | не используется для \\
фильтрации напрямую | ---- | Список портов, трафик которых считается содержащим HTTP запросы \\
и анализируемый глубоко. |
| port_https | не используется для \\
фильтрации напрямую | ---- | Список портов, трафик которых считается содержащим HTTPS запросы \\
и анализируемый глубоко. |
+ все те же списки IP, только для IPv6, префикс которых начинается как ip6\_ вместо ip_.
Любой из этих списков превращается в белый список добавлением к расширению слова whitelist, например url_http_whitelist.
h2. {color:#000000}Собственные списки провайдера{color}
Собственные списки провайдера находятся в каталоге
{code}
/app/reductor/var/lib/reductor/lists/provider/
{code}
Названия формируются исходя из названий вышеприведённых списков путём добавления _our._ вначале.
Для примера:
* our.url_http - списки URL для фильтрации по HTTP
* our.url_https - списки URL для фильтрации по HTTPS (используется *только* при интеграции с [прокси|http://docs.carbonsoft.ru/pages/viewpage.action?pageId=67404201])
* our.domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
* our.domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)
h2. F.A.Q:
> у нас же появляется только 1 файл domain_mask.load.
По умолчанию все домены блокируются как маски, чтобы исключить лишние проблемы. Есть опция: "DNS-маски только при необходимости", но пока у нас пока нет информации о том, какие получаются отчёты ревизора при её использовании.
> нужно ли донастраивать named_fakezone_generator
Пока нет. Мы сейчас стараемся обеспечивать обратную совместимость с named_fakezone_generator, задача по его обновлению запланирована, но пока не сделана, поэтому временно генерируется файл: lists/tmp/domains_all.load на который указывает симлинк lists/https.resolv. В итоге все домены по прежнему блокируются. Позже (мы обязательно упомянем в рассылке) достаточно будет просто обновить named_fakezone_generator командой git pull origin master.ductor/lists/