{toc}{info}
После ручного изменения любого из списков для применения изменений необходимо выполнить команду:
{code}
chroot /app/reductor /usr/local/Reductor/bin/update.sh
{code}
{info}
h2. Расположение списков
Списки в Carbon Reductor 8 находятся в директории:
{panel}
/app/reductor/var/lib/reductor/lists/
{panel}
h2. Теперь имеется следующая:
Реально используемые результаты обработки списков, готовые к загрузке в модули фильтрации:
* load - все агрегированные, обработанные и используемые Carbon Reductor списки;
"Сырые" списки, служащие источником данных при обработке списков перед загрузкой в модули фильтрации.
* rkn - всё, что парсер реестра извлёк из него.
* rkn_archive - архивные списки РКН за последние 24 часа (опционально, не рекомендуется при использовании дельта-выгрузок).
* provider - собственные списки провайдера.
* carbonsoft - списки от carbonsoft для оперативного решения проблем с фильтрацией без обновления самого Carbon Reductor.
* resolver - результаты резолва по спискам доменов.
Промежуточные результаты обработки списков:
* tmp - промежуточные результаты обработки списков, необходимые обычно только разработчикам. Напрямую не используется (за исключением https.resolv);
* preload - служебный буфер списков перед началом их использования.
h2. Унифицированы и имена (расширения) файлов:
* url_http - списки URL для фильтрации по HTTP
* url_https - списки URL для фильтрации по HTTPS (используется при интеграции с прокси)
* url_hsts - списки URL для фильтрации по HTTPS (используется при интеграции с прокси, генерируется из списков выше и domain_hsts, указываемого вручную)
* domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
* domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)
* domain_proxy - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (генерируется из реестра)
* domain_hsts - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (указывается вручную, используется для генерации url_hsts)
* ip_https - IP адреса HTTPS ресурсов, которые необходимо заблокировать, но иного способа кроме как по IP - нет.
* ip_https_plus - расширенный список IP адресов HTTPS ресурсов, которые могут быть заблокированы иными способами.
* ip_block - IP адреса, которые должны быть заблокированы целиком (используется для интеграции с маршрутизаторами)
* ip_port - IP адреса + порты протоколов, к которым на текущий момент не применима более глубокая фильтрация.
* port_http - анализируемые порты HTTP трафика.
* port_https - анализируемые порты HTTPS трафика.
* + все те же списки IP, только для IPv6.
Любой из этих списков превращается в белый список добавлением к расширению слова whitelist, например url_http_whitelist.
Списки доменов domain_mask и domain_exact используются следующими модулями:
* dnsmatch - редирект по DNS (анализируется зеркало трафика на редукторе)
* snimatch - анализ HTTPS-трафика (анализируется зеркало трафика на редукторе) с точностью до домена.
* fakezone - интеграция c DNS-серверами (анализируются запросы, поступившие на DNS-сервер провайдера)
h2. Собственные списки провайдера
Собственные списки провайдера находятся в каталоге
{code}
/app/reductor/var/lib/reductor/lists/provider/
{code}
Названия формируются исходя из названий вышеприведённых списков путём добавления _our._ вначале.
Для примера:
* our.url_http - списки URL для фильтрации по HTTP
* our.url_https - списки URL для фильтрации по HTTPS (используется *только* при интеграции с [прокси|http://docs.carbonsoft.ru/pages/viewpage.action?pageId=67404201])
* our.domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
* our.domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)
h2. F.A.Q:
> у нас же появляется только 1 файл domain_mask.load.
По умолчанию все домены блокируются как маски, чтобы исключить лишние проблемы. Есть опция: "DNS-маски только при необходимости", но пока у нас пока нет информации о том, какие получаются отчёты ревизора при её использовании.
> нужно ли донастраивать named_fakezone_generator
Пока нет. Мы сейчас стараемся обеспечивать обратную совместимость с named_fakezone_generator, задача по его обновлению запланирована, но пока не сделана, поэтому временно генерируется файл: lists/tmp/domains_all.load на который указывает симлинк lists/https.resolv. В итоге все домены по прежнему блокируются. Позже (мы обязательно упомянем в рассылке) достаточно будет просто обновить named_fakezone_generator командой git pull origin master.ductor/lists/
После ручного изменения любого из списков для применения изменений необходимо выполнить команду:
{code}
chroot /app/reductor /usr/local/Reductor/bin/update.sh
{code}
{info}
h2. Расположение списков
Списки в Carbon Reductor 8 находятся в директории:
{panel}
/app/reductor/var/lib/reductor/lists/
{panel}
h2. Теперь имеется следующая:
Реально используемые результаты обработки списков, готовые к загрузке в модули фильтрации:
* load - все агрегированные, обработанные и используемые Carbon Reductor списки;
"Сырые" списки, служащие источником данных при обработке списков перед загрузкой в модули фильтрации.
* rkn - всё, что парсер реестра извлёк из него.
* rkn_archive - архивные списки РКН за последние 24 часа (опционально, не рекомендуется при использовании дельта-выгрузок).
* provider - собственные списки провайдера.
* carbonsoft - списки от carbonsoft для оперативного решения проблем с фильтрацией без обновления самого Carbon Reductor.
* resolver - результаты резолва по спискам доменов.
Промежуточные результаты обработки списков:
* tmp - промежуточные результаты обработки списков, необходимые обычно только разработчикам. Напрямую не используется (за исключением https.resolv);
* preload - служебный буфер списков перед началом их использования.
h2. Унифицированы и имена (расширения) файлов:
* url_http - списки URL для фильтрации по HTTP
* url_https - списки URL для фильтрации по HTTPS (используется при интеграции с прокси)
* url_hsts - списки URL для фильтрации по HTTPS (используется при интеграции с прокси, генерируется из списков выше и domain_hsts, указываемого вручную)
* domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
* domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)
* domain_proxy - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (генерируется из реестра)
* domain_hsts - домены, которые необходимо отправлять в HTTPS-прокси для фильтрации по URL (указывается вручную, используется для генерации url_hsts)
* ip_https - IP адреса HTTPS ресурсов, которые необходимо заблокировать, но иного способа кроме как по IP - нет.
* ip_https_plus - расширенный список IP адресов HTTPS ресурсов, которые могут быть заблокированы иными способами.
* ip_block - IP адреса, которые должны быть заблокированы целиком (используется для интеграции с маршрутизаторами)
* ip_port - IP адреса + порты протоколов, к которым на текущий момент не применима более глубокая фильтрация.
* port_http - анализируемые порты HTTP трафика.
* port_https - анализируемые порты HTTPS трафика.
* + все те же списки IP, только для IPv6.
Любой из этих списков превращается в белый список добавлением к расширению слова whitelist, например url_http_whitelist.
Списки доменов domain_mask и domain_exact используются следующими модулями:
* dnsmatch - редирект по DNS (анализируется зеркало трафика на редукторе)
* snimatch - анализ HTTPS-трафика (анализируется зеркало трафика на редукторе) с точностью до домена.
* fakezone - интеграция c DNS-серверами (анализируются запросы, поступившие на DNS-сервер провайдера)
h2. Собственные списки провайдера
Собственные списки провайдера находятся в каталоге
{code}
/app/reductor/var/lib/reductor/lists/provider/
{code}
Названия формируются исходя из названий вышеприведённых списков путём добавления _our._ вначале.
Для примера:
* our.url_http - списки URL для фильтрации по HTTP
* our.url_https - списки URL для фильтрации по HTTPS (используется *только* при интеграции с [прокси|http://docs.carbonsoft.ru/pages/viewpage.action?pageId=67404201])
* our.domain_exact - домены, которые подлежат точной блокировке (xx.yy блокируется, а www.xx.yy не будет)
* our.domain_mask - домены, которые подлежат блокировке по маскам (xx.yy блокируется со всеми субдоменами, включая www.xx.yy)
h2. F.A.Q:
> у нас же появляется только 1 файл domain_mask.load.
По умолчанию все домены блокируются как маски, чтобы исключить лишние проблемы. Есть опция: "DNS-маски только при необходимости", но пока у нас пока нет информации о том, какие получаются отчёты ревизора при её использовании.
> нужно ли донастраивать named_fakezone_generator
Пока нет. Мы сейчас стараемся обеспечивать обратную совместимость с named_fakezone_generator, задача по его обновлению запланирована, но пока не сделана, поэтому временно генерируется файл: lists/tmp/domains_all.load на который указывает симлинк lists/https.resolv. В итоге все домены по прежнему блокируются. Позже (мы обязательно упомянем в рассылке) достаточно будет просто обновить named_fakezone_generator командой git pull origin master.ductor/lists/