Свои списки. Черные списки. Белые списки

по сравнению с
Ключ
Эта строка удалена.
Это слово было удалено. Это слово было добавлено.
Эта строка добавлена.

Изменения (49)

просмотр истории страницы
{toc}

h1. {color:#ff0000}Данная статья устарела.{color}

Сохранена для того, чтобы перенести часть необходимых данных и структуру статьи.

Для подробностей о работе списков см. статью: [http://docs.carbonsoft.ru/pages/viewpage.action?pageId=51380431]


h1. Требования к спискам, необходимые для нормальной работы

* отсутствие пробелов перед и после строки с адресом.
* отсутствие пустых строк
* наличие переноса на новую строку в последней строке файла (vim подставляет автоматически, mcedit - нет), для проверки можно в консоли выполнить cat путь/до/списка, если приглашение командной строки после этого находится на новой строке - всё в порядке, если съехало - нет.
* обязательно указывать протокол как для http так и https ресурсов
* обязательно указывать протокол только для http ресурсов
* для https который необходимо резолвить - ничего кроме домена указывать не надо
* не помещать в один и тот же список http, https или ip
* кодировка - utf-8, а не cp1251 / koi8-r (по крайней мере для версии под CentOS 6).

Для проверки того, что список записан корректно, можно в консоли выполнить

{code}
cat /путь/до/списка
{code}
если приглашение командной строки после этого находится на новой строке - всё в порядке, если съехало - не очень.



Папка со списками располагается здесь: /usr/local/Reductor/lists/

По умолчанию чёрные и белые списки могут отсутствовать, но можете не бояться их создать.

Для применения их нужно выполнить [команду service reductor reload|reductor5:Стартовый update|reductor5:Стартовый скрипт].

На самом деле именовать все списки как "our.*" не обязательно, главное - расширение, по которому они затем агрегируются, но желательно - выполнением этого "соглашения" вы можете ускорить решение проблем при обращении в техническую поддержку по поводу собственных списков, поскольку они хорошо бросаются в глаза. Если вам необходимо несколько списков одного типа - лучше именовать их our_x.list our_y.list.


h1. Чёрные списки

В принципе соответствующие http и ip списки, только белые - абсолютно аналогичны чёрным по формату.

h3. our.list HTTP-ссылки

файл - our.list

Для применения

{code}
service reductor update
{code}
Пример содержимого:


{code}
http://carbonreductor.blogspot.ru/test-message.html
http://carbonreductor.blogspot.ru/test-message1.html
{code}

h3. our.httpslist
h3. HTTPS-ресурсы (по домену, с резолвом в ip)

файл - our.httpslist

Для применения

{code}
https://example.com/ /usr/local/Reductor/bin/reload_ip.sh
https://example2.com/
{code}
Пример содержимого

h3. our.iplist

{code}
1.2.3.4 example.com
example2.com
{code}


h3. HTTPS-ресурсы (по ip, статично)

our.iplist

{code}
1.2.3.0/24
11.22.33.44
{code}

h3. IP целиком (статично)

our.ip_block

пример содержимого:

{code}
1.2.3.4
1.1.1.0/24
{code}

h1. Белые списки


Итак списки:

h2. HTTP-ссылки

список URL адресов, которые не должны быть заблокированы, несмотря на присутствие в одном из чёрных списков, неважно собственном, официальном, предоставляемым

{code}
/usr/local/Reductor/lists/our.whitelist
{code}

нами итд.
список IP адресов, которые не должны быть заблокированы.

Пример содержимого:

{code}
/usr/local/Reductor/lists/our.whiteiplist http://example.com/page1.html
http://example2.com/page2.html
http://example3.com
{code}

*Как не надо делать* (https-ресурсы здесь будут игнорироваться):

К сожалению поддержки списка https ресурсов в данный момент не имеется, вы можете использовать утилиту nslookup для определения какие IP принадлежат к блокируемому по ошибке сайту и добавить их в белый список.
{code}
https://example.com/
{code}

h2. Белые списки (ipset)
h2. HTTP-ссылки (домены)

Дополнительно вы можете использовать список ip адресов ресурсов (в том числе и подсетей), которые не желаете фильтровать.
Список доменов, которые не должны блокироваться целиком, но конкретные URL на нём блокировать можно.

Подсети указываются в формате:
{code}
/usr/local/Reductor/lists/our.fullwhitelist
{code}

Пример содержимого:

{code}
1.2.3.0/24 http://domain.com
{code}

Для этого используются файлы (в зависимости от протокола)
В результате при попадании в блокируемые ссылок:
{code}
http://domain.com
http://domain.com/page1.html
http://domain.com/page2.php
{code}

Сайт [http://domain.com] целиком блокироваться не будет.

h2. HTTP (ip, статично)

Дополнительно вы можете использовать список ip адресов ресурсов (в том числе и подсетей), которые не желаете фильтровать.

IP адреса указываются без маски. Подсети указываются в формате:
{code}
1.2.3.0/24
{code}
для этого используется файл
{code}
/usr/local/Reductor/lists/our.white_http_iplist
{code}

h2. HTTPS-ресурсы (ip, резолвить)


{quote}
TODO К сожалению поддержки списка https ресурсов в данный момент не имеется, вы можете использовать утилиту nslookup для определения какие IP принадлежат к блокируемому по ошибке сайту и добавить их в белый список.

{quote}

h2. HTTPS-ресурсы (ip, статично)

список IP адресов, которые не должны быть заблокированы:

{code}
/usr/local/Reductor/lists/our.white_https_iplist
{code}

h2. Абоненты без фильтрации

Перечислите ip адреса/подсети в файле

{code}
/usr/local/Reductor/userinfo/hooks/skip_check.list
{code}