Интеграция биллинга с Mikrotik. Подробная статья.

Установка Carbon Billing 5 проводится с помощью iso или img образа (для установки с флешки), который необходимо скачать по ссылке \[[https://www.carbonsoft.ru/download/|https://www.carbonsoft.ru/download/]\]. Так как в качестве NAS'а используется Mikrotik, выбираем Carbon Billing OSS/BSS 5.

Подробный процесс установки биллинга описан в документации \[[http://docs.carbonsoft.ru/pages/viewpage.action?pageId=65799386|http://docs.carbonsoft.ru/pages/viewpage.action?pageId=65799386]\].

h1.Первичная настройка сети биллинга и микротика 

После установки биллинга и микротика необходимо провести первоначальную настройку сети для этих двух хостов. В качестве примера возьмём следующую адресацию сети:
\\
* 10.90.248.90/16 - адрес внешнего интерфейса микротика, который смотрит в интернет
* 10.90.1.1 - основной шлюз микротика
* 192.168.248.1/24 - адрес локального интерфейса микротика
* 192.168.248.2/24 - адрес биллинга
* 192.168.248.1 - шлюз биллинга, он же локальный адрес микротика

h6.Настройка сети микротика с помощью терминала
*Шаг 1*
Проверяем, какие сетевые интерфейсы сейчас доступны для использования. Вводим команду:
{code}
/interface print
{code}

В ответ получим примерно такой вывод:
{code}
Flags: D - dynamic, X - disabled, R - running, S - slave
# NAME TYPE ACTUAL-MTU L2MTU MAX-L2MTU MAC-ADDRESS
0 R ether1 ether 1500 52:54:00:A6:AE:A9
1 R ether2 ether 1500 52:54:00:84:C3:7E
{code}

*Шаг 2*

Выбираем какой интерфейс будет выбран в качестве внешнего, а какой в качестве локального. Мы выбрали ether1 как внешний, ether2 - локальный.

Добавляем адреса на интерфейсы в соответствии с выбором:
{code}
/ip address add address=10.90.248.90/16 interface=ether1 network=10.90.0.0
/ip address add address=192.168.248.1/24 interface=ether2 network=192.168.248.0
{code}

*Шаг 3*

Теперь необходимо добавить маршрут по умолчанию для того, чтобы у Mikrotik'а был доступ во внешнюю сеть.
{code}
/ip route add distance=1 gateway=10.90.1.1
{code}

После добавления маршрута по умолчанию, нужно проверить, что у Mikrotik'a теперь есть доступ во внешнюю сеть. Запускаем ping до 8.8.8.8.

{code}
/ping 8.8.8.8
{code}

Ответ

{code}
SEQ HOST SIZE TTL TIME STATUS
0 8.8.8.8 56 47 41ms
1 8.8.8.8 56 47 41ms
2 8.8.8.8 56 47 41ms
{code}

В данном случае ответы есть.

*Шаг 4*

Если во время установки биллинга Вы уже произвели настройку сети, то этот пункт можно пропустить. Если сеть во время установки биллинга Вы не настраивали, это необходимо выполнить следующим образом из консоли.

Проверяем какие сетевые интерфейсы доступны для использования и отобразились системой:
{code}
ip a | grep eth
{code}

В ответ получим примерно такой вывод:
{code}
eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 52:54:00:e0:13:3a brd ff:ff:ff:ff:ff:ff
link/ether 42:41:23:7d:e4:12 brd ff:ff:ff:ff:ff:ff
{code}

В данном случае можно увидеть, что есть только 1 сетевой интерфейс eth0, который и необходимо настроить для связки Carbon Billing 5 - Mikrotik. Для настройки будем использовать конфигурационный файл, который необходимо открыть любым текстовым редактором. В качестве примере используется текстовый редактор vim.

Открываем конфигурационный файл */etc/sysconfig/network-scripts/ifcfg-eth0*. В случае, если сетевой интерфейс будет назван eth1, путь останется прежним, изменится только последний файл, то есть */etc/sysconfig/network-scripts/ifcfg-eth1*.
{code}
vim /etc/sysconfig/network-scripts/ifcfg-eth0
{code}

В открывшемся окне появится примерно следующее содержание:
{code}
DEVICE=eth0
HWADDR=52:54:00:e0:13:3a
TYPE=Ethernet
UUID=d498b2ad-331a-4b66-b921-91cb8808012c
ONBOOT=no
NM_CONTROLLED=no
BOOTPROTO=none
DNS2=8.8.4.4
DNS1=8.8.8.8
USERCTL=no
PEERDNS=no
IPV6INIT=no
{code}

С помощью текстового редактора добавим сюда следующие строки:
{code}
IPADDR=192.168.248.2
NETMASK=255.255.255.0
GATEWAY=192.168.248.1
{code}

Обратите внимание, что по умолчанию в поле ONBOOT стоит значение <mark>no</mark>. Это значение отвечает за то, будет ли запускаться этот интерфейс при перезагрузке сервера. В данном случае необходимо изменить его на значение *yes*.

После всех изменений конфигурационный файл должен выглядеть следующим образом:
{code}
DEVICE=eth0
HWADDR=52:54:00:e0:13:3a
TYPE=Ethernet
UUID=d498b2ad-331a-4b66-b921-91cb8808012c
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=none
IPADDR=192.168.248.2
NETMASK=255.255.255.0
DNS2=8.8.4.4
GATEWAY=192.168.248.1
DNS1=8.8.8.8
USERCTL=no
PEERDNS=no
IPV6INIT=no
{code}

*Примечание.* В текстовом редакторе vim для того, чтобы внести изменения необходимо нажать клавишу i, таким образом Вы перейдете в режим "Вставка".

После того, как Вы внесли все необходимые изменения, необходимо нажать клавишу ESC, этой клавишей Вы отмените режим "Вставка". Для сохранения файла и выхода необходимо нажать клавиши :wq! и нажать enter.

После внесения изменения в конфигурационный файл их необходимо применить. Для этого выполните следующие команды:
{code}
ifdown eth0; ifup eth0
{code}

Если всё выполнено верно, то после этих изменений IP-адрес 192.168.248.2 будет добавлен на интерфейс eth0. Проверим это той же командой:
{code}
ip a | grep eth
{code}

В выводе теперь будет информация с этим IP-адресом:
{code}
eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 52:54:00:e0:13:3a brd ff:ff:ff:ff:ff:ff
inet 192.168.248.2/24 brd 192.168.248.255 scope global eth0
link/ether 42:41:23:7d:e4:12 brd ff:ff:ff:ff:ff:ff
{code}

Теперь проверим, что Mikrotik доступен с биллинга:
{code}
ping 192.168.248.1
PING 192.168.248.1 (192.168.248.1) 56(84) bytes of data.
64 bytes from 192.168.248.1: icmp_seq=1 ttl=64 time=0.359 ms
64 bytes from 192.168.248.1: icmp_seq=2 ttl=64 time=0.306 ms
{code}

*Шаг 5*

Настройка доступа к интернету со стороны биллинга. Если для биллинга у Вас выделен белый адрес, скорее всего доступ в интернет у биллинга уже есть. Проверить это можно следующей командой на стороне биллинга:
{code}
ping 8.8.8.8
{code}

Ответ:
{code}
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
64 bytes from 8.8.8.8: icmp_seq=1 ttl=46 time=41.3 ms
64 bytes from 8.8.8.8: icmp_seq=2 ttl=46 time=41.5 ms
64 bytes from 8.8.8.8: icmp_seq=3 ttl=46 time=41.3 ms
{code}

Если же адрес для биллинга выделен из серой подсети, как в данном примере, то на Mirkotik'е необходимо добавить правило маскарада для адреса биллинга. Для этого на Mirkotik'е вводим следующие команды:
{code}
/ip firewall nat add action=masquerade chain=srcnat dst-address=!10.0.0.0/8 src-address=192.168.248.2
{code}

Данное правило для всех запросов с адреса 192.168.248.2 (адрес биллинга) на любой адрес не из сети 10.0.0.0/8 (пример серой подсети) будет выполнять маскарад, то есть отправлять пакет через внешний интерфейс, на котором указан адрес для маршрута по умолчанию, то есть через ether1 и подменит src address.

В примере указано исключение только для одной серой сети 10.0.0.0/8. Если необходимо добавить исключение для всех серый подсетей, укажите их в отдельных правилах:
{code}
/ip firewall nat add action=masquerade chain=srcnat dst-address=!172.16.0.0/12 src-address=192.168.248.2
/ip firewall nat add action=masquerade chain=srcnat dst-address=!192.168.0.0/16 src-address=192.168.248.2
{code}

После добавления правил маскарада на Mirkotik'е, необходимо проверить на стороне биллинга наличие доступа в интернет с помощью команды <mark>ping 8.8.8.8</mark>. Биллингу необходим доступ в интернет для активации и регистрации продукта.

h1. Регистрация и активация биллинга

Для того, чтобы зайти в веб-интерфейс биллинга перейдите по адресу *'IP-адрес биллинга':8080* в браузере. В нашем случае переходим по адресу [[http://192.168.248.2:8080/|http://192.168.248.2:8080/]]. Для авторизации используем реквизиты по умолчанию:

Логин: root\\
Пароль: servicemode

После авторизации Вы будете автоматически перенаправлены на страницу, где расположена платформа продукта.


!base.png|border=1!


Для начала работы с биллингом необходимо зарегистрировать продукт. Нажимаем на кнопку "Регистрация" и заполняем данные. После этого будет доступен 60-дневный бесплатный период с полностью функциональностью биллинговой системы.


h1. Описание стандартной схемы взаимодействия ​

В биллинге Carbon Billing 5 существует несколько стандартных схем для разного сетевого оборудования (Mikrotik, Cisco, Redback). Для оборудования Mikrotik так же существует несколько типовых схем интеграции.

В данном примере мы рассматриваем схему Mikrotik-Simple. Отличие этой схемы от схемы Mikrotik PCQ заключается в назначении скорости абоненту через очередь, а не через дерево. В последних версиях Mikrotik производители заявляли о более высокой производительности именно через назначение скоростей с помощью Simple. Схема Mikrotik-Simple поддерживает как IPoE так и PPPoE/PPTP/L2TP авторизацию. В схеме участвуют следующие понятия:
* Абонент
* Биллинг
* Mikrotik

Общая логика настройки взаимодействия выглядит следующим образом:
- На стороне биллинга генерируется конфигурация для Mikrotik'а на основании входных данных, таких как IP-адрес, логин, пароль, порт и так далее.
- Конфигурация загружается на Mikrotik.
- При добавлении абонента в биллинг, на стороне биллинга вызывается определённое событие, которое описано в скрипте отправки команд, после вызова которого на оборудование уходит команда по добавлению определённого IP-адреса в нужный адрес-лист, которому разрешен доступ в интернет. Помимо этого, будет отправлена команда на добавление шейпера исходя из тарифного плана абонента. Более подробно схема описана ниже.

h1. Описание логики авторизации абонентов

h6.Общая логика авторизации абонента с помощью IPoE.
- Абонент получает IP-адрес по DHCP, либо прописывает адрес статически.
- Если данный IP-адрес находится в разрешающем адрес-листе на Mikrotik'e - доступ в интернет есть.
- При блокировке абонента по отрицательному балансу на биллинге будет создано событие, которое добавляет адреса абонента в ещё один адрес-лист, который запретит абоненту доступ в интернет. Таким образом абонент будет сразу в 2 адрес-листах.
- При разблокировке абонента на биллинге будет создано событие, которое отправит на Mikrotik команду для удаления адреса абонента из блок листа и доступ у абонента восстановится.

В данной схеме взаимодействия RADIUS биллинга никак не используется и роль биллинга сводится к отправке в нужный момент времени определенной команды на Mikrotik. При этом всю информацию об адрес-листах и шейперах хранит Mikrotik.

На случай, если в какой-то момент времени Mikrotik по какой-то причине был недоступен с биллинга, на биллинге имеется скрипт синхронизации, который запускается раз в час и проверяет совпадение состояния абонентов на биллинге и на Mikrotik'е и в случае, если он находит различия - отправляет команды на оборудование.

h6.Общая логика авторизации абонента с помощью PPPoE.
- Абонент отправляет запрос в широковещательный сегмент на авторизацию PPPoE для обнаружения PPPoE концентратора. На стороне абонента это выглядит как ввод логина/пароля при установке соединения (PADI).
- Mikrotik отвечает на этот запрос, подставляя свой MAC-адрес в ответ, тем самым говоря абоненту, что Mikrotik является PPPoE концентратором (PADO).
- Компьютер абонента, при получении ответа от Mikrotik'а, выбирает его в качестве концентратора (в случае, если ответ пришел только от одного Mikrotik'а) и отправляет запрос на авторизацию Mikrotik'у (PADR).
- Mikrotik, получив запрос на авторизацию от абонента, отправляет запрос на авторизацию уже биллингу, в котором указывает логин/пароль абонента (Access-request).
- Биллинг при получении запроса от Mikrotik'а проверяет в базе данных наличие абонента с такой связкой логин/пароль. Если абонент найден - биллинг разрешает Mikrotik'у установить соединение и отправляет по RADIUS атрибут Mikrotik-Address-List со значением crb_auth_list. Этот адрес-лист говорит о том, что абонент существует в биллинге (Access-accept). Так же биллинг передает через RADIUS информацию об IP-адресе абонента, который будет назначен при установке туннельного соединения. Если биллинг не находит абонента - будет отправлен отказ на авторизацию (Access-reject).
- В момент авторизации на биллинге так же происходит событие, которое отправляет на Mikrotik команды по назначению скорости, а так же, если абонент заблокирован по отрицательному балансу, добавление абонента в negbal-лист на Mikrotik.
- Mikrotik, после получения от биллинга разрешения на авторизацию (Access-accept), отправляет абоненту пакет об успешной авторизации и устанавливает туннельное соединение между собой и компьютером абонента (PADS).

В схеме PPPoE RADIUS биллинг используется каждый раз при подключении абонента, поэтому важно, чтобы при авторизации абонента у Mikrotik'а был доступ до биллинга. В этой схеме биллинг так же генерирует событие при изменении состояния абонента как по балансу, так и по другой административной блокировке и реагирует на это отправкой команд. Различия этих 2 схем только в установлении соединения.

В стандартной схеме предусмотрена отправка NetFlow пакетов на Collector биллинга. По умолчанию он работает через порт 9996. При получении NetFlow информации от Mikrotik'а, биллинг агрегирует её и добавляет информацию в базу данных биллинга. Далее, эту информацию можно просматривать через веб-интерфейс и использовать в отчётах.

h1. Подготовка биллинга к интеграции с оборудованием

После установки биллинга, на нем будет развёрнута стандартная база данных с тестовыми абонентами и тарифами для ознакомления с продуктом. В базе данных будет примерно 50 абонентов и около 10 тарифов.


!before_delete.png|border=1!


Перед интеграцией оборудования эти данные целесообразно удалить, чтобы в будущем не удалять лишнюю информацию вручную. Для этого в биллинге существует инструмент полной очистки базы данных. После этого в биллинге останется только необходимая информация, практически пустая база данных, с которой работать в последствии будет намного удобнее.

h1. Очистка базы данных
*Шаг 1.*

Заходим в веб-интерфейс биллинга по адресу 'ip адрес биллинга':8080 и вводим логин/пароль.

*Шаг 2.*

Переходим на вкладку "Управление абонентами и тарифами". В этой вкладке находится база данных биллинга.

*Шаг 3.*

Переходим на вкладку "Настройки - Очистка базы данных".


!delete1.png|border=1!


*Шаг 4.*

Нажимаем кнопку "Очистить" и ждем завершения процесса. После очистки базы данных в биллинге останется 4 абонента, 3 из которых это администраторы биллинга по умолчанию и 1 тестовый пользователь, который используется внутренними тестами биллинга.


!after_delete.png|border=1!


То, что не удалилось при очистке БД удалять вручную не нужно - все эти данные необходимы биллингу.

*Шаг 5.*

Перед интеграцией в пустой базе данных необходимо настроить два пула IP-адресов в биллинге. Эти пулы будут использоваться при генерации схемы. Переходим во вкладку "Управление абонентами и тарифами - Справочники - Пулы IP-адресов" и выбираем пул "cabinet_ip".


!pool.png|border=1!


В открывшемся окне в поле "начальный адрес" необходимо указать IP-адрес биллинга, который находится на интерфейсе, подключенном к Mikrotik'у, и нажать сохранить. Этот адрес будет использоваться на Mikrotik'e как адрес для редиректа абонентов с отрицательным балансом и блокировкой.

Тоже самое делаем для пула "billing_ip". Далее этот адрес будет использоваться в качестве RADIUS сервера на Mikrotik'e и в качестве DST для NetFlow пакетов.

h1. Добавление NAS'а в биллинг

*Шаг 1.*

Заходим в веб-интерфейс по адресу 'ip адрес биллинг':8080.

*Шаг 2.*

Переходим на вкладку "Управление абонентами и тарифами - Оборудование - NAS". Нажимаем кнопку "Добавить".


!nas1.png|border=1!

*Шаг 3.*

После этих действий открывается окно с настройками NAS'а.


!nas2.png|border=1!



!nas3.png|border=1!


Ключевые параметры NAS'а, которые обязательно необходимо заполнить при интеграции Mikrotik по схеме Mikrotik-Simple:
- *Название.* Без названия биллинг не позволит добавить NAS. Подойдет любое название без спецсимволов. В нашем примере указан "Mikrotik".
- *IP-адрес.* Адрес из этого поля будет добавлен в конфигурацию RADIUS Client и на запросы, которые приходят на RADIUS с этого адреса RADIUS Server сможет ответить. Если запросы будут приходить на биллинг с адресов, которые не указаны ни на одном NAS'e, ответ от биллинга будет Reject.
- *Стандартная схема OSS.* От этого поля зависит, как именно биллинг будет генерировать схему. Здесь выбираем "Mikrotik-Simple".
- *Radius_secret.* Это общий пароль для всех RADIUS авторизаций между биллингом и Mikrotik'ом. Пароль попадёт в шаблон и от туда в схему. Использование спецсимволов в этом поле не рекомендуется.
- *Coa_port.* Порт для управления через radclient. По умолчанию 3799. Менять не рекомендуется.
- *Coa_psw.* Пароль для radclient. На mikrotik'e в качестве coa_psw используется radius_secret, поэтому здесь указывать ничего не нужно.
- *Telnet_login.* Логин для управления оборудованием.
- *Telnet_password.* Пароль для управления оборудованием. Спецсимволы запрещены.
- *Telnet_port.* Порт для управления оборудованием.

- *Не посылать user_disconnect при получении Radius Stop.* Важная опция! Обязательно нужно включить. Она запрещает отправку user_disconnect при получении accounting_stop пакета.
- *Список интерфейсов, на которых будет поднят PPPoE сервер.* В случае, если Вам необходимо схема с поддержкой авторизации PPPoE. Эти интерфейсы будут добавлены в шаблон, по которому будет генерироваться конфигурация.

После заполнения этих полей необходимо нажать кнопку "Сохранить", дождаться сохранения и перейти во вкладку "Управление".

h1. Генерация и загрузка схемы на Mikrotik

Далее выполняем следующие действия по шагам:

ssh admin@192.168.248.1
{code}

Это данные из примера. Этим действием Вы убедитесь, что между биллингом и Mikrotik'ом есть доступ и подтвердите прием ssh ключей.



h1.Добавление абонента в биллинг

После того, как NAS добавлен в биллинг и конфигурация успешно загружена на Mikrotik, можно приступать к добавлению абонентов в биллинг.

Первым делом необходимо создать тариф, подходящий для нашей системы расчетов. В Carbon Billing 5 есть очень гибкая система создания тарифов под разные сложные схемы списания, в данной статье все они рассматриваться не будут, так как их описание выходит далеко за рамки статьи.

Теперь, когда у нас есть тариф, можно переходить к созданию нового абонента. Для этого перейдем во вкладку "Управление абонентами и тарифами - Абонент" и используем кнопку "+Абонент". Откроется мастер создания абонента, состоящий из 3 шагов:

*Шаг 1. Заполняем основную информацию по абоненту.*

Здесь нет ни одного обязательно поля, они все нужны для дополнительной информации об абоненте. После заполнения информации нажимаем кнопку "Далее".

*Шаг 3. Сетевые реквизиты абонента.*

- user_add, абонент добавлен в биллинг. Эта команда добавит IP-адрес 192.168.248.5 в crb_auth_list.
- user_redirect, абонент ещё не заплатил и заблокирован по балансу. Эта команда добавит IP-адрес 192.168.248.5 в crb_negbal_list.

Таким образом, сразу после создания абонента, на Mikrotik'е он будет в 2 листах: crb_auth_list и crb_negbal_list.

Проверим это командой:
{code}
ip firewall address-list print where address=192.168.248.5
{code}

Ответ:

{code}
Flags: X - disabled, D - dynamic
# LIST ADDRESS CREATION-TIME
0 ;;; 192.168.248.5_crb_auth
crb_auth_list 192.168.248.5 oct/04/2018 13:16:11
crb_negbal_list 192.168.248.5 oct/04/2018 13:16:11

- user_rate_set. Этой командой будут добавлены скорости для абонента.

Проверим, что абонент находится в правильных адрес листах. Выполним на Mikrotik'е команду:

{code}
ip firewall address-list print where address=192.168.248.5
{code}

В ответ получим следующее:
{code}
Flags: X - disabled, D - dynamic
# LIST ADDRESS CREATION-TIME
0 ;;; 192.168.248.5_crb_auth
crb_auth_list 192.168.248.5 oct/04/2018 13:18:16
{code}

Как видно из вывода, абонент находится только в одном адрес листе crb_auth_list, соответственно имеет доступ в интернет. Проверить какой шейпер назначен абоненту можно командой:
{code}
queue simple print where target=192.168.248.5/32
{code}

В выводе получим данные по скоростям:

{code}
Flags: X - disabled, I - invalid, D - dynamic
0 name="crb_192.168.248.5" target=192.168.248.5/32 parent=none packet-marks="" priority=8/8 queue=default-small/default-small limit-at=0/0 max-limit=1024k/1024k burst-limit=0/0 burst-threshold=0/0
burst-time=0s/0s bucket-size=0.1/0.1
{code}

Данные совпадают с информацией, которая указана в тарифе, а именно max-limit=1024k/1024k При авторизации по PPPoE изменится только этап авторизации, на котором нужно ввести логин/пароль. Остальная логика останется прежней.

Для комфортной и безопасной схемы IPoE лучше настроить DHCP для получения IP-адреса. В данной схеме можно использовать DHCP как на Mikrotik'е, так и на биллинге. Наилучшим решением на наш взгляд использовать DHCP с привязкой по opt82 и использованием на коммутаторах опции DHCP Snooping. Это поможет защитить сеть от подмены ip адресов и обеспечит удобную работу абонентов.

В биллинге Carbon Billing 5 выдача адреса с помощью opt82 так же поддерживается и настраивается по статьям: