Вы просматриваете старую версию данной страницы. Смотрите текущую версию.
Сравнить с текущим |
просмотр истории страницы
Отказоустойчивость БД биллинга
В 99% случаев БД повреждается при отключении питания. Поэтому, в системных требованиях прописано обязательное наличие настроенного UPS для штатного завершения работы сервера.
Если UPS настроить в ближайшее время нет возможности воспользуйтесь Как повысить выживаемость БД при сбоях питания
Система бэкапов
- Бекап биллинга происходит раз в сутки с помощью команды /app/base/usr/local/bin/cron_backup.sh.
Вручную. Вы можете выполнить данную операцию следующей командой/etc/init.d/apps backup
- Лог бекапа лежит в файле
/app/base/var/log/cron_backup.sh.log - Сам бекап состоит из последовательного вызова /app/ <имя app>/service backup, который создает бекап и /app/ <имя app>/service backup_upload, который занимается выгрузкой бекапа на ftp.
Следовательно, если проблема с бекапом была во время создания бекапа, отлаживать можно именно /app/<имя app>/service backup. А если была проблема с выгрузкой бекапа, можно отлаживать /app/<имя app>/service backup_upload. Не выполняя полную процедуру бекапа всего. - На биллинге хранится только последний бекап. На Ftp старые бекапы не удаляются.
- В процедуре backup_upload происходит не только выгрузка, но и чтение файлов с ftp, обновление файлов и создание директорий. Все эти действия должны быть разрешены на ftp-сервере.
Создание бэкапа вручную
Запустить вручную создание бэкапа можно через консоль:
/app/asr_billing/service backup
Выгрузить на фтп:
/app/asr_billing/service backup_upload
Настройка автоматического резервного копирования и выгрузки по FTP
Настройка бэкпов производится меню Настройки платформы -> Настройки резервного копирования...
Unable to render embedded object: File (0.png) not found.
Unable to render embedded object: File (backupnew.png) not found.
Заполняете все нужные поля и сохраняете изменения.
IP-адрес FTP-сервера - адрес удаленнго FTP-сервера. На него будут копироваться копии БД.
 | Если порт на FTP сервере используется не стандартный (не 21й), то указывать его нужно через двоеточие. Например порт 1555
1.1.1.1:1555 |
Бэкапить на FTP - выключает выгрузку на FTP.
Имя пользователя - логин для авторизации на FTP-сервере.
Пароль - пароль для авторизации на FTP-сервере.
Каталог на FTP-сервере - непосредственно в этот каталог будут записываться копии БД.
Ежедневная запись - включает резервное копирование. Настоятельно рекомендуется активировать Ежедневную запись, без этой опции резервное копирование не будет происходить.
Структура каталогов на ftp-сервере:
- В каталоге, который вы указали для выгрузки на ftp будет содержать подкаталоги для каждого app.
- В этом каталоге будут лежать архивы с бекапом этого аппа и файл с md5 суммой этого файла. Например, бекап asr_billing:
- backup_daily_2016-05-26_02-51_asr_billing.tar.gz
backup_daily_2016-05-26_02-51_asr_billing.tar.gz.md5 - backup_weekly_2016-05-20_02-51_asr_billing.tar.gz
backup_weekly_2016-05-20_02-51_asr_billing.tar.gz.md5
- backup_daily_2016-05-26_02-51_asr_billing.tar.gz
- В asr_billing также есть директория static, там хранятся неизменяемые бекапы БД, но в которые происходит дозапись. Например, аудит и история фин.проводок по абонентам. В основной архив класть их слишком накладно по памяти, да и изменяются они редко. Так что эти файлы выгружаются отдельно от архива и обновляются, после того в биллинге в эти базы произошла запись (во время бекапа).
Восстановление БД из бэкапа
Резервное копирование и восстановление из бекапов при помощи WinSCP
В случае переноса данных системы на другой компьютер или переустановки системы с последующим восстановлением конфигурации и базы пользователей, необходимо сначала сделать полный бекап данных с работающей системы. Для того чтобы сделать полный бекап системы необходимо скопировать резервные копии самой базы пользователей и бекап конфигурационного файла системы. Это делается с помощью программы winscp, дистрибутив которой вы всегда можете найти в Интернете по адресу: http://winscp.net/ Программа бесплатна.
Процесс восстановления данных из бекапов можно разбить на два шага:
ШАГ 1: Копирование данных с сервера.
Подключаемся к серверу на 33 или 22 порт, либо иной порт, в зависимости от Ваших настроек
Убедитесь что данные введены верно и нажимайте "Login", после подключения вы увидите окно, похожее на обычный файловый менеджер с двумя панелями, слева будет ваш локальный компьютер, справа - файловая система Carbon Billing, вас интересует каталог BACKUP на ней.
Путь такой: /app/asr_billing/mnt/backup/
Здесь хранятся ежедневные, ежемесячные и еженедельные бэкапы. Вы можете выбрать те, которые нужны Вам.
Примечание: Статистика копируется отдельно из папки: /app/collector/var/stat/raw/
Примечание: Восстановиться можно из локальных бэкапов, которые хранятся в /mnt/backup/app/asr_billing/backup/ Эти бэкапы не архивированные, поэтому при восстановлении из бэкапа пункт 1 ШАГа 2 нужно пропустить. Данные бэкапы делаются автоматически каждый день, если в разделе /mnt/backup/ достаточно места.
ШАГ 2: Восстановление из бэкапа.
1. Подготовка
Восстанавливать БД можно из локального бэкапа (Дневной, Недельный, Месячный) либо из бэкапа, который копируется на FTP сервер. На FTP сервере бэкапы хранятся в архиве, поэтому после копирования на сервер с биллингом их нужно распаковать. Например имя бэкапа backup_daily_2016-30-21_02-53_asr_billing.tar.gz, тогда команда распаковки будет выглядеть вот так:
tar xzf backup_daily_2016-30-21_02-53_asr_billing.tar.gz /app/asr_billing/var/backup_data/billing.gdb.gbk -O > /mnt/backup/app/asr_billing/backup/billing.gdb.gbk
2. Восстанавливаем БД из бэкапа. При восстановлении из локального бэкапа имя будет содержать дату и время, так вы поймете какой из бэкапов последний и наиболее актуальный. Допустим, что имя бэкапа billing.gdb.gbk, тогда сделать нужно следующее:
chroot /app/asr_billing/
gbk2gdb.sh /mnt/backup/billing.gdb.gbk /var/db/billing_prepare.gdb
exit
3. Останавливаем биллинг
/app/asr_billing/service stop
 | При появлении сообщения о переходе базы в safemode такого содержания:
error: asr_billing in safe mode. Check logs. /app/base/var/log/watchdog.log and other log You must fix the problem or get support from developer! status: safemode from chroot /app/asr_billing /sbin/init start prevstate=stop OK echo 'stop OK' >/app/asr_billing/var/lib/app.state Переходите к пункту 4. В данном случае, биллинг уже является остановленным. |
4. Проверяем, что в /app/asr_billing/var/db есть файл billing.gdb.stop (это файл текущей БД)
Если он есть, то перемещаем его рядом (в этот же каталог) с указанием даты, например 2016-08-03 (позже можно будет удалить):
cd /app/asr_billing/var/db/
mv billing.gdb.stop blling.2016-08-03.gdb.stop
| Если же файла нет, то приступайте к пункту 5 Если произошел reset сервера (например по причине сбоя электропитания), то с высокой вероятностью база данных испортится, и файл БД переместится в /app/asr_billing/var/db/bad/billing.corrupt* |
5. Превращаем восстановленный бэкап в полноценную БД
chroot /app/asr_billing/
cd /var/db
mv ./billing_prepare.gdb ./billing.gdb.stop
chown firebird:firebird ./billing.gdb.stop
exit
6. Запускаем биллинг
echo 'stop OK' > /app/asr_billing/var/lib/app.state
/app/asr_billing/service restart
7. Проверяем что все демоны стартовали и не растут ошибки
Для этого 2 раза подряд запускаем проверку сервера:
server_check
При этом могут быть записи вида:
- Критические ошибки в логе worker за последний час: 3 [СБОЙ]
или
- Ошибки в логе traf-reporter за последний час: 4 [СБОЙ]
Если в течение двух запусков проверки значения не меняются - все в порядке.
Если растут значения "Критические ошибки в логе worker за последний час" - сразу обратитесь в техническую поддержку.
Если растут значения "Ошибки в логе traf-reporter за последний час" - выполните команды
chroot /app/asr_billing/ yes | cp /skelet/var/db/buff_traf.gdb /var/db/ chown firebird:firebird /var/db/buff_traf.gdb chmod g+w /var/db/buff_traf.gdb /etc/init.d/radiusd_traf restart
8. Восстанавливаем финансовые операции, которые прошли после создания бэкапа, но до падения БД.*
Пример, нужно восстановить данные за сентябрь 2016 года после восстановления БД в этот день.
chroot /app/asr_billing/
/usr/local/bin/restore_pays.sh /var/db/raw.tmp/201609/pay/
9. После восстановления всех финансовых операций, по-прежнему находясь в контейнере биллинга выполните следующую команду
python /usr/lib/python2.6/site-packages/python_tools/client_fix_scripts/fix_generators2.py
Восстановление демонстрационной или пустой БД
1. Останавливаем биллинг
/app/asr_billing/service stop
2. При необходимости сохраняем текущую БД
mv /app/asr_billing/var/db/billing.gdb.stop /root/
3. Копируем в рабочий каталог:
a) демо БД
yes | cp -p /app/asr_billing/skelet/var/db/billing.gdb /app/asr_billing/var/db/billing.gdb.stop
b) Или пустую БД
yes | cp -p /app/asr_billing/skelet/var/db/billing_system.gdb /app/asr_billing/var/db/billing.gdb.stop
А также обязательно пустую БД трафика
yes | cp -p /app/asr_billing/skelet/var/db/buff_traf.gdb /app/asr_billing/var/db/buff_traf.gdb.stop
4. Запускаем биллинг
/app/asr_billing/service start
Свободного места на диске критично мало
Если после выполнения команды
/app/asr_billing/service start
Вы получаете достаточно объемный вывод, в конце которого содержится абзац следующего содержания:
Свободного места на диске критично мало. Для предотвращения необратимых проблем, биллинг переходит в safe-mode. Освободите свободное место на диске и запустите команду /app/asr_billing/service start
Порядок действий по восстановлению будет иной. В таком случае БД биллинга не повреждена, а остановлена для сохранности. Произведите следующие действия:
ШАГ 1. Очистка свободного пространства
Для определения проблемного разела, Вы можете использовать утилиту df, отфильтровава вывод утилитой grep, чтобы видеть только физические разделы
[root@devel185 ~]# df -h | grep -wE '/|/mnt'
/dev/vda1 9,5G 3,5G 5,6G 39% /
/dev/vda9 71G 1,2G 67G 2% /mnt/backup
/dev/vda3 96G 4,0G 88G 5% /mnt/db
/dev/vda8 3,8G 46M 3,6G 2% /mnt/etc
/dev/vda7 96G 827M 91G 1% /mnt/log
/dev/vda2 711G 2,7G 673G 1% /mnt/var
Определив проблемный раздел (занято олее 85%), необходимо найти что занимает более всего пространства. Сделать это можно утилитой du, например:
du -sch /mnt/var/app/* 915M /mnt/var/app/asr_billing 478M /mnt/var/app/asr_cabinet 80M /mnt/var/app/asr_fiscal 77M /mnt/var/app/auth 68M /mnt/var/app/base 206M /mnt/var/app/collector 214M /mnt/var/app/monitoring 104M /mnt/var/app/xge 2,1G итого
Определив пробленые каталоги и/или файлы, дальнейшие действия - по ситуации:
- /mnt/vat, /mnt/stat. Наиболее частой проблемой является заполнение раздела /mnt/var (либо /mnt/stat), а именно каталога /mnt/var/app/collector/var/stat/binstat/. Решение описано в следующей статье. Если проблема не в статистике - вероятно, лучше всего будет обратиться в техподдержку.
- /mnt/log. При заполнении раздела /mnt/log, наиболее верным решением будет выполнить команды head и tail на проблемный файл и приложить полученный вывод в новую, либо автоматический созданную по данной проблеме заявку на портале HelpDesk и сообщить о проблеме в техподдержку по телефону.
Если явно больших файлов лога не обнаружено, вероятно у Вас просто слишком маленький раздел под логи. Добавьте места. - /mnt/backup. Если забит раздел /mnt/backup - просто очистите старые бэкапы, исследовав структуру каталогов программой du. В случае если проблема с разделом восникает часто, вероятно Вам следует добавить места под логи
- /mnt/etc. В случае заполнения раздела /mnt/etc обратитесь в техподдержку.
- /mnt/db. Если Ваша аппаратная платформа соответствует нашим [системным требованиям], вероятност заполнения раздела в обозримом будущем крайне мала, так как под раздел выделяется не менее 100Гб места (при диске 1Тб и более). В любом случае, обратитесь в техподдержку.
- / (корневой раздел ОС). Убедитесь что раздел не занят результатом Ваших собственных действия, например при выполнении заданий добавленных в cron, либо в процессе работы на сервере в пользовательской директории (/root, /home). В случае если проблема не в этом, обратитесь в техподдержку.
ШАГ 2. Восстановление БД в работу
1. Зайтите в чрут биллинга
chroot /app/asr_billing
2. Найдите последний по времени создания файл в папке /var/db/safemode, для этого выполните команду
ls -1trhd /var/db/safemode/* | tail -n 1 /var/db/safemode/billing.gdb.save_mode.2017-02-22_15-42-43.gdb
3. Скопируйте данный файл в папку, где он должен располагаться для запуска биллинга и выставьте правильные права доступа к файлу
mv /var/db/safemode/billing.gdb.save_mode.2017-02-22_15-42-43.gdb /var/db/billing.gdb.stop chmod firebird:firebird /var/db/billing.gdb.stop
4. Выйдите из чрута и снова выполните запуск биллинга
exit /app/asr_billing/service restart
Решение проблем с бекапами
Если в биллинге и интерфейсе администрирования платформы появился баннер, оповещающий об ошибке ежедневного бекапа, Вы можете изучить причину по логу, он находится по следующему пути:
/app/base/var/log/cron_backup.sh.log
Самые распространенные причины
- Не смог создаться бекап asr_billing. Скорее всего, выявились ошибки БД. Об этом напишет в логе, и в этом случае лучше сразу обратиться в техподдержку. Дополнительные логи утилиты gbak, которая не смогла снять бекап доступны в файле
/app/asr_billing/var/log/backup_db_v2.sh.log - Бекап не смог выложитсья на ftp. В случае ошибок curl, он выполняется повторно с флагом -v и в логе пишется строка с аргументами, которые передаются в curl. Вы можете напрямую скопировать команду с curl в консоль для отладки.