|
Ключ
Эта строка удалена.
Это слово было удалено. Это слово было добавлено.
Эта строка добавлена.
|
Изменения (53)
просмотр истории страницыh2. Настройка бэкапов FTP |
{toc} |
|
Настройка бэкпов производится в консольном меню \-> Carbon Billing 5 \-> Настройки резервного копирования... |
{anchor:failover} |
|
!backup.png|border=1,width=500,height=250! |
h1. Отказоустойчивость БД биллинга |
|
Заполняете все нужные поля и сохраняете изменения. |
В 99% случаев БД повреждается при отключении питания. Поэтому, в [системных требованиях|http://docs.carbonsoft.ru/48693408] прописано обязательное наличие настроенного [UPS|http://docs.carbonsoft.ru/51380480] для штатного завершения работы сервера. |
|
Если UPS настроить в ближайшее время нет возможности воспользуйтесь статьёй [Как повысить выживаемость БД при сбоях питания|http://docs.carbonsoft.ru/68845609] |
|
{info}Восстановление баз данных, повреждённых в результате нарушения любых рекомендаций CarbonSoft по реализации отказоустойчивости сервера (UPS, параметры монтирования раздела БД, повреждение в результате тех. работ и т.д.), не входит в компетенцию компании.{info} |
|
h2. Резервное копирование и восстановление из бекапов при помощи WinSCP |
h1. Возможные причины повреждения БД и остановки работы биллинга. |
|
В случае переноса данных системы на другой компьютер или переустановки системы с последующим восстановлением конфигурации и базы пользователей, необходимо сначала сделать полный бекап данных с работающей системы. Для того чтобы сделать полный бекап системы необходимо скопировать резервные копии самой базы пользователей и бекап конфигурационного файла системы. Это делается с помощью программы winscp, дистрибутив которой вы всегда можете найти на локальном сайте ideco, или в Интернете по адресу: [http://winscp.net/|http://winscp.net/+] Программа бесплатна. |
Работа биллинга может быть остановлена по двум причинам: # Повреждение БД. В данном случае требуется восстановить БД из последней успешной резервной копии. Возможные причины: #* Некорректная перезагрузка сервера, в процессе которой работа сервера была остановлена до остановки работы СУБД: *shutdown* или *reboot* без предварительной остановки платформы */etc/init.d/apps stop* #* Внезапное завершение работы по причине прекращения электропитания; жесткая перезагрузка сервера - эти действия могут привести к повреждению файловой системы, остановке сервера во время записи в файл БД #* Заполнение раздела с БД до 100%, невозможность завершить запись в файл БД. #* Результат некорректных действий технического персонала с БД или при проведении технических работ на сервере. # Остановка работы без повреждения БД. Безопасная остановка работы сервера, база не повреждается и может быть восстановлена в работу после устранения всех проблем. Возможные причины: #* Нехватка свободного места на одном из разделов, в результате чего система мониторинга останавливает работу биллинга до момента очистки места ([инструкция|#emptyspace]). |
|
h1. Восстановление БД в web-интерфейсе {tip}{*}Время выполнения инструкции*: 1-15 минут, в зависимости размера БД различия версий - после даты создания выбранной резервной копии производилось обновление сервера, дополнительно запускается скрипт обновления структуры БД{tip} При остановке работы биллинга по одной из вышеуказанных причин, Вы можете воспользоваться возможностью восстановления биллинга в web-интерфейсе. Для этого, нажмите на пиктограмму интерфейса управления абонентами. !backup_web_1.png|border=1,width=1000! В открывшемся меню, доступные экземпляры БД будут разделены на три категории: # {color:#000000}{*}Список баз в safemode (не поврежденных)*{color}{color:#000000}:{color} базы остановленные системой мониторинга состояния сервера. Такие базы не повреждены, однако перед восстановлением следует освободить место по [инструкции|#emptyspace]. # {color:#000000}{*}Список повреждённых баз{*}{color}{color:#000000}:{color} такие базы невозможно восстановить автоматический и требует ручного анализа проблемы. Рекомендуется восстанавливаться из резервной копии. # {color:#000000}{*}Список резервных копий{*}{color}{color:#000000}:{color} резервные копии, хранящиеся непосредственно на сервере в директории */app/asr_billing/mnt/backup*. Копии, выгруженные на ftp в данный список не входят. Для восстановление нужного экземпляра БД, нажмите кнопку "Восстановить" в соответствующей строке. !backup_web_2.png|border=1,width=1000! При нажатии кнопки "Восстановить", автоматический Вы будете перенаправлены на страницу, в которой отображается лог выполнения операции восстановления !backup_web_3.png|border=1,width=1000! Следующая строка в логе соответствует завершению процесса восстановления: {code}# /app/asr_billing/service restart: [ OK ]{code} После окончания процесса, нажмите на пиктограмму в виде стрелки в верхнем левом углу страницы, чтобы вернуться в интерфейс базовой системы. !backup_web_4.png|border=1,width=1000! h1. Восстановление БД из консоли (автоматический) {tip}{*}Время выполнения инструкции*: 5-20 минут, в зависимости размера БД различия версий - после даты создания выбранной резервной копии производилось обновление сервера, дополнительно запускается скрипт обновления структуры БД{tip} # Посмотрите список доступных резервных копий {code}/app/asr_billing/service backup_local_list{code} Приблизительный вывод команды: {code}/app/asr_billing backup_local_list backup_monthly_2019-03-31_02-50_asr_billing.tar.gz backup_weekly_2019-03-27_02-50_asr_billing.tar.gz backup_daily_2019-04-04_02-50_asr_billing.tar.gz # /app/asr_billing/service backup_local_list: [ OK ]{code} {info}Восстановление биллинга автоматический возможно только с резервных копий находящихся на локальном сервере. Если нужная резервная копия находится на FTP, Вы можете посмотреть список всех выгруженных копий и загрузить на локальный сервер: {code}/app/asr_billing/service backup_ftp_list /app/asr_billing/service backup_download backup_2019-03-22_2019-03-22_16-19_asr_billing.tar.gz{code}{info} # Запустите восстановление нужной копии. Начнется процесс остановки контейнера (если он запущен), распаковки архива, наложения на архивную базу патчей и тд: {code}/app/asr_billing/service backup_restore backup_daily_2019-04-04_02-50_asr_billing.tar.gz{code} Приблизительный вывод: {code}/app/asr_billing backup_restore backup_daily_2019-04-04_02-50_asr_billing.tar.gz /app/asr_billing stop Stopping Felicitation Daemon: [ OK ] Stopping Jobs Daemon: [ OK ] ... Stopping app firewall: [ OK ] # /app/asr_billing/service stop: [ OK ] Запускаем restore хук /usr/local/bin/restore_hook.sh Starting xinetd: [ OK ] Создаем бекап gbak -b -v -ig -g -e 169.254.30.50:/var/db/billing.gdb.stop /mnt/backup/billing.gdb.stop_2019-04-04_14-01.gbk.3960.tmp -user SYSDBA -password servicem ... Starting Message Daemon: [ OK ] Starting Paysystems Daemon: [ OK ] Reloading Base Web Server: [ OK ] # /app/asr_billing/service start: [ OK ] # /app/asr_billing/service backup_restore backup_daily_2019[ OK ]2-50_asr_billing.tar.gz: {code} В зависимости от размера Вашей базы, восстановление может продолжаться 10-30 минут. h1. Восстановление БД из консоли (вручную) {tip}{*}Время выполнения инструкции*: 15-30 минут, в зависимости размера БД различия версий - после даты создания выбранной резервной копии производилось обновление сервера, дополнительно запускается скрипт обновления структуры БД{tip} {color:#000000}{*}Резервное копирование и восстановление из бекапов при помощи WinSCP{*}{color} В случае переноса данных системы на другой компьютер или переустановки системы с последующим восстановлением конфигурации и базы пользователей, необходимо сначала сделать полный бекап данных с работающей системы. Для того чтобы сделать полный бекап системы необходимо скопировать резервные копии самой базы пользователей и бекап конфигурационного файла системы. Это делается с помощью программы winscp, дистрибутив которой вы всегда можете найти в Интернете по адресу: [http://winscp.net/|http://winscp.net/+] Программа бесплатна. |
Процесс восстановления данных из бекапов можно разбить на два шага: |
*ШАГ 1: Копирование данных с сервера.* |
|
Подключаемся к серверу на 33 порт. |
h2. ШАГ 1: Копирование данных с сервера |
|
Подключаемся к серверу на 33 или 22 порт, либо иной порт, в зависимости от Ваших настроек |
!рез1.JPG|border=1! |
... |
*Примечание*: Статистика копируется отдельно из папки: /app/collector/var/stat/raw/ |
*Примечание*: Восстановиться можно из локальных бэкапов, которые хранятся в /mnt/backup/app/asr_billing/backup/ Эти бэкапы не архивированные, поэтому при восстановлении из бэкапа пункт 1 ШАГа 2 нужно пропустить. Данные бэкапы делаются автоматически каждый день, если в разделе /mnt/backup/ достаточно места. |
|
h2. ШАГ 2: Восстановление из бэкапа |
|
*ШАГ 2: Восстановление из бэкапа (При переезде).* |
h3. 1. Подготовка |
|
*1.* Копируем бэкап в каталог /root на сервере. |
{note} Перед процедурой восстановления во избежание срабатывания автоматических тестов нужно отключить cron: {code} service crond stop {code} {note} Восстанавливать БД можно из локального бэкапа (Дневной, Недельный, Месячный) либо из бэкапа, который копируется на FTP сервер. На FTP сервере бэкапы хранятся в архиве, поэтому после копирования на сервер с биллингом их нужно распаковать. Например имя бэкапа backup_daily_2016-30-21_02-53_asr_billing.tar.gz, тогда команда распаковки будет выглядеть вот так: Перед выполнением операции, перейдите в директорию где лежит требуемая резервная копия. Допустим, требуется восстановить одну из локальных резервных копий. В таком, случае выполните следующую команду: {code}cd /app/asr_billing/mnt/backup/{code} Далее, на всякий случай, выполните эту команду чтобы удалить старые неудачные копии БД: {code} rm -f /mnt/backup/app/asr_billing/backup/billing.gdb.gbk {code} Потом извлеките резервную копию БД из архива: {code} tar xzf backup_daily_2016-30-21_02-53_asr_billing.tar.gz /app/asr_billing/var/backup_data/billing.gdb.gbk -O > /mnt/backup/app/asr_billing/backup/billing.gdb.gbk {code} {info} Утилита *tar* напишет сообщение: {code}tar: Удаляется начальный `/' из имен объектов{code} Это нормально, переходите к следующему шагу инструкции. {info} |
|
*2.* Восстанавливаем БД из бэкапа |
h3. 2. Распаковка БД При восстановлении из локального бэкапа имя будет содержать дату и время, так вы поймете какой из бэкапов последний и наиболее актуальный. Допустим, что имя бэкапа billing.gdb.gbk, тогда сделать нужно следующее: |
{code} chroot /app/asr_billing/ |
cd /usr/local/bin gbk2gdb /root/ваш_бекап /var/db/billing_prepare.gdb |
gbk2gdb.sh /mnt/backup/billing.gdb.gbk /var/db/billing_prepare.gdb |
exit {code} |
{note}Если в процессе распаковки БД возникло сообщение об ошибке "*ERROR:database /var/db/billing_prepare.gdb already exists*", значит файл с таким названием уже существует - он мог появится при предыдущих попытках восстановить БД. Старый файл billing_prepare.gdb удалите или переместите в другое место (например, на раздел /mnt/backup) {code}gbak:opened file /mnt/backup/billing.gdb.gbk gbak: ERROR:database /var/db/billing_prepare.gdb already exists. To replace it, use the -REP switch gbak:Exiting before completion due to errors{code}{note} |
|
*3.* Останавливаем биллинг |
{note}Также в процессе распаковки может возникнуть следующая ошибка: |
{code} |
/app/asr_billing/server stop |
[root@carbon (asr_billing) /]# gbk2gdb.sh /mnt/backup/billing.gdb.gbk /var/db/billing_prepare.gdb gbak:opened file /mnt/backup/billing.gdb.gbk gbak:transportable backup -- data in XDR format gbak: ERROR:cannot attach to password database gbak: ERROR:failed to create database /var/db/billing_prepare.gdb gbak:Exiting before completion due to errors |
{code} |
*4.* Проверяем, что в /app/asr_billing/var/db есть файл billibng.gdb.stop Если он есть, то перемещаем его в каталог root на всякий случай (позже можно будет удалить): |
Возможная причина - отсутствие системных файлов БД Firebird. Скопируйте их из /app/asr_billing/skelet/ {code} cp -R /app/asr_billing/skelet/var/lib/firebird/system/ /app/asr_billing/var/lib/firebird/ cp -R /app/asr_billing/skelet/var/lib/firebird/data/ /app/asr_billing/var/lib/firebird/ {code} {note} |
|
h3. 3. Остановка биллинга |
{code} |
mv /app/asr_billing/var/db/billing.gdb.stop /root/billing.gdb.stop |
/app/asr_billing/service stop |
{code} |
{note} При появлении сообщения о переходе базы в safemode такого содержания: {code}error: |
|
*5.* Превращаем восстановленный бэкап в полноценную БД |
asr_billing in safe mode. Check logs. /app/base/var/log/watchdog.log and other log You must fix the problem or get support from developer! |
|
status: safemode from chroot /app/asr_billing /sbin/init start prevstate=stop OK echo 'stop OK' >/app/asr_billing/var/lib/app.state |
{code} |
Переходите к пункту 4. В данном случае, биллинг уже является остановленным. {note} h3. 4. Сохранение текущей БД (опционально) Проверяем, что в /app/asr_billing/var/db есть файл billing.gdb.stop (это файл текущей БД) Если он есть, то перемещаем его рядом (в этот же каталог) с указанием даты, например 2016-08-03 (позже можно будет удалить): {code} |
cd /app/asr_billing/var/db/ |
mv billing.gdb.stop blling.2016-08-03.gdb.stop {code} {note}Если же файла нет, то приступайте к пункту 5 Если произошел reset сервера (например по причине сбоя электропитания), то с высокой вероятностью база данных испортится, и файл БД переместится в /app/asr_billing/var/db/bad/billing.corrupt\*{note} h3. 5. Перемещение файла БД на место остановленной базы Превращаем восстановленный бэкап в полноценную БД {code} chroot /app/asr_billing/ cd /var/db |
mv ./billing_prepare.gdb ./billing.gdb.stop chown firebird:firebird ./billing.gdb.stop |
exit |
{code} |
*6.* Запускаем биллинг |
На всякий случай, проверяем, что БД трафика {{buff_traf.gdb}} на месте . Если её нет, берём пустую. Если есть остановленная БД трафика, сохраняем её в той же папке для архива. {code} chroot /app/asr_billing/ [ -s /var/db/buff_traf.gdb.stop ] && ( mv /var/db/buff_traf.gdb.stop /var/db/buff_traf.gdb.stop.`date +%s`) [ ! -s /var/db/buff_traf.gdb ] && ( yes | cp /skelet/var/db/buff_traf.gdb /var/db/buff_traf.gdb && chown firebird:firebird /var/db/buff_traf.gdb && chmod g+w /var/db/buff_traf.gdb ) exit {code} |
|
h3. 6. Обновление БД до версии биллинга Запускаем скрипт обновления БД {code}chroot /app/asr_billing/ update_hook.sh --force{code} {warning}Обновление БД нужно запускать строго на остановленном биллинге\! Иначе это приведёт к разрушению базы.{warning} h3. 7. Восстановление платежей Восстанавливаем финансовые операции, которые прошли после создания бэкапа, но до падения БД.\* Пример, нужно восстановить данные за сентябрь 2016 года после восстановления БД в этот день. |
{code} |
/app/asr_billing/server start |
chroot /app/asr_billing/ service xinetd restart service admin_web_server restart service billing_db restart service nginx restart /usr/local/bin/restore_pays.sh /var/db/raw.tmp/201609/pay/ |
{code} |
{info} При восстановлении финансовых операций запись в [журнале платежей|http://http://docs.carbonsoft.ru/48693363] не появляется, т. е. в нем не отобразятся данные по платежам с момента сбоя базы данных до момента восстановления. {info} {warning}Скрипт предназначен для запуска только в процессе восстановления из резервной копии\! Не запускайте на работающей базе для исправления каких-либо ошибок проведения платежей.{warning} h3. 8. Исправление счетчиков После восстановления всех финансовых операций, по-прежнему находясь в контейнере биллинга выполните следующую команду {code} python2.7 /usr/lib/python2.7/site-packages/python_tools/client_fix_scripts/fix_generators2.py {code} h3. 9. Запуск биллинга Выходим из контейнера командой {code}exit{code} Запускаем биллинг {code} echo 'stop OK' > /app/asr_billing/var/lib/app.state /app/asr_billing/service restart {code} h3. 10. Проверка на наличине ошибок Проверяем что все демоны стартовали и не растут ошибки Для этого 2 раза подряд запускаем проверку сервера: {code} server_check {code} При этом могут быть записи вида: {code} - Критические ошибки в логе worker за последний час: 3 [СБОЙ] {code} или {code} - Ошибки в логе traf-reporter за последний час: 4 [СБОЙ] {code} Если в течение двух запусков проверки значения не меняются - все в порядке. Если растут значения "Критические ошибки в логе worker за последний час" - сразу составьте обращение в портале [HelpDesk|https://helpdesk.carbonsoft.ru/login.php]. Если растут значения "Ошибки в логе traf-reporter за последний час" - выполните команды {code} chroot /app/asr_billing/ yes | cp /skelet/var/db/buff_traf.gdb /var/db/ chown firebird:firebird /var/db/buff_traf.gdb chmod g+w /var/db/buff_traf.gdb /etc/init.d/radiusd_traf restart {code} h1. Восстановление демонстрационной БД {tip}{*}Время выполнения инструкции*: 1-10 минут{tip} # Останавливаем биллинг {code} /app/asr_billing/service stop {code} {info:title=При необходимости сохраняем текущую БД} {code}mv /app/asr_billing/var/db/billing.gdb.stop /root/billing.gdb.stop-`date +%Y-%m-%d_%H%M`{code} {info} # Копируем в рабочий каталог демо БД {code} yes | cp -p /app/asr_billing/skelet/var/db/billing.gdb /app/asr_billing/var/db/billing.gdb.stop {code} # Уточняем текущее состояние биллинга для сервисного скрипта {code}echo 'stop OK' >/app/asr_billing/var/lib/app.state{code} # Запускаем биллинг {code} /app/asr_billing/service start {code} h1. Восстановление пустой БД {excerpt} {tip}{*}Время выполнения инструкции*: 1-10 минут{tip} # Останавливаем биллинг {code} /app/asr_billing/service stop {code} {info:title=При необходимости сохраняем текущую БД} {code}mv /app/asr_billing/var/db/billing.gdb.stop /root/billing.gdb.stop-`date +%Y-%m-%d_%H%M`{code} {info} # Копируем в рабочий каталог пустую БД {code} yes | cp -p /app/asr_billing/skelet/var/db/billing_system.gdb /app/asr_billing/var/db/billing.gdb.stop {code} # А также обязательно пустую БД трафика {code} yes | cp -p /app/asr_billing/skelet/var/db/buff_traf.gdb /app/asr_billing/var/db/buff_traf.gdb.stop {code} # Уточняем текущее состояние биллинга для сервисного скрипта {code}echo 'stop OK' >/app/asr_billing/var/lib/app.state{code} # Запускаем биллинг {code} /app/asr_billing/service start {code} {excerpt} h1. Свободного места на диске критично мало {anchor:emptyspace} {tip}{*}Время выполнения инструкции*: 15-60 минут, в зависимости от скорости поиска данных для удаления или переноса, а так же времени на перенос данных{tip} Заполнение дискового пространства вляется следствие работы операционной системы и программ, например программы Carbon Billing 5. Если не ослеживать этот процесс и не реагировать вовремя на предупреждения [системы мониторинга|CarbonBilling:Система мониторинга], она может остановить работу биллинга во избежание повреждения базы данных биллинга. Определить что причина именно в переполнении раздела можно так: # Выполните следующую команду: {code:title=Команда}/app/asr_billing/service start {code} # Если Вы получаете достаточно объемный вывод, в конце которого написано про свободное место, значит причина именно в переполнении раздела: {code}Свободного места на диске критично мало. Для предотвращения необратимых проблем, биллинг переходит в safe-mode. Освободите свободное место на диске и запустите команду /app/asr_billing/service start {code} В таком случае БД биллинга не повреждена, а остановлена для сохранности, необходимо освободить место на диске и запустить биллинг. h2. Очистка свободного места на диске {tip}{*}Время выполнения инструкции*: 5-50 минут, в зависимости от скорости поиска данных для удаления или переноса, а так же времени на перенос данных{tip} Мы описали это в достаточно объёмной статье [CarbonBilling:Мало места на диске]. Начине с заголовка "*Почему так получилось и как починить*", там описана краткая инструкция на примере раздела */mnt/log*, и дальше рассказано с каким данными что можно сделать. h2. Восстановление БД в работу {tip}{*}Время выполнения инструкции*: 5-10 минут, в зависимости от разера БД{tip} h3. Биллинг в safemode # Зайтите в чрут биллинга {code}chroot /app/asr_billing{code} # Найдите последний по времени создания файл в папке /var/db/safemode, для этого выполните команду {code}ls -1trhd /var/db/safemode/* | tail -n 1 /var/db/safemode/billing.gdb.save_mode.2017-02-22_15-42-43.gdb{code} # Скопируйте данный файл в папку, где он должен располагаться для запуска биллинга и выставьте правильные права доступа к файлу {code}mv /var/db/safemode/billing.gdb.save_mode.2017-02-22_15-42-43.gdb /var/db/billing.gdb.stop chown firebird:firebird /var/db/billing.gdb.stop{code} # На всякий случай, проверяем, что БД трафика {{buff_traf.gdb}} на месте. Если её нет, берём пустую: {code} [ ! -s /var/db/buff_traf.gdb ] && ( yes | cp /skelet/var/db/buff_traf.gdb /var/db/buff_traf.gdb && chown firebird:firebird /var/db/buff_traf.gdb && chmod g+w /var/db/buff_traf.gdb ) {code} # Выйдите из чрута и снова выполните запуск биллинга {code}exit echo 'stop OK' >/app/asr_billing/var/lib/app.state /app/asr_billing/service restart{code} h3. Биллинг не в safemode, при открытии абонента - ошибка Feedback Биллинг не находится в состоянии safemode, но при открытии карточки абонента выходит ошибка "Feedback", в расширенном описании ошибки написано следующее: {code}DatabaseError: ('Error while commiting transaction:\n- SQLCODE: -902\n- I/O error for file "/mnt/var/tmp_root/fb_table_IY4dTZ"\n- Error while trying to write to file\n- No space left on device', -902, 335544344){code} Это означает, место кончилось на разделе */mnt/var*. Очистив место по инструкции выше, выполните перезапуск контейнера биллинга: {code}/app/asr_billing/service restart{code} |