Миграция из CSV файла

{tip}{*}Время выполнения инструкции*: до 30 секунд на одного абонента и до 1 минуты инициализацию скрипта, общее время прямо зависит от количества мигрируемых абонентов{tip}

{toc:maxLevel=2}

h2. Пошаговая инструкция по миграции

CSV и конфигурационный файл должны быть в кодировке UTF-8. Расширение файлов .csv для файла с абонентами и .conf для файла с настройками.

1. Допустим csv файл выглядит в нашем случае вот так:

2. Создаем конфигурацию для вашего csv файла т.е какие поля из CSV соответствуют полям в бд биллинга. Первое поле в csv считается 0-вым. Далее в конфигурации Вы указываете имя поля в биллинге и значение столбца в csv файле, которое запишется в это поле биллинга
{info}
Список полей, доступных для переноса, указан в примере. По дополнительным полям уточните у специалиста технической поддержки Carbonsoft, который проводит миграцию совместно с вами.
{info}
Пример конфига для нашего csv файла (описания столбцов не заканчивается запятой, она вызовет ошибку миграции).

{code}
{
"fields": {
"Название/ФИО": 0,
"Баланс": 1,
"Город": 2,
"Улица": 3,
"Номер дома": 4,
"Корпус": 5,
"Номер квартиры": 6,
"Логин": 7,
"imported_id": 7,
"Номер договора": 7,
"Номер SMS для оповещений": 7,
"Сгенерированный пароль": 8,
"Тариф": 9,

"options":{
"Папка для импорта": "Миграция",
"Разделитель csv": ";",
"Формат даты": "%d.%m.%Y",
"Наследовать параметры от родительской папки": "True",
"Следующее списание": "16.07.2016",
"Тип списания":"Предоплата",
"Метод списания":"Ежемесячно равными долями в день"
}
}
{code}

{info}
Обязательно прочтите описание полей ниже
{info}

*imported_id* \- уникальный идентификатор записей в вашем CSV файле(ах) при миграции. *Не может быть пустым\!*
*Папка для импорта* \- имя папки в списке абонентов биллинга, в которую попадут все абоненты из csv-файла после миграции. Если требуется разделить абонентов на подпапки (по тарифам или по месту подключения), тогда до миграции необходимо произвести разделение общего csv-файла на отдельные файлы, в которых абоненты уже сгруппированы по нужному признаку. Также для каждого csv-файла нужен будет свой файл .conf, в котором поле "Папка для импорта" будет иметь соответствующее значение.
Названия остальных полей совпадают с их описанием в интерфейсе управления абонентами:

*Тариф* \- имя тарифа в разделе тарификация, который будет присвоен абоненту. Тариф должен быть создан в биллинге до миграции.

*NAS/BRAS* \- к какому маршрутизатору требуется привязать учетную запись - писать текстом в CSV. Просто название NAS'а без IP в скобках. NAS предварительно должен быть создан в биллинге.

*Тип авторизации* \- тип авторизации пользователей (общий для всех добавляемых пользователей)

*Следующее списание* \- Дата, с которой биллинг начнет списывать средства по услугам у абонента. До этой даты абонент будет иметь включенную услугу и пользоваться ей *бесплатно*, т.е. списания по ним идти до этой даты не будут. Рекомендуется ставить дату миграции.

*Список типов авторизации:*
{code}
по vpn pptp, pppoe
по ip static
по CarbonAgent
по ip+CarbonAgent
через веб
через ip+веб
любая через RADIUS
{code}

3. Копирование файлов на сервер.
* IP адрес сервера биллинга 10.0.0.1
* Файл конфигурации abonents.conf
* CSV-файл с данными абонентов abonents.csv

Производим копирование программой scp
{code}
scp -P 22 abonents.conf abonents.csv root@10.0.0.1:/app/asr_billing/var/root/
{code}

{info}
Все файлы должны быть в кодировке utf-8, для проверки введите команду в консоли сервера
{code} file /app/asr_billing/var/root/abonents.csv
abonents.csv: UTF-8 Unicode text, with CRLF line terminators{code}
Если в выводе Вы получите 'UTF-8 Unicode (with BOM)' выгрузка работать не будет.
Для исправление выполните команду.
{code}sed -i '1s/^\xEF\xBB\xBF//' /app/asr_billing/var/root/abonents.csv{code}
{info}

4. Заходим в контейнер биллнг
{code}
chroot /app/asr_billing
{code}


5. Запускаем скрипт миграции без параметров
{code}
python2.7 /usr/lib/python2.7/site-packages/carbon_migration_scripts/file_client/import_csv_v2.pyc
{code}
будет выведена инструкция к дальнейшим действиям.

6. Запускаем миграцию абонентов командой
{code}
python2.7 /usr/lib/python2.7/site-packages/carbon_migration_scripts/file_client/import_csv_v2.pyc /var/root/abonents.conf /var/root/abonents.csv migrate_abonents
{code}

7. Проверяем миграцию

h3. Логи миграции/Скорость миграции

Оценить скорость прохождения миграции, запущенной с другой машины, можно в логе миграции /var/log/import_csv.log

h3. Разделы файла конфигурации:

* *fields* \- содержит поля доступные для редактирования в карточке абонента, а также у учётной записи пользователя;
* *options* \- отвечает за параметры csv файла, такие как разделитель, дату следующего списания и тому подобное;
* *dynamic_attributes* содержит список [Реквизитов|Реквизиты], которые не были созданы в биллинге, при этом для каждого абонента будет создан отдельный реквизит.

h2. Ошибки миграции

h3. Пропущен разделитель в конфигурационном файле
В примере пропущен разделитель "," на позиции *42* в конфигурационном файле. Сообщение об ошибке:
{code}
ERROR 2019-11-25 14:42:11,717 base 6929 140347412997888 [u'ValueError: Expecting , delimiter: line 42 column 1 (char 1326)', u' File "file_client/import_csv.py", line 1612, in <module>', u' File "file_client/import_csv.py", line 1564, in start_import', u' File "json/__init__.py", line 339, in loads', u' File "json/decoder.py", line 364, in decode', u' File "json/decoder.py", line 380, in raw_decode']
{code}
Что бы понять в какой строке нет разделителя просматриваем сообщение об ошибке и находим следующее:
{code}
delimiter: line 42
{code}
Для исправления конфигурационного файла откройте его в текстовом редакторе и перейдите на строку *42*.
{code}
vim +42 /var/root/abonents.conf
{code}

{info}
Нумерация столбцов в .csv файле начинается с *0*.
{info}

h3. Конфигурационный файл содержит некорректные параметры
Указанная ошибка появляется, когда программа миграции считывает конфигурационный файл и не может найти в нём параметр.
{code}
ERROR 2019-12-11 17:41:59,790 base 18056 140138050590464 [u'ValueError: Expecting property name: line 5 column 1 (char 71)', u' File "file_client/import_csv.py", line 1612, in <module>', u' File "file_client/import_csv.py", line 1564, in start_import', u' File "json/__init__.py", line 339, in loads', u' File "json/decoder.py", line 364, in decode', u' File "json/decoder.py", line 380, in raw_decode']
[u'sudo bash -c "export BOOTUP="noncolor";service worker start 2>&1"']
{code}
В указанном случае стояла запятая в конце перечисления параметров конфигурационного файла ("Номер договора": 1,)
{code}
"fields": {
"Баланс": 6,
"Номер договора": 1,
},
{code}
{info}
При перечислении в конфигурационном файле внутри { } используется символ запятая(,), как указатель на следующий параметр
{info}


h3. Неверный тип параметра в конфигурационном файле
Пример ошибки:
{code}
ERROR 2019-11-25 19:24:36,818 base 31955 140598127302400 [u'TypeError: list indices must be integers, not unicode', u' File "file_client/import_csv.py", line 1612, in <module>', u' File "file_client/import_csv.py", line 1589, in start_import', u' File "file_client/import_csv.py", line 189, in start_import', u' File "file_client/import_csv.py", line 138, in parse_csv']
{code}
Ошибка возникает, когда в конфигурационном файле для параметра указано строковое значение вместо целочисленного. Например вместо номера столбца для тарифа указано его название:
{code}
"Тариф": "Основной тариф",
{code}
Верное значение поля "Тариф" - номер столбца в файле .csv , с названиями тарифов:
{code}
"Тариф": 8,
{code}

h2. Список полей доступных для миграции абонентов
{info}
* Практически все поля из веб - интерфейса можно мигрировать, указав в конфигурационном файле название поля так же, как оно написано в веб - интерфейсе.
* В случае, если в названии поля присутствует *обратный* слэш - данный символ необходимо в конфигурационном файле экранировать. Пример:
{code}
"Списать сумму\\Сделать скидку": 1
{code}
* Максимальная длина *пароля* составляет 16 символов. Если пароль в csv файле будет длиннее - скрипт сгенерирует случайный пароль для этого абонента
{info}
{warning}
Внимательно используйте опцию "*Создавать дополнительных пользователей c login=imported_id*". Эта опция используется в скрипте с параметром create_users. С этой опцией в новую учетную запись не попадут никакие параметры кроме "Логин" .
{warning}

{code}
{
"fields": {
"auth_type": 57,
"OPT82": 56,
"Метод списания абон.платы": 70,
"Название/ФИО": 1,
"Порог отключения": 2,
"VLAN": 54,
"Номер договора": 3,
"Абонентка по тарифу": 71,
"Название тарифа": 42,
"rate_in": 49,
"next_auto_acount": 68,
"Добровольная блокировка, до": 21,
"Логин": 2,
"Номер дома": 35,
"Номер квартиры": 37,
"Корпус": 36,
"iptv пароль": 64,
"IP адрес для SNAT": 65,
"порт коммутатора": 55,
"Улица": 34,
"Переход на тариф": 38,
"Баланс": 9,
"Дерево групп": 67,
"IP коммутатора": 53,
"Пул IP адресов": 27,
"iptv ip": 62,
"Номер SMS для оповещений": 11,
"imported_id": 0,
"У пользователя белый ip адрес": 22,
"iptv мак": 63,
"Host Пул (только для VPN)": 26,
"Юр. лицо": 5,
"send_act": 19,
"NAS/BRAS": 58,
"sync1c": 20,
"Дата выставления Акта": 72,
"ceil_in": 51,
"ceil_out": 52,
"Дата договора": 7,
"rate_out": 50,
"enabled": 6,
"Переопределенная абонентская плата": 61,
"email": 10,
"Следующее списание": 69,
"MAC": 8,
"Host IP (только для VPN)": 25,
"IPv4": 4,
"Запретить динамическое выделение параметров": 23,
"Формировать Акт автоматически": 12,
"Город": 32,
"Имя тарифа для перехода": 40,
"Дата следующего перехода": 39,
"Сгенерированный пароль": 15
},
"options": {
"Формат даты": "%Y-%m-%d %H:%M:%S",
"Метод списания": "Ежедневно",
"Разделитель csv": ";",
"Разделитель телефонов": " ",
"Создавать дополнительных пользователей c login=imported_id": "True",
"Наследовать параметры от родительской папки": "False",
"Папка для импорта": "Миграция",
"Тип списания": "Предоплата"
},
"dynamic_attributes": {
"Главный бухгалтер": 87,
"Кем выдан": 83,
"Адрес оборудования": 80,
"Наименование оборудования": 75,
"Адрес": 73,
"Когда выдан": 82,
"Кто подключил": 77,
"Мак адресс": 79,
"Наименование": 85,
"Прописка": 84,
"Паспорт №": 81,
"Номер порта": 76,
"ИНН": 86,
"Когда подключен (дата)": 78,
"Телефон": 74
}
}

{code}

h2. Как сделать csv


h3. Выгрузка запросом к базе данных

Уточните в документации или у техподдержки биллинга-источника структуру базы, сформируйте запрос.

h3. Из Excel

Если биллинг-источник позволяет выгрузить данные для миграции в Excel, можно воспользоваться им и пересохранить файл в CSV (меню Файл \-> Сохранить как) или воспользоваться конвертером в интернете: [https://convertio.co/ru/xls-csv/]

h3. Из XML

Можно воспользоваться конвертером в интернете: [https://conversiontools.io/conversion/convert_xml_to_csv]