Подключение источника через редактор on Dataplan

Маппинг данных – создание новой таблицы

Mon, 01 Jan 0001 00:00:00 +0000

После заполнения параметров подключения переключитесь на вкладку "Маппинг данных" и выполните формирование маппинга(ов) для записи поступивших данных из источника в таблицы хранилища. Если выбран шаблон коннектора, то отобразятся маппинги из настроек коннектора.

Возможность создания нескольких маппингов данных предусмотрена только для logstash-источников.

Установите переключатель в положение "Создать новую таблицу".
Выберите базу данных (по умолчанию установлена база данных "picker_tables").
Введите имя новой таблицы. Если таблица с таким именем уже существует, система выдает уведомление.

В имени таблицы не используйте дефисы.

Маппинг данных – использование существующей таблицы

Mon, 01 Jan 0001 00:00:00 +0000

На вкладке "Маппинг данных" установите переключатель в положение "Использовать существующую".
Выберите дополняемую таблицу, куда будут вноситься новые данные в дополнение к имеющимся данным.
Заполните маппинг(и) данных. При отсутствии маппинга данных пользователь может загрузить csv-файл с маппингом.

В именах полей маппинга не используйте дефисы.
Система устанавливает значения движка таблицы, сортировки и разбиения по столбцам.
Для изменения порядка столбцов для сортировки нажмите кнопку и перетащите столбцы в нужное место.
Для просмотра списка столбцов для разбиения данных нажмите кнопку "Подробнее".
Сохраните изменения.

Маппинг данных – замена существующей таблицы

Mon, 01 Jan 0001 00:00:00 +0000

На вкладке "Маппинг данных" установите переключатель в положение "Заменить существующую".
Выберите таблицу, которую нужно удалить и создать новую по указанным в маппинге полям.
В поле "Движок таблицы" выберите необходимый движок таблицы.
Заполните маппинг(и) данных. При отсутствии маппинга данных пользователь может загрузить csv-файл с маппингом.

В именах полей маппинга не используйте дефисы.
В поле "Сортировка по столбцам" выберите один или несколько столбцов для сортировки данных. Порядок столбцов можно поменять, нажав кнопку и изменив порядок путем перетаскивания.
В поле "Разбиение по столбцам" выберите столбцы для разбиения данных, если выключен переключатель "По всем столбцам". В этом поле выводятся только непустые столбцы, т.е. прошедшие предварительную фильтрацию.
Если для разбиения выбраны столбцы с типом данных Date, DateTime, Nullable(Date), Nullable(DateTime), нажмите кнопку "Преобразовать" и в открывшемся окне для этих столбцов укажите параметр преобразования (в день, в месяц, в год, без преобразования).
Сохраните изменения.

Редактирование текста конфигурационного файла источника

Mon, 01 Jan 0001 00:00:00 +0000

Переключитесь на вкладку "Редактор".

Если выполняется подключение logstash-источника, введите/отредактируйте параметры и набор инструкций для подключения источника в блоках input (параметры входных данных) и filter (параметры обработки данных).

Если выполняется подключение python-источника, введите/отредактируйте python-скрипт.

При подключении источника на места использования параметров (плейсхолдеры) нужно подставлять конкретные значения. Параметры в тексте коннекторов используются в виде “::<param_name>::”. Незаполненные плейсхолдеры в тексте приводят к ошибке подключения.

Поддерживается использование глобальных переменных платформы (см. подробнее п. Вкладка "Secrets").

Подстановка шифрованных паролей в тексте запроса или скрипта

Mon, 01 Jan 0001 00:00:00 +0000

Функция постановки глобальных переменных Платформы в текст конфигурации источника данных позволяет скрыть из интерфейса секретные пароли и другие конфиденциальные данные.

Откройте форму редактирования источника (или форму редактирования шаблона коннектора). В тексте скрипта вместо пароля введите символ ‘$’, появится поле "Константа". Введите переменную. Переменная с зашифрованным паролем подставится в текст после символа $. Сохраните изменения.

При запуске конфигурационного файла подключенного источника будет выполняться автоматическая подстановка дешифрованного значения переменной, при этом в веб-интерфейсе будет продолжать отображаться глобальная переменная.