Управление источниками данных on Dataplan

Подключение источника из коннектора

Mon, 01 Jan 0001 00:00:00 +0000

Создание ИД осуществляется на основе шаблона коннектора с плейсхолдерами для параметров, имеющегося в библиотеке коннекторов). Создание из коннектора заключается в вводе фиксированного для типа подключения набора параметров и выборе/вводе таблицы хранилища, в которую будет осуществляться сохранение обработанных событий.

У пользователя должны быть проставлены права на изменение БД "picker_tables", а также права на изменение таблицы в случае, если будет использована/заменена существующая таблица.

На странице "Источники данных" нажмите кнопку "Подключить источник" и выберите способ подключения "Из коннектора".
Заполните статичные параметры подключения источника:
- в "шапке" формы введите наименование источника
  
  В наименовании источника не используйте дефисы

Библиотека логотипов

Mon, 01 Jan 0001 00:00:00 +0000

Интерфейс страницы "Библиотека логотипов" содержит список загруженных в библиотеку логотипов подключаемых источников данных как показано на следующем рисунке.

В столбце "Изображение" представлены миниатюры загруженных логотипов.

Для создания логотипа нажмите кнопку "Создать логотип", введите его наименование и выберите или перетащите файл с изображением логотипа. Нажмите "Сохранить".

Для редактирования логотипа нажмите кнопку "Редактировать". Модальное окно позволяет отредактировать имя логотипа или заменить файл изображения.

Для следующих административных (встроенных) логотипов функция редактирования и удаления недоступна:
python;
siem;
jdbc;
beats;
syslog;
default.

Загрузка паттернов и драйверов

Mon, 01 Jan 0001 00:00:00 +0000

Файлы паттернов и драйверов используются в текстах конфигурации logstash-источников или logstash-шаблонов коннекторов. Файлы сохраняются на узлы сбора данных.

Для обеспечения возможности соединения с различными системами на странице "Источники данных" нажмите кнопку "Импорт драйвера" и перетащите jar-файл драйвера в окно. После загрузки драйвера в систему отобразится уведомление об успешной загрузке.

В тексте конфигурации необходимо указать путь к файлу драйвера: /ect/logstash/drivers/external/<filename>.

Файлы паттернов содержат регулярные выражения, необходимые для парсинга поступающих событий. Для загрузки набора паттернов на странице "Источники данных" нажмите кнопку "Импорт файла паттернов" и перетащите в окно файл в окно (кодировка должна быть UTF-8). После загрузки файла паттернов в систему отобразится уведомление об успешной загрузке.

Просмотр лога подключения к источнику данных

Mon, 01 Jan 0001 00:00:00 +0000

У пользователя должны быть проставлены права на просмотр БД "picker_tables" Хранилища данных.

Для просмотра лога подключения к источнику данных на странице "Источники данных" воспользуйтесь сортировкой и выберите источник. Нажмите на ссылку в столбце "Статус". Откроется модальное окно, содержащее лог последнего подключения с полосой прокрутки.

Максимальный размер лога при просмотре не превышает 32 Kb, остальное скрывается за "…".

Поле доступно для выделения и копирования текста, а также можно загрузить лог в формате .txt по нажатию на кнопку для дальнейшей работы вне системы.

Просмотр отладочной информации

Mon, 01 Jan 0001 00:00:00 +0000

Включение отладочного режима для logstash-источников позволяет пользователю посмотреть детальную информацию по параметрам и состоянию подключения к источнику данных, а также более удобного исследования поступающего потока событий.

У пользователя должны быть проставлены права на просмотр БД "picker_tables" Хранилища данных.

На странице "Источники данных" воспользуйтесь сортировкой и выберите источник. Этот источник был подключен через редактор, тип не python/python_ad, и для него включен "Режим отладки". Для этого источника на сервере в папке /etc/logstash/tmp после поступления хотя бы одного сообщения создается отладочный файл. Отладочные файлы называются по паттерну <id>_source_debug.json.

Настройка уведомлений о состояниях источников

Mon, 01 Jan 0001 00:00:00 +0000

Для того чтобы получать системные уведомления о статусах соединения и поступлении данных от источников, выполните следующие действия:

Выберите пункт "Настройки уведомлений" в меню, вызываемом при наведении на пиктограмму "Пользователь".
В "Настройках уведомлений", в блоке "Общие настройки" установите переключатель Получать уведомления в положение "вкл.".
На вкладке "Административные" выберите группу уведомлений "Источники" и установите необходимый метод доставки: push, email, как показано на рисунке ниже.
Нажмите кнопку "Сохранить". Внесенные изменения будут сохранены и появится всплывающее сообщение "Изменения сохранены".

Просмотр ленты уведомлений о состояниях источников

Mon, 01 Jan 0001 00:00:00 +0000

Для просмотра ленты уведомлений о статусах соединения, ошибках в работе источников и поступлении данных выполните следующие действия:

Нажмите на пиктограмму "Пользователь" и выберите пункт "Профиль пользователя". Откроется страница с профилем текущего пользователя и лентой уведомлений о системных событиях, с возможностью фильтрации по виду и методу доставки.
Переключитесь на вкладку "Административные".
В поле фильтра "Вид уведомления" выберите вид, относящийся к группе "Источники":
- "Работоспособность восстановлена";
- "Ошибка работы источника";
- "Прекращено поступление данных в источник";
- "Поступление данных в источник восстановлено".

Удаление подключения к источнику данных

Mon, 01 Jan 0001 00:00:00 +0000

Для удаления подключения к источнику данных на странице "Источники данных" нажмите кнопку "Удалить" в строке соответствующего ИД. Откроется окно "Удаление источника" как показано на следующем рисунке.

Нажмите кнопку "Удалить". Источник данных будет удален из списка подключенных источников и появится всплывающее сообщение "Источник успешно удален!".