Управление источниками данных
Раздел Данные > Источники предназначен для управления источниками данных (ИД).
| У пользователя должны быть права к разделу "Данные". |
Интерфейс страницы представлен на следующем рисунке.
Страница "Источники" содержит список подключенных ИД в табличном виде с возможностью сортировки по заголовкам столбцов. По умолчанию список отсортирован по дате изменения (от большего к меньшему).
На странице с перечнем источников доступны следующие элементы управления.
| Элемент управления | Назначение |
|---|---|
"Шапка" в списке объектов | |
| Обновление списка |
| Выгрузка страницы в PDF |
| Переход в библиотеку коннекторов (список шаблонов и логотипов) |
| Загрузка драйвера (jar-файла) в Платформу |
| Загрузка файла паттернов в Платформу, содержащего регулярные выражения |
"Подключить источник" - выбор способа создания источника "Из коннектора" | Переход на страницу подключения источника на основе сохраненного в Платформе шаблона коннектора |
"Подключить источник" - выбор способа создания источника "В редакторе" | Переход на страницу подключения источника через редактор, т.е. полностью ручной ввод текста конфигурации и маппинга либо ручное ввод параметров и корректировка маппинга в подгруженном шаблоне коннектора |
Таблица со списком | |
| Переход на страницу редактирования параметров источника. Также открыть страницу редактирования можно по нажатию на название источника. У пользователя должны быть проставлены права на запись в разделе "Данные" |
| Удаление источника с предварительным подтверждением удаления. У пользователя должны быть проставлены права на запись в разделе "Данные" |
| Вызов окна просмотра детальной информации о подключении источника. У пользователя должны быть проставлены права на просмотр БД "picker_tables" Хранилища данных. По нажатию на значок |
Поля быстрого фильтра | Быстрая фильтрация записей на всех страницах списка по частичному совпадению содержимого |
Элементы сортировки списка | Сортировка списка |
Элементы пагинации | Навигация по списку: изменение максимального числа записей, выводимого в таблице на одной странице (по умолчанию – 10), перемещение по страницам |
Мониторинг поступления новых данных:
Столбец "Статус" отображает статус последнего получения данных от ИД. При этом действует следующая цветовая индикация статусов:
Зеленый статус "Данные получены" – источник подключен, данные получены;
Желтый статус "Данные не получены" – источник подключен, данные не получены;
Красный статус "Ошибка" – ошибка подключения, данные не получены;
Серый статус "Отключен" – источник отключен.
Для каждого источника интервал мониторинга поступления данных и состояния источника настраивается при создании источника в редакторе. По умолчанию интервал составляет 5 минут, этот параметр можно отредактировать.
При каждой итерации сервис мониторинга выполняет проверку состояния пайплайна для logstash-источников, проверку отработки python-скрипта для python-источников и отслеживает количество данных в таблицах, в которые поступают данные от ИД.
Можно настроить получение системных уведомлений об изменениях статусов источников (см. п. Настройка уведомлений о состояниях источников).
По нажатию на статус появляется модальное окно, содержащее лог последнего подключения (см. п. Просмотр лога подключения к источнику данных).
| Информацию о статусе и времени получения данных можно посмотреть только после отработки первой итерации мониторинга. |
| Старый статус | Проверка | Новый статус и уведомление пользователю |
|---|---|---|
Данные получены или Данные не получены | Ошибка подключения | Статус - Ошибка Уведомление – "Ошибка работы" |
Ошибка | Источник подключен, Данные получены по всем таблицам из маппингов (предыдущее количество строк < текущего) | Статус - Данные получены Уведомления - "Работоспособность восстановлена" |
Данные получены | Источник подключен, Нет новых данных хотя бы по одной таблице из маппингов (предыдущее количество строк >= текущему) | Статус - Данные не получены Уведомление - "Поступление данных прекращено" |
Данные не получены | Источник подключен, Данные получены по всем таблицам из маппингов (предыдущее количество строк < текущего) | Статус - Данные получены Уведомление – "Поступление данных восстановлено" |
См. в этом разделе:
- Подключение источника из коннектора
- Подключение источника через редактор
- Библиотека коннекторов
- Библиотека логотипов
- Загрузка паттернов и драйверов
- Просмотр лога подключения к источнику данных
- Просмотр отладочной информации
- Настройка уведомлений о состояниях источников
- Просмотр ленты уведомлений о состояниях источников
- Удаление подключения к источнику данных
Была ли эта страница полезной?
Спасибо за отзыв!
Спасибо, мы учтём это для улучшения документации.