Управление структурой хранилища данных on Dataplan

Просмотр структуры хранилища

Mon, 01 Jan 0001 00:00:00 +0000

Хранилище данных функционирует под управлением СУБД ClickHouse.

На вкладке "Структура" пользователь может просмотреть структуру хранилища, создать новую БД, добавить базам данных описание для уточнения их предназначения, а также удалить БД, не относящиеся к системным.

Интерфейс страницы представлен на следующем рисунке.

Страница "Структура" содержит следующие элементы управления.

Элемент управления	Назначение
"Шапка" в списке объектов
"Обновить"	Обновление списка
"Скачать PDF"	Выгрузка страницы в PDF
"Справка"	Вызов окна для просмотра дополнительной информации о хранилище (списки исключений для баз данных и таблиц)
"Создать базу данных"	Переход на страницу создания новой БД
Таблица со списком
"Редактировать"	Вызов окна для редактирования описания БД
"Удалить"	Удаление роли с предварительным подтверждением удаления.
Поля быстрого фильтра	Быстрая фильтрация записей на всех страницах списка по частичному совпадению содержимого
Элементы сортировки списка	Сортировка списка
Элементы пагинации	Навигация по списку: изменение максимального числа записей, выводимого в таблице на одной странице (по умолчанию – 10), перемещение по страницам

Элемент управления

Назначение

"Шапка" в списке объектов

"Обновить"

Обновление списка

"Скачать PDF"

Выгрузка страницы в PDF

"Справка"

Вызов окна для просмотра дополнительной информации о хранилище (списки исключений для баз данных и таблиц)

"Создать базу данных"

Переход на страницу создания новой БД

Таблица со списком

"Редактировать"

Вызов окна для редактирования описания БД

"Удалить"

Удаление роли с предварительным подтверждением удаления.

Поля быстрого фильтра

Быстрая фильтрация записей на всех страницах списка по частичному совпадению содержимого

Элементы сортировки списка

Сортировка списка

Элементы пагинации

Навигация по списку: изменение максимального числа записей, выводимого в таблице на одной странице (по умолчанию – 10), перемещение по страницам

Настройку необходимых прав доступа к БД и таблицам для ролей пользователей выполняет администратор Датаплан в соответствии с положениями документа "Руководство администратора".

Создание новой базы данных

Mon, 01 Jan 0001 00:00:00 +0000

У пользователя должны быть права на изменение БД.

Для создания новой БД на странице "Структура" нажмите кнопку "Создать базу данных", введите название, описание и сохраните.

Требования к наименованию: должно начинаться с буквы, может содержать латинские буквы в разных регистрах, цифры, символ подчеркивания. В наименовании БД не используйте дефисы. Максимальная длина - 100 символов.

Новая БД появится в структуре хранилища данных.

После того, как создана новая база данных, пользователь может выполнить настройку и подключение нового источника данных в созданную БД.

Удаление базы данных из структуры хранилища

Mon, 01 Jan 0001 00:00:00 +0000

Для удаления базы данных нажмите на кнопку "Удалить" напротив наименования БД в структуре хранилища данных. Появится окно для подтверждения удаления "Вы уверены, что хотите удалить базу данных <наименование_БД>?".

Нажмите кнопку "Подтвердить". База данных будет удалена из списка БД хранилища, и появится всплывающее сообщение "База данных успешно удалена!".

Для роли пользователя должны быть установлены права на изменение этой БД. Иначе БД не будет удалена.

Просмотр содержимого базы данных

Mon, 01 Jan 0001 00:00:00 +0000

Для перехода к просмотру содержимого БД воспользуйтесь поисковой строкой и нажмите на наименовании интересующей БД на странице "Структура".

Откроется страница, содержащая список таблиц и представлений (view) выбранной БД:

значком отмечены таблицы;
значком отмечены представления (view).

В левом блоке возможна сортировка и фильтрация по наименованию объекта.

Выберите найденный объект курсором.

В правой части формы отобразятся структурные элементы: столбцы, тип данных, псевдоним и кнопки управления. Возможна сортировка и фильтрация по столбцам.

Создание таблицы в БД

Mon, 01 Jan 0001 00:00:00 +0000

У пользователя должны быть права на изменение БД.

Для создания новой таблицы в БД на странице "Структура" выберите базу данных и просмотрите ее содержимое.

Чтобы создать новую таблицу, нажмите кнопку "Создать таблицу". Откроется интерфейс формы настройки параметров таблицы как показано на следующем рисунке. В верхней строке указывается наименование БД, в которой создается таблица.

В "шапке" формы введите наименование таблицы (в латинской раскладке). Требования к наименованию: должно начинаться с буквы, может содержать латинские буквы в разных регистрах, цифры, символ подчеркивания. В наименовании таблицы не используйте дефисы. Максимальная длина - 100 символов.

Создание виртуальной таблицы (представления) в БД

Mon, 01 Jan 0001 00:00:00 +0000

Для роли пользователя должны быть установлены права на изменение БД, в которой необходимо создать view, а также права на чтение таблиц, на основе которых создается view.

Для создания новой виртуальной таблицы (представления, view) в БД на странице "Структура" выберите базу данных и просмотрите ее содержимое.

Чтобы создать новое view, нажмите кнопку "Создать таблицу" - "Создать view". В форме создания view в верхней строке указывается наименование БД, в которой создается view.

Добавление данных в таблицу из файла

Mon, 01 Jan 0001 00:00:00 +0000

Для загрузки данных из файла в хранилище на странице "Структура" выберите базу данных и таблицу, в которую необходимо добавить данные.

Нажмите на кнопку "Просмотреть таблицу", затем "Загрузить файл". В модальном окне выберите файл для импорта (формат .csv, .json). Например, для формата .csv в шапке файла указываются названия столбцов через запятую без пробелов. Каждая строка должна содержать значения для столбцов через запятую без пробелов (если присутствуют строковые значения, в которых внутри есть запятая, необходимо эти значения выделять кавычками).

Создание нового столбца, назначение ему псевдонима и маскирование данных

Mon, 01 Jan 0001 00:00:00 +0000

На странице "Структура" выберите базу данных, таблицу и просмотрите список столбцов.

Нажмите кнопку "Добавить столбец". Откроется модальное окно, в котором введите наименование столбца (в латинской раскладке) и выберите тип данных. Требования к наименованию: должно начинаться с буквы, должно содержать буквы и цифры, не должно содержать пробелов, тире, нижнего подчеркивания, дефиса и других специальных символов.

Нажмите кнопку "Добавить". Появится уведомление о добавлении нового столбца в таблицу.

Псевдонимы представляют собой наименования (синонимы), которые пользователь применяет к столбцам таблиц БД хранилища Датаплан.

Ротация данных в хранилище

Mon, 01 Jan 0001 00:00:00 +0000

Для таблиц хранилища есть возможность установить срок хранения данных, по истечении которого они удаляются.

Для view функция установки TTL заблокирована.

Для настройки значений времени хранения данных на странице "Структура" выберите базу данных.

Откроется страница, содержащая список таблиц выбранной БД.

В поле поиска введите наименование таблицы. Выберите таблицу и посмотрите ее данные. Нажмите кнопку "Установить TTL для таблицы". Это необязательное поле.

В открывшемся модальном окне выберите столбец, имеющий тип данных Date или Datetime. Если столбец единственный, то срабатывает автоподстановка его в список.

Удаление таблицы

Mon, 01 Jan 0001 00:00:00 +0000

Для удаления таблицы на странице "Структура" выберите базу данных.

Откроется страница, содержащая список таблиц и представлений выбранной БД.

В поле поиска введите наименование таблицы. Выберите объект курсором, чтобы посмотреть данные. Убедитесь, что таблица с ее содержимым может быть удалена. Нажмите кнопку "Удалить".

Появится окно для подтверждения удаления "Вы уверены, что хотите удалить таблицу <наименование_таблицы>?".

Нажмите кнопку "Подтвердить". Таблица (включая ее содержимое) будет удалена из базы данных, и появится всплывающее сообщение "Таблица БД успешно удалена!".

Просмотр статистики поступления данных

Mon, 01 Jan 0001 00:00:00 +0000

Вкладка "Статистика" предназначена для мониторинга статистики по базам данных и таблицам БД хранилища Датаплан.

Задача сбора статистики запускается в фоновом режиме с интервалом в 30 минут.

Для просмотра статистики по конкретной БД выберите наименование БД из выпадающего списка.

Страница содержит табличное представление статистических показателей выбранной БД и их значений, а также интерактивный график "Динамика поступления/удаления событий".

Интерфейс страницы "Статистика" приведен на следующем рисунке.

Табличное представление информации о БД содержит следующие статистические показатели:

Управление сценариями

Mon, 01 Jan 0001 00:00:00 +0000

Вкладка "Управление сценариями" предназначена для управления автоматической генерацией контента Платформы (на текущий момент – профилей xBA и дашбордов) в зависимости от наличия необходимых данных в хранилище.

Интерфейс страницы представлен на следующем рисунке: список встроенных сценариев автогенерации.

Таблица содержит перечень встроенных сценариев, которые могут использоваться для шаблонизированной генерации готового контента (дашборды, профили xBA) (см. подробнее п. Общее описание модели данных). Данная возможность существенно упростит процесс построения профилей и отчетности по различным источникам.

Общее описание модели данных

Mon, 01 Jan 0001 00:00:00 +0000

Модель данных представляет собой единый шаблон, который превращает разрозненные данные из разных систем (логи, события) в понятную и структурированную схему хранения с дальнейшей возможностью автоматического построения аналитической статистики и отчётности по различным источникам.

Схема модели данных:

Схема для модели данных содержит 60 полей (см. Приложение 1). Схема модели данных предполагает хранение полученных данных от источников в хранилище на базе ClickHouse.

Текущая версия модели данных позволяет автоматизировать процесс аналитического построения контента (дашборды, профили) в Платформе при подключении источников.

Управление словарями

Mon, 01 Jan 0001 00:00:00 +0000

Вкладка "Управление словарями" предназначена для управления справочниками (словарями), которые используются Платформой для оптимизации выборок данных и быстрого обогащения данных. Все словари хранятся в отдельно созданной БД dp_dictionaries.

Встроенные словари создаются сразу после инсталляции Платформы и развертывания компонента хранения данных.

Интерфейс страницы представлен на следующем рисунке.

В следующей таблице рассмотрены элементы управления списком словарей.

Элемент управления	Назначение
"Шапка" в списке объектов
"Обновить"	Обновление списка
"Скачать PDF"	Выгрузка страницы в PDF
"Справка"	Вызов окна для просмотра дополнительной информации о хранилище (списки исключений для баз данных и таблиц)
"Создать словарь"	Вызов формы создания нового словаря вручную: Просмотр справочной информации о хранилище Mon, 01 Jan 0001 00:00:00 +0000 Для просмотра справочной информации о хранилище нажмите кнопку "Справка" в "шапке" формы "Хранилище". Откроется окно, содержащее список исключений для баз данных и список исключений для таблиц, которые скрыты из интерфейса Платформы, чтобы избежать ситуаций обращения к служебным данным. На следующем рисунке приведен список неимпортируемых баз данных. На следующем рисунке приведен список неимпортируемых таблиц. Возможен поиск по частичному совпадению паттерна имени. К правилам исключений могут относится, например:

Элемент управления

Назначение

"Шапка" в списке объектов

"Обновить"

Обновление списка

"Скачать PDF"

Выгрузка страницы в PDF

"Справка"

Вызов окна для просмотра дополнительной информации о хранилище (списки исключений для баз данных и таблиц)

"Создать словарь"

Вызов формы создания нового словаря вручную:

Просмотр справочной информации о хранилище

Mon, 01 Jan 0001 00:00:00 +0000

Для просмотра справочной информации о хранилище нажмите кнопку "Справка" в "шапке" формы "Хранилище".

Откроется окно, содержащее список исключений для баз данных и список исключений для таблиц, которые скрыты из интерфейса Платформы, чтобы избежать ситуаций обращения к служебным данным.

На следующем рисунке приведен список неимпортируемых баз данных.

На следующем рисунке приведен список неимпортируемых таблиц.

Возможен поиск по частичному совпадению паттерна имени.

К правилам исключений могут относится, например: