Приложения on Dataplan

Приложение 1. Перечень компонентов и сервисов Платформы

Mon, 01 Jan 0001 00:00:00 +0000

Наименование сервиса

Описание

dp.alarmer

Сервис-транспорт, а также управления уведомлениями

dp.auth

Сервис авторизации и управления регистрацией пользователей, а также сессиями пользователей

dp.core

Сервис-ядро для управления запуском и конфигурацией платформы

dp.licenser

Сервис управления лицензиями

dp.log_eater

Внутренний сервис "очищения" таблиц аудита в Служебной БД

dp.monitor

Сервис мониторинга

dp.peopler

Сервис управления пользователями

dp.permitter

Сервис управления правами доступа

dp_servicedb_single

Компонент Служебной БД

dp_broker

Сервис, отвечающий за асинхронный обмен, эффективную передачу, надежность и повторную отправку, логи и метрики, взаимодействие с сервисами

dp.taskplan

Сервис-планировщик

dp.updater

Сервис управления дополнениями и обновлением версий

dp.absorber

Сервис управления источниками

dp.storage_worker

Сервис управления хранилищем

dp.scripter

Сервис управления скриптами

dp.datapie_baker

Сервис автоматической генерации контента и управления генерацией контента

dp.elements_eater

Сервис управления экспортом-импортом элементов

dp.reporter

Сервис управления рассылками

dp.rm_cook

Сервис управления RoleMining

dp.rm_ml

Внутренний сервис для расчета RoleMining

dp.visualisation

Сервис управления пользовательскими элементами для просмотра и визуализации данных из Хранилища (Дашборды, Чарты, Датасеты)

dp.xba_cook

Сервис управления xBA Профилями

dp.xba_ml

Внутренний сервис для расчета xBA Профилей

dp_picker

Компонент сбора данных

dp_storage_single/cluster

Компонент хранилища

dp_frontend

Сервис раздачи фронтенд-статики

dp_ml

Компонент машинного обучения со средой выполнения скриптов

dp_keeper

Вспомогательный сервис хранилища, отвечающий за управление координацией реплицирования данных между узлами Хранилища

Приложение 2. Типы подключения источников и наборы параметров

Mon, 01 Jan 0001 00:00:00 +0000

ID	Тип подключ.	Имя параметра в служебной БД	Имя параметра в веб-интерфейсе	Описание
1	default	-
2	syslog	host (строка) – используется как “::host::”	Ip для прослушивания	IP адрес источника, с которого поступают данные
		port (число) - используется как ::port::	Порт для прослушивания	Номер порта источника
3	beats^[1]	host (строка) – используется как “::host::”	Ip для прослушивания	IP адрес источника, с которого поступают данные
		port (число) - используется как ::port::	Порт для прослушивания	Номер порта источника
4	jdbc	jdbc_driver_library (строка) - используется как “::jdbc_driver_library::”	Путь к драйверу (заполнен для части встроенных коннекторов)
		jdbc_driver_class (строка) - используется как “::jdbc_driver_class::”	Класс драйвера (заполнен для части встроенных коннекторов)
		jdbc_connection_string (строка) - используется как “::jdbc_connection_string::”	URL для соединения с БД
		jdbc_user (строка) - используется как “::jdbc_user::”	Пользователь	Логин пользователя (поддерживается использование глобальных переменных платформы)
		jdbc_password (строка) - используется как “::jdbc_password::”	Пароль	Пароль пользователя
		tracking_column (строка) - используется как “::tracking_column::”	Столбец отслеживания
		tracking_column_type (строка) - используется как “::tracking_column_type::”	Тип столбца отслеживания (numeric, timestamp)
		use_column_value (boolean) - используется как ::use_column_value::	Флаг использования столбца отслеживания (true/false)
		record_last_run (boolean) - используется как ::record_last_run::	Флаг записи последней метки (true/false)
		statement (строка) - используется как “::statement::”	Текст запроса для получения данных
		schedule (строка) - используется как “::schedule::”	Расписание задания сбора данных (выражение Cron)
		last_run_metadata_path (строка) - используется как “::last_run_metadata_path::”	Путь к файлу меток
		jdbc_fetch_size (число) - используется как ::jdbc_fetch_size::	Размер выборки для сбора данных
5	python	-
6	python_ad	domain_fqdn (строка) - используется как “::domain_fqdn::”	Имя домена
		ad_ip (строка) - используется как “::ad_ip::”	IP контроллера домена
		ad_user (строка) - используется как “::ad_user::”	Пользователь AD	Логин пользователя AD
		ad_password (строка) - используется как “::ad_password::”	Пароль AD	Пароль пользователя AD
		storage_ip(строка) - используется как “::storage_ip::”	IP хранилища
		storage_port (строка)^[2] - используется как “::storage_port::”	Порт хранилища
		storage_db (строка) - используется как “::storage_db::”	БД хранилища
		storage_table (строка) - используется как “::storage_table::”	Таблица хранилища
		storage_user (строка) - используется как “::storage_user::”	Пользователь хранилища	Логин пользователя хранилища
		storage_password (boolean) - используется как “::storage_password::”	Пароль хранилища	Пароль пользователя хранилища
7	tcp_udp	host (строка) - используется как “::host::”	Ip для прослушивания	IP адрес источника, с которого поступают данные
		port (число) - используется как ::port::	Порт для прослушивания	номер порта источника
8	python_clickhouse	source_ip (строка) - используется как “::source_ip::”	IP clickhouse-хранилища источника
		source_user (строка) - используется как “::source_user::”	Пользователь clickhouse-хранилища источника
		source_port (число)^[3] - используется как ::source_port::	Порт clickhouse-хранилища источника
		source_db (строка) - используется как “::source_db::”	БД clickhouse-хранилища источника
		source_table (строка) - используется как “::source_table::”	Таблица clickhouse-хранилища источника
		source_password (строка) - используется как “::source_password::”	Пароль clickhouse-хранилища источника
		source_time_filter_column (строка) - используется как “::source_time_filter_column::”	Временная колонка для фильтрации по последнему загруженному значению
		source_secure (строка) - используется как ::source_secure::	Защищенное соединение с clickhouse-хранилищeм источника (true/false)	Флаг защищенного соединения
		source_key_file (строка) - используется как “::source_key_file::”	Key файл источника (относительный путь на ноде запуска)
		source_cert_file (строка) - используется как “::source_cert_file::”	Cert файл источника (относительный путь на ноде запуска)
		source_ca_file (строка) - используется как “::source_ca_file::”	CA файл источника (относительный путь на ноде запуска)
		source_data_part_limit (число) - используется как ::source_data_part_limit::	Размер окна данных для забора
		source_start_time_value (строка) - используется как “::source_start_time_value::”	Стартовая временная метка на случай отсутствия lastrun-файла
		lastrun_file (строка) - используется как “::lastrun_file::”	Имя файла с последней временной меткой (относительный путь на ноде запуска)
		storage_ip (строка) - используется как “::storage_ip::”	IP хранилища
		storage_port (число)^[4] - используется как “::storage_port::”	Порт хранилища
		storage_db (строка) - используется как “::storage_db::”	БД хранилища
		storage_table (строка) - используется как “::storage_table::”	Таблица хранилища
		storage_user (строка) - используется как “::storage_user::”	Пользователь хранилища	Логин пользователя хранилища
		storage_password (boolean) - используется как “::storage_password::”	Пароль хранилища	Пароль пользователя хранилища
9	file	path (строка) – используется как “::path::”	Путь к файлу	Путь к файлу, из которого производится считывание
		codec (строка) - используется как “::codec::”	Кодек файла
		sincedb_clean_after (число) - используется как ::sincedb_clean_after::	Максимальный период ожидания новых данных (в днях)
		sincedb_path (строка) - используется как “::sincedb_path::”	Путь к файлу с указателем-меткой	Путь к файлу, куда сохраняется последняя метка чтения

Тип подключ.

Имя параметра в служебной БД

Имя параметра в веб-интерфейсе

Описание

default

syslog

host (строка) – используется как “::host::”

Ip для прослушивания

IP адрес источника, с которого поступают данные

port (число) - используется как ::port::

Порт для прослушивания

Номер порта источника

beats^[1]

host (строка) – используется как “::host::”

Ip для прослушивания

IP адрес источника, с которого поступают данные

port (число) - используется как ::port::

Порт для прослушивания

Номер порта источника

jdbc

jdbc_driver_library (строка) - используется как “::jdbc_driver_library::”

Путь к драйверу (заполнен для части встроенных коннекторов)

jdbc_driver_class (строка) - используется как “::jdbc_driver_class::”

Класс драйвера (заполнен для части встроенных коннекторов)

jdbc_connection_string (строка) - используется как “::jdbc_connection_string::”

URL для соединения с БД

jdbc_user (строка) - используется как “::jdbc_user::”

Пользователь

Логин пользователя (поддерживается использование глобальных переменных платформы)

jdbc_password (строка) - используется как “::jdbc_password::”

Пароль

Пароль пользователя

tracking_column (строка) - используется как “::tracking_column::”

Столбец отслеживания

tracking_column_type (строка) - используется как “::tracking_column_type::”

Тип столбца отслеживания (numeric, timestamp)

use_column_value (boolean) - используется как ::use_column_value::

Флаг использования столбца отслеживания (true/false)

record_last_run (boolean) - используется как ::record_last_run::

Флаг записи последней метки (true/false)

statement (строка) - используется как “::statement::”

Текст запроса для получения данных

schedule (строка) - используется как “::schedule::”

Расписание задания сбора данных (выражение Cron)

last_run_metadata_path (строка) - используется как “::last_run_metadata_path::”

Путь к файлу меток

jdbc_fetch_size (число) - используется как ::jdbc_fetch_size::

Размер выборки для сбора данных

python

python_ad

domain_fqdn (строка) - используется как “::domain_fqdn::”

Имя домена

ad_ip (строка) - используется как “::ad_ip::”

IP контроллера домена

ad_user (строка) - используется как “::ad_user::”

Пользователь AD

Логин пользователя AD

ad_password (строка) - используется как “::ad_password::”

Пароль AD

Пароль пользователя AD

storage_ip(строка) - используется как “::storage_ip::”

IP хранилища

storage_port (строка)^[2] - используется как “::storage_port::”

Порт хранилища

storage_db (строка) - используется как “::storage_db::”

БД хранилища

storage_table (строка) - используется как “::storage_table::”

Таблица хранилища

storage_user (строка) - используется как “::storage_user::”

Пользователь хранилища

Логин пользователя хранилища

storage_password (boolean) - используется как “::storage_password::”

Пароль хранилища

Пароль пользователя хранилища

tcp_udp

host (строка) - используется как “::host::”

Ip для прослушивания

IP адрес источника, с которого поступают данные

port (число) - используется как ::port::

Порт для прослушивания

номер порта источника

python_clickhouse

source_ip (строка) - используется как “::source_ip::”

IP clickhouse-хранилища источника

source_user (строка) - используется как “::source_user::”

Пользователь clickhouse-хранилища источника

source_port (число)^[3] - используется как ::source_port::

Порт clickhouse-хранилища источника

source_db (строка) - используется как “::source_db::”

БД clickhouse-хранилища источника

source_table (строка) - используется как “::source_table::”

Таблица clickhouse-хранилища источника

source_password (строка) - используется как “::source_password::”

Пароль clickhouse-хранилища источника

source_time_filter_column (строка) - используется как “::source_time_filter_column::”

Временная колонка для фильтрации по последнему загруженному значению

source_secure (строка) - используется как ::source_secure::

Защищенное соединение с clickhouse-хранилищeм источника (true/false)

Флаг защищенного соединения

source_key_file (строка) - используется как “::source_key_file::”

Key файл источника (относительный путь на ноде запуска)

source_cert_file (строка) - используется как “::source_cert_file::”

Cert файл источника (относительный путь на ноде запуска)

source_ca_file (строка) - используется как “::source_ca_file::”

CA файл источника (относительный путь на ноде запуска)

source_data_part_limit (число) - используется как ::source_data_part_limit::

Размер окна данных для забора

source_start_time_value (строка) - используется как “::source_start_time_value::”

Стартовая временная метка на случай отсутствия lastrun-файла

lastrun_file (строка) - используется как “::lastrun_file::”

Имя файла с последней временной меткой (относительный путь на ноде запуска)

storage_ip (строка) - используется как “::storage_ip::”

IP хранилища

storage_port (число)^[4] - используется как “::storage_port::”

Порт хранилища

storage_db (строка) - используется как “::storage_db::”

БД хранилища

storage_table (строка) - используется как “::storage_table::”

Таблица хранилища

storage_user (строка) - используется как “::storage_user::”

Пользователь хранилища

Логин пользователя хранилища

storage_password (boolean) - используется как “::storage_password::”

Пароль хранилища

Пароль пользователя хранилища

file

path (строка) – используется как “::path::”

Путь к файлу

Путь к файлу, из которого производится считывание

codec (строка) - используется как “::codec::”

Кодек файла

sincedb_clean_after (число) - используется как ::sincedb_clean_after::

Максимальный период ожидания новых данных (в днях)

sincedb_path (строка) - используется как “::sincedb_path::”

Путь к файлу с указателем-меткой

Путь к файлу, куда сохраняется последняя метка чтения

1. При выборе этого типа подключения появляется уведомление о необходимости установки агентов для сбора данных из источников.

Приложение 3. Формат рассылки о новых отклонениях xBA по Syslog

Mon, 01 Jan 0001 00:00:00 +0000

В следующей таблице представлены значения полей заголовка рассылки:

Поле заголовка	Значение для профилей	Значение для метапрофилей
Version	0	0
Device Vendor	NGR Softlab	NGR Softlab
Device Product	Dataplan	Dataplan
Device Version	<product current version>	<product current version>
Name	[Dataplan:<ip>]<msg label>	[Dataplan:<ip>] New xba groups diviations data
Severity	Medium	Medium

Поле заголовка

Значение для профилей

Значение для метапрофилей

Version

Device Vendor

NGR Softlab

Device Product

Dataplan

Device Version

Name

[Dataplan:<ip>]<msg label>

[Dataplan:<ip>] New xba groups diviations data

Severity

Medium

В следующей таблице представлены значения полей с данными:

Приложение 4. Формат рассылки о новых аномалиях Role Mining по Syslog

Mon, 01 Jan 0001 00:00:00 +0000

Поле заголовка	Значение
Version	0
Device Vendor	NGR Softlab
Device Product	Dataplan
Device Version	<product current version>
Name	[Dataplan:<ip>]<msg label>
Severity	Medium

Поле заголовка

Значение

Version

Device Vendor

NGR Softlab

Device Product

Dataplan

Device Version

Name

[Dataplan:<ip>]<msg label>

Severity

Medium

Поле	Значение
start	время обнаружения/помещения в хранилище (пример: Nov 24 2022 11:43:45)
rt	временная метка аномалии (фактическое время события) (пример: Nov 23 2022 23:02:00)
suser	имя группы или пользователя (пример: Иванов Иван)
suid	ID группы или пользователя (пример: 3333333)
msg	сообщение, в которое записываются все расчетные данные аномалии (пример: id\=1229335471 name\=Иванов Иван' risk\=66.95)
dtz	delta time zone (UTC+0)
reason	тип аномалии (пример: rm anomaly)
deviceProcessName	источник события (пример: RoleMining)
dvc	ip платформы
request	шаблон сборки ссылки на сведения по аномалии

Поле

Значение

start

время обнаружения/помещения в хранилище (пример: Nov 24 2022 11:43:45)

временная метка аномалии (фактическое время события) (пример: Nov 23 2022 23:02:00)

suser

имя группы или пользователя (пример: Иванов Иван)

suid

ID группы или пользователя (пример: 3333333)

msg

сообщение, в которое записываются все расчетные данные аномалии (пример: id\=1229335471 name\=Иванов Иван' risk\=66.95)

dtz

delta time zone (UTC+0)

reason

тип аномалии (пример: rm anomaly)

deviceProcessName

источник события (пример: RoleMining)

dvc

ip платформы

request

шаблон сборки ссылки на сведения по аномалии