Структура Датаплан on Dataplan

Компонент сбора данных

Mon, 01 Jan 0001 00:00:00 +0000

Компонент сбора данных предназначен для автоматизированного сбора, фильтрации, агрегации и нормализации событий, передаваемых от разных ИД с использованием различных протоколов. Загрузка и трансформация данных осуществляются средствами Logstash, встроенного в Платформу, модуля управления конфигурацией источников Logstash и добавляемыми в Платформу Python-скриптами.

В частности, для сбора данных с хостов, компонент использует сетевые протоколы и, при необходимости, агентов (специальное ПО формирования и передачи событий – например Elastic Beats или Winlogbeat), что позволяет собирать следующую информацию:

Компонент хранения данных

Mon, 01 Jan 0001 00:00:00 +0000

Компонент хранения данных представляет собой хранилище данных, поступающих из компонента сбора и обработки.

Хранилище данных функционирует под управлением колоночной СУБД ClickHouse.

СУБД ClickHouse обеспечивает высокоэффективное распределенное хранение данных, предназначенное для обработки аналитических запросов в реальном времени (OLAP, OnLine Analytical Processing).

Дополнительно СУБД ClickHouse обеспечивает выполнение следующих основных функций:

параллельная и распределенная обработка запросов;
поддержка запросов на основе SQL (Structured Query Language);
хранение данных на низкоскоростных жестких дисках;
сжатие данных для повышения производительности;
целостность данных – внесение изменений в данные после их сохранения и индексации невозможно.

Компонент администрирования

Mon, 01 Jan 0001 00:00:00 +0000

Компонент администрирования предназначен для выполнения административных задач Датаплан.

Компонент администрирования обеспечивает выполнение следующих функций:

аутентификация и авторизация локальных пользователей в Датаплан и пользователей, подключенных с использованием внешнего сервиса LDAP (Lightweight Directory Access Protocol);
управление ролевой моделью доступа и правами доступа к объектам Датаплан;
управление учетными записями пользователей и управление сессиями пользователей;
мониторинг состояния Платформы, ее компонентов и отдельных сервисов;
управление источниками данных;
настройка подключения к внешнему SMTP (Simple Mail Transfer Protocol) почтовому серверу;
активация и продление лицензии Датаплан;
настройка конфигурационных параметров баз данных и компонентов Датаплан.

Компонент обработки пользовательских запросов

Mon, 01 Jan 0001 00:00:00 +0000

Компонент предназначен для взаимодействия с клиентским приложением (браузером), обработки запросов от пользователей, передачи результатов анализа для отображения.

Компонент предоставляет пользователям графический интерфейс, который является инструментом поддержки принятия решений, в том числе при проведении расследований инцидентов ИБ, экономической безопасности, нарушения бизнес-процессов компании.

Компонент анализа данных

Mon, 01 Jan 0001 00:00:00 +0000

Компонент анализа данных предназначен для аналитики больших данных (в количестве порядка 100 тысяч событий в секунду) с использованием алгоритмов машинного обучения и алгоритмов анализа данных, основанных на теории вероятностей и математической статистике, классификации, регрессионном анализе, кластеризации и пр.

Высокая эффективность анализа данных достигается за счет распределенных вычислений при взаимодействии с компонентом хранения данных.

Для хранения дополнительной информации (параметры настройки, конфигурации и пр.) используется служебная БД под управлением СУБД PostgreSQL.