Общие сведения о Датаплан on Dataplan

Список сокращений

Mon, 01 Jan 0001 00:00:00 +0000

В настоящем руководстве приняты следующие сокращения.

Сокращение

Определение

Active Directory

CPU

Central Processing Unit

DHCP

Dynamic Host Configuration Protocol

DNS

Domain Name System

HTTPS

Hypertext Transfer Protocol Secure

Identification Data

Internet Protocol

JNDI

Java Naming and Directory Interface

LDAP

Lightweight Directory Access Protocol

ODBC

Open Database Connectivity

OLAP

Online Analytical Processing

RAM

Random Access Memory

SMTP

Simple Mail Transfer Protocol

SQL

Structured Query Language

TCP

Transmission Control Protocol

UDP

User Datagram Protocol

UTF

Unicode Transformation Format

БД

База данных

ИБ

Информационная безопасность

ИД

Источник данных

ОС

Операционная система

ПО

Программное обеспечение

СУБД

Система управления базами данных

УЗ

Учетная запись

Термины и определения

Mon, 01 Jan 0001 00:00:00 +0000

В документе используются следующие термины с соответствующими определениями.

Термин

Определение

Получение данных

Источник

Сущность для загрузки данных в систему, созданная посредством назначения конкретных параметров подключения, фильтра и вывода данных

Logstash-источники

Подгруппа источников, управление которой осуществляется сервисом dp.absorber (только управление конфигурацией) и модулем управления конфигурацией источников Logstash, находящимся внутри компонента сбора данных

Python-источники

Подгруппа Источников для загрузки данных в систему с помощью python-скриптов, полное управление которой осуществляется сервисом dp.absorber

Шаблон коннектора

Предварительно сформированный набор инструкций и параметров под определенный тип источника, имеющий общие характеристики (протокол подключения, передаваемые данные и пр.). Так, например, для нового антивируса нет коннектора, но известно, что этот антивирус передает данные по syslog в CEF-формате, потому к нему можно применить шаблон коннектора "syslog CEF для антивирусов", в котором будет заполнена базовая информация (способ подключения, фильтр, частично маппинг). В таком случае остается дополнить указанный шаблон и сохранить его

Событие

Атомарная запись, которой оперируют собирающие данные процессы (и Logstash, и python). В Logstash логика обработки выстраивается относительно каждого события (прием события - преобразование полей события - помещение события в хранилище в виде строки таблицы)

Маппинг данных

Настройка соответствия полей в поступающих событиях полям в таблицах хранилища, в которые сохраняются события после прохождения всех этапов обработки

Тег маппинга

Параметр маппинга, влияющий на разделение поступающего потока событий на несколько "ветвей" в зависимости от наличия в событиях определенных меток (тегов). Разные "ветви" могут помещаться как в разные таблицы, так и в одну.

Таким образом, Источник может иметь несколько маппингов, определяющих разную логику сохранения событий в зависимости от значения тега.

Лог-файл

Файл с хронологическими записями работы объекта системы (компонента системы) или пользовательского объекта (например, скрипта)

Подключение источника

Использование шаблона коннектора и подключение к источнику на сетевом уровне, сбор данных и задание расписания повторного сбора (если применимо). Расписание выполнения скрипта сбора данных для формируется со своими инструкциями. Включать эти инструкции в сам шаблон коннектора недопустимо, т.к., например, в инфраструктуре может присутствовать два антивирусных средства, с одного из которых требуется получение данных ежечасно, с другого – ежедневно

Пайплайн logstash-источника

Процесс в Logstash внутри компонента сбора данных, в рамках которого работает один источник, обрабатывая поступающие данные

Плейсхолдер

Специальное выражение в тексте sql-запроса, скрипта, коннектора, на место которого может быть выполнена подстановка чего-либо, введенного пользователем. Пример: SELECT * FROM table1 LIMIT :lim - в данном случае :lim - плейсхолдер, в который можно подставить ограничение выборки

Партиция

Набор записей в таблице, объединенных по какому-либо критерию. Партиция может быть по месяцу, по дню, по типу события или иному составному ключу. Данные для разных партиций хранятся отдельно. Это позволяет оптимизировать работу с данными, так как при обработке запросов используется только необходимое подмножество из всевозможных данных. Например, при получении данных за определенный месяц считываются данные только за этот месяц

Ключ партиционирования

Столбец или набор столбцов, по которому происходит разбиение данных таблицы на партиции

Уведомления

Пользовательское уведомление

Уведомление о событиях, происходящих с пользовательскими элементами Платформы, подвергающимися контролю ролевой моделью: датасеты, чарты, дашборды, скрипты, рассылки. Обрабатываются события: изменение, удаление, запуск, остановка. Возможны следующие способы доставки: email, push

Системное (административное) уведомление

Уведомления о внутренних событиях Платформы: оповещения о загруженности диска, CPU, RAM, ошибки работы компонентов, изменение статусов скриптов, источников, глобальное описание действий пользователей (в том числе факты нарушения прав). Возможны следующие способы доставки: email, push, syslog. Системные уведомления получают пользователи с ролью "Администратор"

Настройки и администрирование

Однонодовая установка

Подразумевает (штатно) установку всех компонентов платформы на одну ноду

Кластерная конфигурация

Подразумевает подключение групп нод разного назначения (компонентов хранения данных, сбора и анализа данных)

Шард ClickHouse

Группа копий данных (реплик) для обеспечения отказоустойчивости СУБД. Шард состоит из одного или нескольких хостов-реплик. Поскольку шарды содержат разные части данных, для получения всех данных, нужно обращаться ко всем шардам

Шардирование

Горизонтальное масштабирование за счет физического разделения данных на разные фрагменты (шарды, shards), которые располагаются на разных узлах. При этом создается большая распределенная distributed-таблица, которая маршрутизирует запросы к таблицам по шардам, обращаться к данным в которых можно также и напрямую

Реплика

Узлы, на которых дублируются данные в рамках шарда

Репликация

Для обеспечения надежности и повышения доступности данные реплицируются, т.е. дублируются по репликам. Запрос на запись или чтение в шард может быть отправлен на любую его реплику

Кипер

Сервис координации для репликации данных и выполнения распределенных DDL запросов

DDL запросы

Команды по созданию и изменению структуры объектов базы данных

Назначение Датаплан

Mon, 01 Jan 0001 00:00:00 +0000

Датаплан предназначен для решения аналитических задач информационной безопасности (ИБ). Выполняет сбор, хранение и обработку больших данных с использованием алгоритмов машинного обучения.

Платформа позволяет:

получить дополнительные сведения для оценки текущего состояния системы защиты информации, инфраструктуры организации;
составить "портрет" пользователя и элементов инфраструктуры;
оптимизировать затраты на внедрение средств защиты от НСД, контроля доступа, предотвращения утечек и пр.;
выявить признаки угроз ИБ, которые не обнаружены типовыми средствами защиты информации.

Функции Датаплан

Mon, 01 Jan 0001 00:00:00 +0000

Датаплан обеспечивает выполнение следующих основных функций:

сбор, обработка и хранение данных;
анализ данных;
выявление аномалий (отклонений), поведенческий анализ;
оценка текущего состояния системы разграничения доступа и формирование предложений по организации ролевой модели разграничения доступа;
поиск зависимостей (влияние одних параметров на другие);
визуализация результатов анализа данных и формирование аналитической отчетности.

Служба технической поддержки Датаплан

Mon, 01 Jan 0001 00:00:00 +0000

По всем вопросам можно обратиться к представителям службы технической поддержки Датаплан в рабочие дни с 9 до 18 часов:

Телефон: +7 (495) 269-29-59

E-mail: support@ngrsoftlab.ru

https://support.ngrsoftlab.ru/

Telegram-бот: @NGRSoftlabBot

Дополнительная контактная информация приведена на сайте компании ООО "ЭнДжиАр Софтлаб" https://www.ngrsoftlab.ru/.