В настоящем руководстве используются следующие термины с соответствующими определениями.
Термин | Определение |
Источник | Сущность для загрузки данных в систему, созданная посредством назначения конкретных параметров подключения, фильтра и вывода данных |
Logstash-источники | Подгруппа источников, управление которой осуществляется сервисом dp.absorber (только управление конфигурацией) и модулем управления конфигурацией источников Logstash, находящимся внутри компонента сбора данных |
Python-источники | Подгруппа Источников для загрузки данных в систему с помощью python-скриптов, полное управление которой осуществляется сервисом dp.absorber |
Шаблон коннектора | Предварительно сформированный набор инструкций и параметров под определенный тип источника, имеющий общие характеристики (протокол подключения, передаваемые данные и пр.). Так, например, для нового антивируса нет коннектора, но известно, что этот антивирус передает данные по syslog в CEF-формате, потому к нему можно применить шаблон коннектора "syslog CEF для антивирусов", в котором будет заполнена базовая информация (способ подключения, фильтр, частично маппинг). В таком случае остается дополнить указанный шаблон и сохранить его |
Событие | Атомарная запись, которой оперируют собирающие данные процессы (и Logstash, и python). В Logstash логика обработки выстраивается относительно каждого события (прием события - преобразование полей события - помещение события в хранилище в виде строки таблицы) |
Маппинг данных | Настройка соответствия полей в поступающих событиях полям в таблицах хранилища, в которые сохраняются события после прохождения всех этапов обработки |
Тег маппинга | Параметр маппинга, влияющий на разделение поступающего потока событий на несколько "ветвей" в зависимости от наличия в событиях определенных меток (тегов). Разные "ветви" могут помещаться как в разные таблицы, так и в одну. Таким образом, Источник может иметь несколько маппингов, определяющих разную логику сохранения событий в зависимости от значения тега. |
Лог-файл | Файл с хронологическими записями работы объекта системы (компонента системы) или пользовательского объекта (например, скрипта) |
Подключение источника | Использование коннектора и подключение к источнику на сетевом уровне, сбор данных и задание расписания повторного сбора (если применимо). Расписание применения коннектора формируется со своими инструкциями. Включать эти инструкции в сам коннектор недопустимо, т.к., например, в инфраструктуре может присутствовать два антивирусных средства, с одного из которых требуется получение данных ежечасно, с другого – ежедневно |
Пайплайн logstash-источника | Процесс в Logstash внутри компонента сбора данных, в рамках которого работает один источник, обрабатывая поступающие данные |
Плейсхолдер | Специальное выражение в тексте sql-запроса, скрипта, коннектора, на место которого может быть выполнена подстановка чего-либо, введенного пользователем. Пример: "SELECT * FROM table1 LIMIT :lim" - в данном случае ":lim" - плейсхолдер, в который можно подставить ограничение выборки |
Партиция | Набор записей в таблице, объединенных по какому-либо критерию. Партиция может быть по месяцу, по дню, по типу события или иному составному ключу. Данные для разных партиций хранятся отдельно. Это позволяет оптимизировать работу с данными, так как при обработке запросов используется только необходимое подмножество из всевозможных данных. Например, при получении данных за определенный месяц считываются данные только за этот месяц |
Ключ партиционирования | Столбец или набор столбцов, по которому происходит разбиение данных таблицы на партиции |
Пользовательское уведомление | Уведомление о событиях, происходящих с пользовательскими элементами Платформы, подвергающимися контролю ролевой моделью: датасеты, чарты, дашборды, скрипты, рассылки. Обрабатываются события: изменение, удаление, запуск, остановка. Возможны следующие способы доставки: email, push |
Системное (административное) уведомление | Уведомления о внутренних событиях Платформы: оповещения о загруженности диска, CPU, RAM, ошибки работы компонентов, изменение статусов скриптов, источников, глобальное описание действий пользователей (в том числе факты нарушения прав). Возможны следующие способы доставки: email, push, syslog. Системные уведомления получают пользователи с ролью "Администратор" |
Скрипт | Объект Платформы, обладающий набором атрибутов и описывающий процесс обработки хранимых в Платформе данных |
Сценарий | Именованный шаблонизированный набор настроек, привязанный к схеме данных, который может быть направлен таргет-приложению (таргет-сервису) при автоматическом или ручном запуске срабатывания на какой-либо соответствующей схеме таблице |
Схема данных | Некоторый набор столбцов и соответствующих им типов данных (short-типов) |
Таргет-приложение (таргет-сервис) | Приложение/сервис платформы, имеющее нужный для реализации сценария обработчик (например: xBA-приложение, которое при получении сценария выполняет создание xBA профиля, подставляя в параметры соответствующие БД и таблицу) |
Срабатывание | Факт запуска сценария, заносимый в таблицу со списком срабатываний для блокировки повторной отправки сценария таргет-приложению (таргет-сервису) |
Словарь | Объект платформы, подтип таблицы, предназначенный для оптимизации выборок данных, быстрого обогащения данных. Имеет в платформе идентификатор и доступен для выполнения некоторых действий (пополнения или очистки) |
Short-тип | Абстрактный тип данных, в который может проецироваться большой набор исходных типов данных Хранилища (разных Хранилищ). Нужен для унификации работы платформы в методах формирования запросов к Хранилищу, фильтров в этих запросах, отображения пометок типов в веб-интерфейсе |
Была ли эта страница полезной?
Спасибо за отзыв!
Спасибо, мы учтём это для улучшения документации.