Компонент сбора данных

Компонент сбора данных предназначен для автоматизированного сбора, фильтрации, агрегации и нормализации событий, передаваемых от разных ИД с использованием различных протоколов. Загрузка и трансформация данных осуществляются средствами Logstash, встроенного в Платформу, модуля управления конфигурацией источников Logstash и добавляемыми в Платформу Python-скриптами.

В частности, для сбора данных с хостов, компонент использует сетевые протоколы и, при необходимости, агентов (специальное ПО формирования и передачи событий – например Elastic Beats или Winlogbeat), что позволяет собирать следующую информацию:

  • данные об операционной системе (ОС) хоста и установленном ПО;

  • данные из журналов ОС;

  • данные из файлов;

  • данные из СУБД;

  • данные по утилизации (использовании) аппаратных ресурсов.

Компонент сбора и обработки данных поддерживает следующие режимы сбора данных:

  • пассивный – получение данных от ИД по сетевым протоколам;

  • активный – подключение к ИД и получение данных по расписанию.

Компонент выполняет обработку (выделение значимых полей) данных (собранных событий) для последующей передачи на индексирование и хранение в компонент хранения данных Датаплан.

Компонент сбора данных обеспечивает агрегацию данных (группировку событий по заданным критериям) и нормализацию данных (единообразную обработку событий, собранных с различных источников данных) к единому формату для создания выборки (витрины) данных, с которой можно вести аналитическую работу.

Полное описание типов источников данных и протоколов, поддерживаемых Logstash, приведено на сайте изготовителя https://www.elastic.co/logstash.