Управление кластером on Alertix

Управление доступностью событий для поиска

Mon, 01 Jan 0001 00:00:00 +0000

Для сокращения нагрузки на кластер рекомендуется хранить доступными для поиска события на глубину не более месяца. Остальные данные вплоть до расчетной глубины хранения событий в платформе рекомендуется хранить в так называемом "закрытом" состоянии, когда данные исключаются из поиска, но остаются в хранилище и доступны для обратного подключения по запросу.

Для исключения всех накопленных данных с событиями старше необходимого количества дней из поиска выберите операцию "Закрытие индексов". На странице редактирования параметров укажите количество дней от текущей даты и нажмите кнопку "Закрыть". Все индексы старше указанного количества дней будут закрыты. На странице отобразится статистика выполнения задачи. Если какие-то индексы закрыть не удалось, они будут перечислены в списке. Через 5 секунд произойдет автоматический возврат на страницу конфигурации кластера.

Управление хранением событий

Mon, 01 Jan 0001 00:00:00 +0000

Стандартные аппаратные характеристики одного Data-cluster рассчитаны на обработку потока до 10 000 событий в секунду с хранением полученных событий не более месяца. При этом данные NetFlow учитываются при расчете EPS и по умолчанию хранятся не более 7 суток. Длительность хранения данных NetFlow при необходимости может быть увеличена. См. подробнее раздел Watchdog.

События от нестандартных источников, в ходе отладки разработанных инструкций обработки сохраняются в индексы с шаблоном имени logstash-*. Стандартных параметров ротации для данных индексов не предусмотрено, т.к. объемы таких данных должны быть не значительными. Параметры ротации данных индексов можно задать, процедура описана в разделе Конфигурация ротации индексов.

Поведение Платформы при подаче исторических данных и возможность загрузки ретроспективных событий с сохранением метки времени

Mon, 01 Jan 0001 00:00:00 +0000

Подсистема сбора и обработки событий Платформы при приеме данных анализирует временную метку события (timestamp). Если она входит во временной диапазон 29 суток до и сутки после текущего времени, то временной меткой считается время создания события. В противном случае временем события считается текущее время (событие помечается тегом timestamp_irrelevant):

 now = LogStash::Timestamp.now()
 tomorrow = LogStash::Timestamp.new(now + 3600 * 24)
 month_before = LogStash::Timestamp.new(now - 3600 * 24 * 29)
 ts = event.get('@timestamp')
 if ts > tomorrow or ts < month_before
 event.tag('timestamp_irrelevant')
 event.set('@timestamp', now)
 end

Разбиение потока от источника на два для управления глубиной хранения

Mon, 01 Jan 0001 00:00:00 +0000

Для уменьшения объема хранимых данных можно применить postfilter, в котором указать критерий разделения и задать новое уникальное в рамках платформы наименование одного из разделенных потоков. Рассмотрим возможную реализацию на примере выделения в отдельные индексы потока событий sysmon от windows-хостов. Обычно он может понадобится для расследований в течение 2-3 недель, поэтому можно сократить затраты ресурсов для его хранения, т.к. события sysmon занимают существенную долю в общем объеме событий.

Для разделения потока событий на два необходимо:

Установка дополнительного кластера хранения

Mon, 01 Jan 0001 00:00:00 +0000

Процедура идентична первичной установке кластера хранения данных и производится из консоли управления. Для установки дополнительного Data-cluster на СВТ должны быть выполнены все требования и подготовительные мероприятия описанные в "Руководстве по планированию установки и масштабированию".

Действия, необходимые для установки, описаны в разделе Установка лицензии. После установки дополнительного Data-cluster необходимо выполнить перераспределение потоков от Receivers или добавление Receivers при необходимости (см. раздел Управление приемом событий).

Подготовка самостоятельных инсталляций к настройке межкластерного взаимодействия

Mon, 01 Jan 0001 00:00:00 +0000

Для обеспечения возможности поиска данных через Coordinator в иерархической структуре самостоятельных инсталляций Платформы в Coordinator и каждом подключаемом Data-cluster должны быть выполнены подготовительные мероприятия:

обеспечена сетевая связность между установками по портам, перечисленным в таблице "Перечень сетевых портов взаимодействия компонентов" в "Руководстве по планированию установки и масштабированию";
заведены пользователи с одинаковым именем для Сoordinator и каждого Data-cluster. Это действие считается автоматически выполненным, т.к. используется учетная запись сервисного взаимодействия, имя которой идентично для каждой инсталляции Платформы;
обеспечено доверие сертификатам Сoordinator и каждого Data-cluster.

Настройка центральной установки

Mon, 01 Jan 0001 00:00:00 +0000

Для включения поиска данных из консоли "центральной" платформы в Data-cluster "подчиненных" или сторонних (не относящихся к Платформе) кластерах выполните следующие действия:

Для каждого Data-cluster "подчиненной" Платформы запишите доменные имена его узлов и транспортные порты. Например, data-cluster-1.ngrsoftlab.ru:9301, data-cluster-1.ngrsoftlab.ru:9302, data-cluster-1.ngrsoftlab.ru:9303.

Доменные имена и HTTP-порты узлов можно просмотреть на странице свойств любого подключенного к "подчиненной" Платформе ресивера. Для определения транспортных портов в указанных на этой странице HTTP-портах надо вторую цифру заменить на 3. Например, если там указан 9201, транспортный порт узла будет 9301.

Настройка подчиненной установки

Mon, 01 Jan 0001 00:00:00 +0000

При условии соблюдения требований и подготовительных мероприятий, описанных в разделе Подготовка самостоятельных инсталляций к настройке межкластерного взаимодействия, дополнительной настройки подчиненной установки производить не требуется.

Управление сторонними кластерами CCS

Mon, 01 Jan 0001 00:00:00 +0000

Для обеспечения возможности поиска в кластерах, установленных не через текущую консоль (например, отдельные (подчиненные) инсталляции Платформы или собственные кластеры, не имеющие отношения к Платформе), нажмите кнопку "Сторонние кластеры".

Рисунок 1.

Откроется список с именами и узлами всех сторонних кластеров в CCS.

Рисунок 2.

Чтобы отключить поиск по стороннему кластеру, нажмите на переключатель Участвует в поиске , а затем выберите время, когда кластер будет включен. По умолчанию, кластер будет включен через час после отключения.

Взаимодействие с кластерами Opensearch через API

Mon, 01 Jan 0001 00:00:00 +0000

Консоль управления Платформы позволяет взаимодействовать с REST API Opensearch и подключаться ко всем управляемым кластерам в рамках инсталляции Платформы.

Для отправки запросов в Opensearch и просмотра ответов выберите операцию "Devtools", на новой странице откроется Devtools консоль. Справа находится поле со списком выбора кластера.

Рисунок 1.

В левой области напишите запрос и нажмите кнопку . В правой области появится ответ от сервера.

С помощью кнопки "Открыть историю запросов" можно просмотреть список выполненных запросов, запустить нужный запрос, отредактировать или очистить историю запросов.

Установка restore-кластера

Mon, 01 Jan 0001 00:00:00 +0000

Ежедневно выполняется удаление индексов Opensearch возрастом старше заданных значений глубины хранения. При удалении они сохраняются в резервную копию (S3-хранилище). Restore-кластер предназначен для восстановления индексов из снапшотов S3-репозитория.

Для выполнения установки restore-cluster выберите Обслуживание > Кластеры > Restore-cluster.

Рисунок 1.

На странице ввода параметров введите доменное имя сервера и нажмите кнопку "Установить".

Рисунок 2.

Запустится задача установки restore-cluster. Ход выполнения задачи можно наблюдать на странице Мониторинг > Задачи. Задача установки restore-cluster может занять около двух минут. При завершении задачи установки значение "Выполняется" изменится на "нет", подробный журнал установки доступен при нажатии на запись.

Удаление restore-кластера

Mon, 01 Jan 0001 00:00:00 +0000

Для удаления restore-cluster перейдите в Обслуживание > Кластеры, в поле справа выберите "alertix-restore", затем операцию "Удаление" и нажмите кнопку "Удалить".

Рисунок 1.

В случае, если хост с компонентом недоступен, переведите переключатель Принудительное удаление в положение "Вкл." и нажмите "Удалить".

После принудительного удаления компонента необходимо вручную удалить на хосте все служебные файлы (докер-контейнеры, логи, конфигурационные файлы filebeat, папки конфигурации). См. подробнее Ручное удаление платформы Alertix

Восстановление индексов Opensearch из S3-репозитория в restore-cluster

Mon, 01 Jan 0001 00:00:00 +0000

Для восстановления снапшота индексов из S3-репозитория в restore-cluster выберите операцию "Восстановление индексов".

Рисунок 1.

Если на платформе не установлен restore-кластер, раздел "Восстановление индексов" недоступен.

Рисунок 2.

Откроется список всех снапшотов, находящихся в S3-репозитории, с указанием исходного дата-кластера, даты и времени создания бэкапа, учетной записи и префикса имени индексов.

Рисунок 3.

Для просмотра сохраненных индексов снапшота нажмите кнопку "Просмотреть снапшот". Если есть данные, страница будет содержать список индексов.

Рисунок 4.

Для восстановления индексов нажмите кнопку "Восстановить снапшот" и в окне подтверждения нажмите "Да". Отобразится уведомление о том, что процесс восстановления запущен.

Остановка и перезапуск узлов кластера

Mon, 01 Jan 0001 00:00:00 +0000

В нештатных ситуациях может потребоваться остановка и/или перезапуск узла кластера Opensearch. Данные операции можно осуществить, выбрав блок "Остановка" или блок "Перезапуск". В случае восстановления после аварийной ситуации, которая привела к нарушению целостности docker контейнера узла кластера или его отказу, включите переключатель Создать контейнер заново (аварийный перезапуск).

Рисунок 1.

Обновление и удаление кластера

Mon, 01 Jan 0001 00:00:00 +0000

Чтобы обновить кластер, выберите нужный кластер из выпадающего меню.

Рисунок 1.

И нажмите кнопку "Обновить кластер". Появится окно подтверждения.

Рисунок 2.

Чтобы удалить кластер, выберите нужный кластер из выпадающего меню и нажмите кнопку "Удалить кластер". Появится окно подтверждения.

Рисунок 3.