Планирование мощностей для установки и масштабирования on Alertix

Общий алгоритм сайзинга

Mon, 01 Jan 0001 00:00:00 +0000

Для планирования архитектуры развертывания и расчета требований к компонентам необходимы сведения о среднем EPS с декомпозицией по каждому виду транспорта и объектам эксплуатации, длительности хранения и необходимости отказоустойчивости. Для выбора оптимальной конфигурации используйте следующий алгоритм действий:

Определите общий объем совокупного потока EPS от всех источников и детально по каждому виду транспорта с декомпозицией по объектам эксплуатации. Если выполнение пункта невозможно в данное время, используйте формулы, описанные в разделе Расчет планируемого потока событий, и типовое распределение совокупного потока по транспортам: Beats – 50%, Syslog - 30%, netflow – 15%, JDBC – 5%. Если какой-то транспорт не планируется, распределите его % равномерно по остальным транспортам.
Рассчитайте нагрузку на сеть исходя из определенного потока EPS и распределения источников по объектам эксплуатации. Справочные сведения приведены в разделе Нагрузка на каналы связи.
Определите необходимое распределение компонентов Receiver по объектам исходя из нагрузки на сеть и предельных значений EPS на компоненты (раздел Требования к аппаратной конфигурации).
Задайте необходимую длительность хранения доступных для поиска событий: оперативного (для работы правил корреляции, проверки по IOC и ежедневной работы аналитиков) и общего (для редкого ретроспективного поиска и регулярной отчетности).
Задайте необходимость отказоустойчивости компонента Data-cluster.
Задайте необходимость иерархического взаимодействия отдельных инсталляций Платформы (раздел Планирование иерархии экземпляров).
Определите необходимость распределения компонента Data-cluster с учетом иерархического взаимодействия.
Рассчитайте необходимое количество кластеров и дисковое пространство для Data-cluster с учетом требований отказоустойчивости (раздел Требования к объемам дискового пространства).
Определите длительность архивного хранения событий и объемы данных, которые могут быть восстановлены из архива. Планировать возможность восстановления всех архивных событий можно только в случае, если их совокупный объем не превышает 6Тб (1 месяц при потоке 2000EPS).

Расчет планируемого потока событий

Mon, 01 Jan 0001 00:00:00 +0000

В качестве исходного допущения используется средний размер события 1 Кбайт, а величина EPS рассчитывается как среднее на недельных интервалах. Далее по тексту EPS упоминается именно в значении среднего фильтрованного потока событий. В среднем коэффициент фильтрации входящего потока событий составляет 30-50%, однако может быть, как меньше, так и больше в зависимости от того, сбор и хранение каких событий требуется.

Значение величины фильтрованного потока EPS может быть приблизительно рассчитано на основе количества хостов, на которые устанавливаются агенты, т.к. при использовании агентов для сбора событий ОС и дополнительно драйвера sysmon более 50% общего потока составляют именно события, собираемые агентом.

Требования к объемам дискового пространства

Mon, 01 Jan 0001 00:00:00 +0000

Для расчета необходимого дискового пространства оперативного или продолжительного хранения Data-cluster используется формула:

Объем хранимых событий (E) = EPS * длит. хранения * ср.размер события (документа) * 1.15

Длительность хранения измеряется в секундах.

Средний размер документа в индексе с учетом использования стандартных для Opensearch алгоритмов сжатия, хранения текста исходного (сырого) события, результатов его парсинга и контекстной информации, добавленной в рамках обогащения на ресиверах принимается равным 1,1 Кбайт.

Коэффициент 1,15 используется для резерва дискового пространства под файловую систему и метаданные индексов, необходимые для функционирования кластера Opensearch.

Нагрузка на каналы связи

Mon, 01 Jan 0001 00:00:00 +0000

Расчет нагрузки на каналы производится исходя из среднего размера события и величины всплесков потока событий в рабочее время. Для предварительной оценки можно использоваться средний размер события равный 1 Кбайт. Нагрузка на каналы в зависимости от величины потока событий в EPS приведена в следующей таблице для наиболее типовых случаев.

Таблица 1. Нагрузка на каналы связи в EPS
EPS	Утилизация каналов (Mbit/sec)
	Средний поток событий от источников к ресиверам	Пиковый поток событий от источников к ресиверам 2,5х в рабочее время	Средний чистый поток событий (от ресиверов к дата-кластеру)	Пиковый чистый поток событий (от ресиверов к дата-кластеру) 2,5х в рабочее время
500	3,9	9,8	2,9	7,3
1000	7,8	19,5	5,9	14,6
2000	15,6	39,1	11,7	29,3
3000	23,4	58,6	17,6	43,9
5000	39,1	97,7	29,3	73,2
6000	46,9	117,2	35,2	87,9
10000	78,1	195,3	58,6	146,5

Нагрузка на каналы агентом для ОС Windows: