Требования к объемам дискового пространства

Для расчета необходимого дискового пространства оперативного или продолжительного хранения Data-cluster используется формула:

Объем хранимых событий (E) = EPS * длит. хранения * ср.размер события (документа) * 1.15

Длительность хранения измеряется в секундах.

Средний размер документа в индексе с учетом использования стандартных для Opensearch алгоритмов сжатия, хранения текста исходного (сырого) события, результатов его парсинга и контекстной информации, добавленной в рамках обогащения на ресиверах принимается равным 1,1 Кбайт.

Коэффициент 1,15 используется для резерва дискового пространства под файловую систему и метаданные индексов, необходимые для функционирования кластера Opensearch.

Средние объемы поступающих данных для наиболее распространенных случаев приведены в таблице ниже.

Таблица 1. Средние объемы поступающих данных
EPSgb/daytb/7 daystb/14 daystb/30 daystb/180 days

500

52,1

0,4

0,7

1,5

9,2

1000

104,2

0,7

1,4

3,1

18,3

2000

208,5

1,4

2,8

6,1

36,6

3000

312,7

2,1

4,3

9,2

55,0

5000

521,2

3,6

7,1

15,3

91,6

6000

625,4

4,3

8,5

18,3

109,9

10000

1042,3

7,1

14,2

30,5

183,2

Для инсталляций Платформы используется понятие тома, а не отдельного диска. Тома при необходимости могут быть собраны из нескольких элементов хранения с использованием RAID 0 (чередование без резервирования). Каждый том презентуется отдельному узлу кластера Opensearch. Для односерверных инсталляций все тома располагаются на одном СВТ, для трехсерверных – равномерно распределяются по каждому СВТ.

Расчеты требуемых объемов дисковых томов для различных исполнений проиллюстрированы схематическим рисунком и таблицей с формулами вычисления требуемого объема дисковых томов для каждого СВТ. Для расчетов используется величины объема событий оперативного и общего хранения (E1 и E2 соответственно), рассчитанные по формуле выше.

image
Рисунок 1.
Таблица 2. Формулы вычисления требуемого объема дисковых томов
ИсполнениеФормулы расчета объема томов

DTCL_1S1N

HDD21 = E2

DTCL_1S3N

HDD21 = HDD22 = HDD23 = 2/3 E2

DTCL_1S4N

HDD21 = HDD22 = E1,
HDD31 = HDD32 = (E2 - E1)

DTCL_3S3N

HDD31 = HDD32 = HDD33 = 2/3 E2

DTCL_3S6N

HDD21 = HDD22 = HDD23 = 2/3 E1,
HDD31 = HDD32 = HDD33 = 2/3 (E2 - E1)

Кластер Opensearch может хранить данные в индексах в открытом (доступном для поиска) и закрытом (недоступном и не реплицируемом) состоянии. Закрытые индексы исключаются из поиска, и положительно влияют на производительность поиска и выполнения запросов, но это никак не влияет на занимаемое дисковое пространство. При этом закрытые индексы могут быть при необходимости заново открыты.

Устаревшие данные рекомендуется сначала закрывать, а затем архивировать (при необходимости), используя встроенные инструменты архивирования и резервного копирования в хранилище, поддерживающее S3, или внешние по отношению к Платформе инструменты.