kubectl create namespace multicheckИнструкции по установке в Kubernetes
Рекомендуется внести необходимые изменения до установки Multicheck. В противном случае может потребоваться полная переустановка.
Инструкции рассчитаны на специалистов, имеющих опыт работы с кластером Kubernetes и утилитой Helm.
Все приведённые ограничения вычислительных ресурсов приблизительны. Реальное потребление ресурсов компонентами зависит от нагрузки и сценариев использования.
Вся конфигурация чарта, включая описание ресурсов Kubernetes, задаётся в values.yaml. Чтобы не редактировать этот объёмный файл, можно переопределить необходимые параметры в дополнительном файле, например values-override.yaml. Шаблон такого файла в поставке пока не реализован.
Перед установкой
Настройте хост согласно разделу Подготовка к установке.
Создайте пространство имён
multicheck:
Установите Helm удобным способом.
Доставка образов
Выберите один из способов доставки образов.
Загрузка образов во внутренний реестр Docker
Распакуйте дистрибутив в каталог, указанный в переменной
MPPATH.Загрузите образы из
$MPPATH/install/images/в реестр. ЗаменитеADRESS_TO_REGISTRYиPORTадресом и портом реестра:
MPPATH=/home/multicheck/mp-pack
images=($(ls "${MPPATH}"/install/images/ | sed 's/\.tar\.gz$//'))
REGISTRY=<ADRESS_TO_REGISTRY>:<PORT>
for n in "${images[@]}"; do
docker load -i "${MPPATH}/install/images/${n}.tar.gz"
docker tag "${n}:latest" "${REGISTRY}/${n}:latest"
docker push "${REGISTRY}/${n}:latest"
doneУкажите адрес реестра в
values-override.yaml:
image:
repository: <ADRESS_TO_REGISTRY>:<PORT>
tag: latest
pullPolicy: AlwaysИспользование реестра Docker-образов NGR
Распакуйте дистрибутив в каталог, указанный в переменной
MPPATH.Создайте Secret для доступа к приватному реестру образов Multicheck. Подставьте адрес реестра, логин и пароль, полученные от вендора:
kubectl create secret docker-registry multicheck-regcred \
--docker-server=REGISTRY --docker-username=USERNAME \
--docker-password=PASSWORD -n multicheckУкажите Secret в
values-override.yaml:
image:
pullSecrets:
- name: multicheck-regcredАдрес реестра, тег и политика загрузки задаются в image.registry, image.tag и image.pullPolicy. Скрипт install-k8s.sh передаёт адрес и тег образов при установке. Если в поставке есть registry/auth/htpasswd, скрипт создаёт Secret registry-auth и включает авторизацию для встроенного реестра.
Перейдите в
$MPPATHи запустите скрипт установки:
bash install-k8s.shНастройка томов (persistent volumes)
Режим хранения задаётся параметром persistence.mode. По умолчанию используется static.
В режиме
staticчарт создаётhostPathPersistentVolumes для данных storage, брокеров и журналов nginx. Пути берутся изmigration.sourceRoot, привязка к узлам задаётся параметрамиpersistence.static.storage.node0–node2,persistence.static.broker.node0–node2иpersistence.static.nginx.node. Классы хранения задаются параметрамиpersistence.static.storageSC,brokerSCиnginxSC. Необходимые каталоги должны быть доступны на назначенных узлах.В режиме
dynamicчарт создаёт PVC, а init-контейнеры при первом запуске копируют в них данные существующей Docker-установки. Исходный путь задаётся параметромmigration.sourceRoot, размер и режим доступа общих PVC — параметрамиmigration.sharedStorageSizeиmigration.sharedAccessModes. Класс хранения задаётся вpersistence.dynamic.storageClassName; пустое значение означает класс кластера по умолчанию. Для общих PVC конфигурации и mounts по умолчанию требуется поддержкаReadWriteMany.
Пример конфигурации values-override.yaml:
persistence:
mode: dynamic
brokerSize: 10Gi
storageSize: 100Gi
nginxSize: 1Gi
dynamic:
storageClassName: "" # Use cluster default
static:
brokerSC: mp-broker-local
storageSC: mp-storage
nginxSC: mp-nginx-local
storage:
node0: "k8s-worker-1"
node1: "k8s-worker-2"
node2: "k8s-worker-3"
broker:
node0: "k8s-worker-1"
node1: "k8s-worker-2"
node2: "k8s-worker-3"
nginx:
node: "k8s-worker-4"Каталоги для монтирования удалённых файловых систем
Для mp-reporter и mp-collector всегда создаются тома hostPath. Они монтируются на хосте, указанном в mountsNode, независимо от persistence.mode:
deployments:
mp-collector:
# Host path (NFS/SMB/LOCAL) for files to scan
mountsPath: /home/multicheck/mp-pack/mounts/collector
mountsNode: "k8s-worker-1"
mp-reporter:
# Host path (NFS/SMB/LOCAL) for report files
mountsPath: /home/multicheck/mp-pack/mounts/reporter
mountsNode: "k8s-worker-1"Проверка томов и монтирования
Проверьте PV и PVC:
kubectl get pv,pvc -n multicheckПроверьте размещение Pod’ов. В столбце NODE указано имя узла, на котором работает Pod:
kubectl get pods -n multicheck -o wideПроверьте разделы Node и Volumes в описании Pod’а:
kubectl describe pod <имя-pod> -n multicheckОграничение ресурсов (resource limits)
Запросы и ограничения ресурсов приложений задаются для каждого компонента в deployments.<имя-компонента>.resources. Параметры HPA задаются в hpas.<имя-компонента>: enabled, minReplicas, maxReplicas, targetCPU и targetMemory. HPA создаётся только для включённого Deployment. Для его работы в кластере должны быть доступны метрики ресурсов.
deployments:
mp-collector:
resources:
requests:
cpu: "1000m"
memory: "256Mi"
limits:
cpu: "2000m"
memory: "512Mi"
mp-reporter:
resources:
requests:
cpu: "1000m"
memory: "256Mi"
limits:
cpu: "2000m"
memory: "512Mi"
mp-scanner:
resources:
requests:
cpu: "1000m"
memory: "256Mi"
limits:
cpu: "2000m"
memory: "512Mi"
mp-core:
resources:
requests:
cpu: "1000m"
memory: "256Mi"
limits:
cpu: "2000m"
memory: "512Mi"Для проверки запросов и ограничений выполните команду и изучите разделы Containers.<имя-pod>.Limits и Containers.<имя-pod>.Requests:
kubectl describe pod <имя-pod> -n multicheckМасштабирование (HPA)
Чарт создаёт HorizontalPodAutoscaler для сервиса, если hpas.<сервис>.enabled: true и deployments.<сервис>.enabled: true. HPA отслеживает Deployment и меняет количество Pod’ов в пределах minReplicas и maxReplicas. При включённом HPA чарт не задаёт число реплик Deployment. При выключенном используется deployments.<сервис>.replicas (по умолчанию — 1).
HPA сравнивает среднюю загрузку CPU и памяти с целевыми значениями. При превышении цели Kubernetes может увеличить число Pod’ов, а при снижении загрузки — уменьшить его в заданных пределах. Целевой процент рассчитывается от resources.requests контейнера, а не от общей мощности узла. Например, при запросе cpu: 1000m и targetCPU: 70 цель составляет в среднем 700m CPU на Pod. Если указано несколько метрик, Kubernetes ориентируется на метрику, требующую большего числа реплик.
HPA меняет число Pod’ов, но не ресурсы отдельного Pod’а. Для метрик CPU и памяти требуются resources.requests и работающий Metrics Server. Если метрики недоступны, HPA может показывать <unknown> и не принимать по ним решения. Для запуска новых реплик в кластере должны быть свободные ресурсы и подходящие узлы.
Настройка HPA
Стандартные значения можно переопределить в values-override.yaml:
hpas:
mp-collector:
enabled: true
minReplicas: 2
maxReplicas: 8
targetCPU: 65
targetMemory: 75
mp-reporter:
enabled: true
minReplicas: 1
maxReplicas: 4
targetCPU: 70
targetMemory: 80
mp-scanner:
enabled: false
deployments:
mp-collector:
resources:
requests:
cpu: "1000m"
memory: "256Mi"
limits:
cpu: "2000m"
memory: "512Mi"Параметры enabled, minReplicas, maxReplicas, targetCPU и targetMemory настраиваются для каждого сервиса отдельно. Чтобы отключить HPA, задайте enabled: false. Параметры targetCPU и targetMemory необязательны: для удаления метрики удалите параметр или задайте null.
Чарт позволяет передавать дополнительные метрики Kubernetes autoscaling/v2 через hpas.<сервис>.metrics. Например, чтобы масштабировать сканер по числу сообщений в очереди:
hpas:
mp-scanner:
enabled: true
minReplicas: 1
maxReplicas: 6
targetCPU: 70
targetMemory: null
metrics:
- type: Pods
pods:
metric:
name: queue_messages_per_pod
target:
type: AverageValue
averageValue: "20"Проверка HPA
Просмотрите список HPA:
kubectl get hpa -n multicheckДля просмотра событий и причин, по которым масштабирование не происходит, выполните:
kubectl describe hpa <имя-сервиса>-hpa -n multicheckОбновление 2.1.0 SINGLE → 2.2.0
Перед обновлением рекомендуется создать резервную копию. Выполните действия предыдущих разделов с учётом следующих условий:
Остановите сервисы Multicheck, например:
docker stop $(docker ps -aq)Используйте каталог
/home/multicheck/mp-packв качествеMPPATH.Хост обновления должен быть узлом кластера Kubernetes. Иначе скопируйте каталог
MPPATHна узел кластера с сохранением прав, например:
rsync -avz --rsync-path="sudo rsync" /home/multicheck/mp-pack/ USER@ADRESS_NODE:/home/multicheck/mp-pack/Распакуйте дистрибутив в
/home/multicheck/mp-pack:
tar -xvf 2.2.0-PROD.tar.gzЗапустите скрипт установки:
cd mp-pack && bash install-k8s.shПроверьте установку:
kubectl get all -n multicheckОбновление 2.1.0 CLUSTER → 2.2.0
Перед обновлением рекомендуется создать резервную копию. Выполните действия предыдущих разделов с учётом следующих условий:
Остановите сервисы Multicheck, например:
docker stop $(docker ps -aq)Используйте каталог
/home/multicheck/mp-packв качествеMPPATH.Все хосты обновляемого кластера должны быть узлами Kubernetes. Иначе скопируйте каталог
MPPATHс сохранением прав на три разных узла Kubernetes, например:
rsync -avz --rsync-path="sudo rsync" /home/multicheck/mp-pack/ USER@ADRESS_NODE:/home/multicheck/mp-pack/Настройте
values-override.yaml, указав реальные значенияpersistence.static.storage.node0–node2,persistence.static.broker.node0–node2иpersistence.static.nginx.node:
persistence:
mode: dynamic
brokerSize: 10Gi
storageSize: 100Gi
nginxSize: 1Gi
dynamic:
storageClassName: "" # Use cluster default
static:
brokerSC: mp-broker-local
storageSC: mp-storage
nginxSC: mp-nginx-local
storage:
node0: "k8s-worker-1"
node1: "k8s-worker-2"
node2: "k8s-worker-3"
broker:
node0: "k8s-worker-1"
node1: "k8s-worker-2"
node2: "k8s-worker-3"
nginx:
node: "k8s-worker-4"Распакуйте дистрибутив в
/home/multicheck/mp-pack:
tar -xvf 2.2.0-PROD.tar.gzЗапустите скрипт установки:
cd mp-pack && bash install-k8s.shПроверьте установку:
kubectl get all -n multicheckМеханизм обновления
Для обновления задайте реальные имена узлов независимо от выбранного persistence.mode. На этих узлах должны находиться каталоги /home/multicheck/mp-pack, скопированные с хостов Multicheck 2.1.0. Сохраните целостность каталогов /home/multicheck/mp-pack/data/broker и /home/multicheck/mp-pack/data/storage: без этого обновление невозможно.
При каждом запуске Pod’ов init-контейнеры выполняют миграцию данных в PVC. После копирования создаётся маркер .docker-migration-complete; повторное копирование автоматически не производится. Во время первоначальной миграции исходные каталоги должны оставаться доступными на узлах, где запускаются Pod’ы. Выберите режим хранения до установки: переключение существующего StatefulSet между static и dynamic требует отдельной миграции PVC. Перед миграцией или обновлением рекомендуется создать резервную копию.
Эта страница была полезна?
Спасибо за отзыв!
Спасибо, мы учтём это для улучшения документации.