Инструкции по установке в Kubernetes

Рекомендуется внести необходимые изменения до установки Multicheck. В противном случае может потребоваться полная переустановка.

Инструкции рассчитаны на специалистов, имеющих опыт работы с кластером Kubernetes и утилитой Helm.

Все приведённые ограничения вычислительных ресурсов приблизительны. Реальное потребление ресурсов компонентами зависит от нагрузки и сценариев использования.

Вся конфигурация чарта, включая описание ресурсов Kubernetes, задаётся в values.yaml. Чтобы не редактировать этот объёмный файл, можно переопределить необходимые параметры в дополнительном файле, например values-override.yaml. Шаблон такого файла в поставке пока не реализован.

Перед установкой

  1. Настройте хост согласно разделу Подготовка к установке.

  2. Создайте пространство имён multicheck:

kubectl create namespace multicheck
  1. Установите Helm удобным способом.

Доставка образов

Выберите один из способов доставки образов.

Загрузка образов во внутренний реестр Docker

  1. Распакуйте дистрибутив в каталог, указанный в переменной MPPATH.

  2. Загрузите образы из $MPPATH/install/images/ в реестр. Замените ADRESS_TO_REGISTRY и PORT адресом и портом реестра:

MPPATH=/home/multicheck/mp-pack
images=($(ls "${MPPATH}"/install/images/ | sed 's/\.tar\.gz$//'))
REGISTRY=<ADRESS_TO_REGISTRY>:<PORT>
for n in "${images[@]}"; do
  docker load -i "${MPPATH}/install/images/${n}.tar.gz"
  docker tag "${n}:latest" "${REGISTRY}/${n}:latest"
  docker push "${REGISTRY}/${n}:latest"
done
  1. Укажите адрес реестра в values-override.yaml:

image:
  repository: <ADRESS_TO_REGISTRY>:<PORT>
  tag: latest
  pullPolicy: Always

Использование реестра Docker-образов NGR

  1. Распакуйте дистрибутив в каталог, указанный в переменной MPPATH.

  2. Создайте Secret для доступа к приватному реестру образов Multicheck. Подставьте адрес реестра, логин и пароль, полученные от вендора:

kubectl create secret docker-registry multicheck-regcred \
  --docker-server=REGISTRY --docker-username=USERNAME \
  --docker-password=PASSWORD -n multicheck
  1. Укажите Secret в values-override.yaml:

image:
  pullSecrets:
    - name: multicheck-regcred

Адрес реестра, тег и политика загрузки задаются в image.registry, image.tag и image.pullPolicy. Скрипт install-k8s.sh передаёт адрес и тег образов при установке. Если в поставке есть registry/auth/htpasswd, скрипт создаёт Secret registry-auth и включает авторизацию для встроенного реестра.

  1. Перейдите в $MPPATH и запустите скрипт установки:

bash install-k8s.sh

Настройка томов (persistent volumes)

Режим хранения задаётся параметром persistence.mode. По умолчанию используется static.

  • В режиме static чарт создаёт hostPath PersistentVolumes для данных storage, брокеров и журналов nginx. Пути берутся из migration.sourceRoot, привязка к узлам задаётся параметрами persistence.static.storage.node0–node2, persistence.static.broker.node0–node2 и persistence.static.nginx.node. Классы хранения задаются параметрами persistence.static.storageSC, brokerSC и nginxSC. Необходимые каталоги должны быть доступны на назначенных узлах.

  • В режиме dynamic чарт создаёт PVC, а init-контейнеры при первом запуске копируют в них данные существующей Docker-установки. Исходный путь задаётся параметром migration.sourceRoot, размер и режим доступа общих PVC — параметрами migration.sharedStorageSize и migration.sharedAccessModes. Класс хранения задаётся в persistence.dynamic.storageClassName; пустое значение означает класс кластера по умолчанию. Для общих PVC конфигурации и mounts по умолчанию требуется поддержка ReadWriteMany.

Пример конфигурации values-override.yaml:

persistence:
  mode: dynamic
  brokerSize: 10Gi
  storageSize: 100Gi
  nginxSize: 1Gi
  dynamic:
    storageClassName: "" # Use cluster default
  static:
    brokerSC: mp-broker-local
    storageSC: mp-storage
    nginxSC: mp-nginx-local
    storage:
      node0: "k8s-worker-1"
      node1: "k8s-worker-2"
      node2: "k8s-worker-3"
    broker:
      node0: "k8s-worker-1"
      node1: "k8s-worker-2"
      node2: "k8s-worker-3"
    nginx:
      node: "k8s-worker-4"

Каталоги для монтирования удалённых файловых систем

Для mp-reporter и mp-collector всегда создаются тома hostPath. Они монтируются на хосте, указанном в mountsNode, независимо от persistence.mode:

deployments:
  mp-collector:
    # Host path (NFS/SMB/LOCAL) for files to scan
    mountsPath: /home/multicheck/mp-pack/mounts/collector
    mountsNode: "k8s-worker-1"
  mp-reporter:
    # Host path (NFS/SMB/LOCAL) for report files
    mountsPath: /home/multicheck/mp-pack/mounts/reporter
    mountsNode: "k8s-worker-1"

Проверка томов и монтирования

Проверьте PV и PVC:

kubectl get pv,pvc -n multicheck

Проверьте размещение Pod’ов. В столбце NODE указано имя узла, на котором работает Pod:

kubectl get pods -n multicheck -o wide

Проверьте разделы Node и Volumes в описании Pod’а:

kubectl describe pod <имя-pod> -n multicheck

Ограничение ресурсов (resource limits)

Запросы и ограничения ресурсов приложений задаются для каждого компонента в deployments.<имя-компонента>.resources. Параметры HPA задаются в hpas.<имя-компонента>: enabled, minReplicas, maxReplicas, targetCPU и targetMemory. HPA создаётся только для включённого Deployment. Для его работы в кластере должны быть доступны метрики ресурсов.

deployments:
  mp-collector:
    resources:
      requests:
        cpu: "1000m"
        memory: "256Mi"
      limits:
        cpu: "2000m"
        memory: "512Mi"
  mp-reporter:
    resources:
      requests:
        cpu: "1000m"
        memory: "256Mi"
      limits:
        cpu: "2000m"
        memory: "512Mi"
  mp-scanner:
    resources:
      requests:
        cpu: "1000m"
        memory: "256Mi"
      limits:
        cpu: "2000m"
        memory: "512Mi"
  mp-core:
    resources:
      requests:
        cpu: "1000m"
        memory: "256Mi"
      limits:
        cpu: "2000m"
        memory: "512Mi"

Для проверки запросов и ограничений выполните команду и изучите разделы Containers.<имя-pod>.Limits и Containers.<имя-pod>.Requests:

kubectl describe pod <имя-pod> -n multicheck

Масштабирование (HPA)

Чарт создаёт HorizontalPodAutoscaler для сервиса, если hpas.<сервис>.enabled: true и deployments.<сервис>.enabled: true. HPA отслеживает Deployment и меняет количество Pod’ов в пределах minReplicas и maxReplicas. При включённом HPA чарт не задаёт число реплик Deployment. При выключенном используется deployments.<сервис>.replicas (по умолчанию — 1).

HPA сравнивает среднюю загрузку CPU и памяти с целевыми значениями. При превышении цели Kubernetes может увеличить число Pod’ов, а при снижении загрузки — уменьшить его в заданных пределах. Целевой процент рассчитывается от resources.requests контейнера, а не от общей мощности узла. Например, при запросе cpu: 1000m и targetCPU: 70 цель составляет в среднем 700m CPU на Pod. Если указано несколько метрик, Kubernetes ориентируется на метрику, требующую большего числа реплик.

HPA меняет число Pod’ов, но не ресурсы отдельного Pod’а. Для метрик CPU и памяти требуются resources.requests и работающий Metrics Server. Если метрики недоступны, HPA может показывать <unknown> и не принимать по ним решения. Для запуска новых реплик в кластере должны быть свободные ресурсы и подходящие узлы.

Настройка HPA

Стандартные значения можно переопределить в values-override.yaml:

hpas:
  mp-collector:
    enabled: true
    minReplicas: 2
    maxReplicas: 8
    targetCPU: 65
    targetMemory: 75
  mp-reporter:
    enabled: true
    minReplicas: 1
    maxReplicas: 4
    targetCPU: 70
    targetMemory: 80
  mp-scanner:
    enabled: false
deployments:
  mp-collector:
    resources:
      requests:
        cpu: "1000m"
        memory: "256Mi"
      limits:
        cpu: "2000m"
        memory: "512Mi"

Параметры enabled, minReplicas, maxReplicas, targetCPU и targetMemory настраиваются для каждого сервиса отдельно. Чтобы отключить HPA, задайте enabled: false. Параметры targetCPU и targetMemory необязательны: для удаления метрики удалите параметр или задайте null.

Чарт позволяет передавать дополнительные метрики Kubernetes autoscaling/v2 через hpas.<сервис>.metrics. Например, чтобы масштабировать сканер по числу сообщений в очереди:

hpas:
  mp-scanner:
    enabled: true
    minReplicas: 1
    maxReplicas: 6
    targetCPU: 70
    targetMemory: null
    metrics:
      - type: Pods
        pods:
          metric:
            name: queue_messages_per_pod
          target:
            type: AverageValue
            averageValue: "20"

Проверка HPA

Просмотрите список HPA:

kubectl get hpa -n multicheck

Для просмотра событий и причин, по которым масштабирование не происходит, выполните:

kubectl describe hpa <имя-сервиса>-hpa -n multicheck

Обновление 2.1.0 SINGLE → 2.2.0

Перед обновлением рекомендуется создать резервную копию. Выполните действия предыдущих разделов с учётом следующих условий:

  1. Остановите сервисы Multicheck, например:

docker stop $(docker ps -aq)
  1. Используйте каталог /home/multicheck/mp-pack в качестве MPPATH.

  2. Хост обновления должен быть узлом кластера Kubernetes. Иначе скопируйте каталог MPPATH на узел кластера с сохранением прав, например:

rsync -avz --rsync-path="sudo rsync" /home/multicheck/mp-pack/ USER@ADRESS_NODE:/home/multicheck/mp-pack/
  1. Распакуйте дистрибутив в /home/multicheck/mp-pack:

tar -xvf 2.2.0-PROD.tar.gz
  1. Запустите скрипт установки:

cd mp-pack && bash install-k8s.sh
  1. Проверьте установку:

kubectl get all -n multicheck

Обновление 2.1.0 CLUSTER → 2.2.0

Перед обновлением рекомендуется создать резервную копию. Выполните действия предыдущих разделов с учётом следующих условий:

  1. Остановите сервисы Multicheck, например:

docker stop $(docker ps -aq)
  1. Используйте каталог /home/multicheck/mp-pack в качестве MPPATH.

  2. Все хосты обновляемого кластера должны быть узлами Kubernetes. Иначе скопируйте каталог MPPATH с сохранением прав на три разных узла Kubernetes, например:

rsync -avz --rsync-path="sudo rsync" /home/multicheck/mp-pack/ USER@ADRESS_NODE:/home/multicheck/mp-pack/
  1. Настройте values-override.yaml, указав реальные значения persistence.static.storage.node0–node2, persistence.static.broker.node0–node2 и persistence.static.nginx.node:

persistence:
  mode: dynamic
  brokerSize: 10Gi
  storageSize: 100Gi
  nginxSize: 1Gi
  dynamic:
    storageClassName: "" # Use cluster default
  static:
    brokerSC: mp-broker-local
    storageSC: mp-storage
    nginxSC: mp-nginx-local
    storage:
      node0: "k8s-worker-1"
      node1: "k8s-worker-2"
      node2: "k8s-worker-3"
    broker:
      node0: "k8s-worker-1"
      node1: "k8s-worker-2"
      node2: "k8s-worker-3"
    nginx:
      node: "k8s-worker-4"
  1. Распакуйте дистрибутив в /home/multicheck/mp-pack:

tar -xvf 2.2.0-PROD.tar.gz
  1. Запустите скрипт установки:

cd mp-pack && bash install-k8s.sh
  1. Проверьте установку:

kubectl get all -n multicheck

Механизм обновления

Для обновления задайте реальные имена узлов независимо от выбранного persistence.mode. На этих узлах должны находиться каталоги /home/multicheck/mp-pack, скопированные с хостов Multicheck 2.1.0. Сохраните целостность каталогов /home/multicheck/mp-pack/data/broker и /home/multicheck/mp-pack/data/storage: без этого обновление невозможно.

При каждом запуске Pod’ов init-контейнеры выполняют миграцию данных в PVC. После копирования создаётся маркер .docker-migration-complete; повторное копирование автоматически не производится. Во время первоначальной миграции исходные каталоги должны оставаться доступными на узлах, где запускаются Pod’ы. Выберите режим хранения до установки: переключение существующего StatefulSet между static и dynamic требует отдельной миграции PVC. Перед миграцией или обновлением рекомендуется создать резервную копию.