Добавление нестандартного источника Syslog

Ресивер SYSLOG предоставляет возможность подключить нестандартный источник, направляющий события в виде однострочных сообщений, посредством выбора одного из 4 вариантов:

  1. Встроенный коннектор Custom SYSLOG

  2. Встроенный коннектор Custom CEF

  3. Встроенный коннектор Custom

  4. Пользовательский коннектор

Различие заключается в наличии или отсутствии предварительной обработки сообщений.

Таблица 1. Варианты подключения нестандартного источника событий ресивера Syslog
Вариант подключенияНазвание (namespace)Обработка

Встроенный коннектор Custom SYSLOG

custom-syslog

Сообщения обрабатываются в соответствии с описаниями протокола SYSLOG в RFC 3164 и 5424

Встроенный коннектор Custom CEF

custom-cef

Сообщения обрабатываются как SYSLOG при наличии заголовка, далее выделенная смысловая часть или все сообщение при отсутствии заголовка SYSLOG обрабатывается в соответствии с ArcSight CEF (Common Event Format)

Встроенный коннектор Custom

custom

В отсутствии заголовка SYSLOG никак более не обрабатывается

Пользовательский коннектор <Описание>

указанное при добавлении пользовательского коннектора

В отсутствии заголовка SYSLOG никак более не обрабатывается

Добавление пользовательского коннектора позволяет при обработке событий использовать не адреса источников, а метки. После добавления пользовательского коннектора, он становится доступен для выбора в выпадающем списке при стандартной процедуре подключения источника. Для добавления пользовательского коннектора выполните следующие действия:

  1. В таблице источников нажмите кнопку "Пользовательские коннекторы", затем нажмите кнопку "Добавить".

  2. В окне "Добавление пользовательского коннектора" введите
    его название - метку на латинице без пробелов, которую в последствии будете использовать в инструкциях коннектора,
    описание - то, как он будет называться в выпадающем списке при подключении источников и сохраните.

image
Рисунок 1.

Для подключения нестандартного источника выполните действия, описанные в п. Настройка приема событий. В окне "Добавление источника данных" введите IP-адреса источников (или имена узлов) через запятую, из выпадающего списка Название источника выберите созданный пользовательский коннектор или один из встроенных коннекторов "Custom SYSLOG", "Custom CEF", "Custom" и сохраните.

image
Рисунок 2.

Для добавления инструкций парсинга выгрузите текущую конфигурацию post_filter.

image
Рисунок 3.

Затем опишите требуемые преобразования в терминах фильтров logstash в конфигурационном файле post_filter, обрамив соответствующим условным выражением.

{
  if [@metadata][namespace] == 'tag' {

    # Обработка событий:
    # - выделение значимых полей
    # - приведение к заданной схеме данных
    # - дополнительное обогащение при необходимости
    # - задание состояния обработки
  }
}

При этом tag может принимать значения, описанные в таблице выше, или <название коннектора> - значение введенное в соответствующее поле на латинице при создании коннектора.

Состояние обработки определяет префикс индекса, в который будет сохраняться событие после подключения источника и появления потока событий в ресивере. Конструкция задания состояния обработки:

    mutate {
      add_field => {
        "[@metadata][production]" => true
      }
    }

Если поле [@metadata][production] имеет значение false, события будут сохраняться в отладочный индекс с префиксом logstash-. При значении true события будут сохраняться в индексы с префиксом alertix, которые используются прикладными компонентами платформы. Результирующее наименование индекса будет иметь следующий формат:

alertix-<namespace>-<version>-<date> или logstash-<namespace>-<version>-<date> Где date представлено в формате ГГГГ.ММ.ДД.

Примеры и правила написания остальных инструкций обработки событий описаны в п.Разработка syslog-фильтров.

После редактирования выполните загрузку измененной конфигурации фильтра post_filter – "Загрузка post_filter".