Подключение с использованием модуля Filebeat

Создать группу с включенным модулем Filebeat, в который добавить конфигурацию, читающую журнал сервиса в формате W3C. Журналы сервиса обычно расположены по пути C:\inetpub\logs\LogFiles*\*.log. Коннектор поддерживает два режима сбора данных: полный и по умолчанию. По умолчанию в журнал записывается следующий набор полей:

#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) sc-status sc-substatus sc-win32-status time-taken

Данный набор записывается в журналы сервиса сразу после установки.

При необходимости записывать полный журнал, необходимо провести соответствующую настройку через консоль управления сервисом, включив недостающие поля. При этом журнал будет формироваться со следующим набором:

Для различия между двумя режимами используется механизм тегов. Журналы с набором полей по умолчанию должны в конфигурации модуля Filebeat помечаться тегом access. Журналы с полным набором полей должны помечаться тегом "access-full".

В случае ошибочного указания тега и несоответствия формата полей, разбор будет осуществляться с ошибками в плоть до сбоя поступления данных

Ниже приведен пример конфигурации модуля Filebeat для журнала с полным набором полей, расположенный в каталоге C:\inetpub\logs\LogFiles:

processors:
- add_host_metadata:
    netinfo.enabled: true

filebeat.inputs:
    - type: log
        enabled: true
        paths:
            - C:\inetpub\logs\LogFiles\*\*.log
        exclude_lines: ['^#']
        tags: ["ms-iis", "access-full"]
        ignore_older: 72h

output.logstash:
    ssl.enabled: true
    ssl.verification_mode: none

Обратите внимание на исключение из передачи записей, начинающихся с символа #, которым обозначаются комментарии.