Поведение Платформы при подаче исторических данных и возможность загрузки ретроспективных событий с сохранением метки времени

Подсистема сбора и обработки событий Платформы при приеме данных анализирует временную метку события (timestamp). Если она входит во временной диапазон 29 суток до и сутки после текущего времени, то временной меткой считается время создания события. В противном случае временем события считается текущее время (событие помечается тегом timestamp_irrelevant):

  now = LogStash::Timestamp.now()
    tomorrow = LogStash::Timestamp.new(now + 3600 * 24)
    month_before = LogStash::Timestamp.new(now - 3600 * 24 * 29)
    ts = event.get('@timestamp')
    if ts > tomorrow or ts < month_before
      event.tag('timestamp_irrelevant')
      event.set('@timestamp', now)
    end

Для отмены данного анализа и преобразования в случае принудительной загрузки ретроспективных (более месячной давности) событий необходимо в postfilter добавить установку поля [@metadata][timestamp_irrelevant_off] в значение true:

mutate {
  add_field => {
    "[@metadata][timestamp_irrelevant_off]" => true
  }
}

Если события из источника поступают с неправильной временной меткой, для соответствующего ресивера можно в postfilter добавить ruby-фильтр следующего вида (следующий пример для отставания на 15 минут):

ruby {
  code => "
    ts = event.get('@timestamp')
    # в ruby время в секундах
    ts = LogStash::Timestamp.new(ts + 60 * 15) # добавление 15 минут к исходному времени
    event.set('@timestamp', ts)
  "
}