now = LogStash::Timestamp.now()
tomorrow = LogStash::Timestamp.new(now + 3600 * 24)
month_before = LogStash::Timestamp.new(now - 3600 * 24 * 29)
ts = event.get('@timestamp')
if ts > tomorrow or ts < month_before
event.tag('timestamp_irrelevant')
event.set('@timestamp', now)
endПоведение Платформы при подаче исторических данных и возможность загрузки ретроспективных событий с сохранением метки времени
Подсистема сбора и обработки событий Платформы при приеме данных анализирует временную метку события (timestamp). Если она входит во временной диапазон 29 суток до и сутки после текущего времени, то временной меткой считается время создания события. В противном случае временем события считается текущее время (событие помечается тегом timestamp_irrelevant):
Для отмены данного анализа и преобразования в случае принудительной загрузки ретроспективных (более месячной давности) событий необходимо в postfilter добавить установку поля [@metadata][timestamp_irrelevant_off] в значение true:
mutate {
add_field => {
"[@metadata][timestamp_irrelevant_off]" => true
}
}Если события из источника поступают с неправильной временной меткой, для соответствующего ресивера можно в postfilter добавить ruby-фильтр следующего вида (следующий пример для отставания на 15 минут):
ruby {
code => "
ts = event.get('@timestamp')
# в ruby время в секундах
ts = LogStash::Timestamp.new(ts + 60 * 15) # добавление 15 минут к исходному времени
event.set('@timestamp', ts)
"
}Эта страница была полезна?
Спасибо за отзыв!
Спасибо, мы учтём это для улучшения документации.