Приложение 1. Описание полей модели данных

Mon, 01 Jan 0001 00:00:00 +0000

Схема для модели данных NES в Dataplan содержит следующие поля.

Категория	Поле в DP (NES схема)	Тип данных	Описание	Назначение
ВРЕМЕННЫЕ ПОЛЯ	timestamp	DateTime	Время обработки события парсером (время логирования события)	Фильтрация, Агрегация, Расчёт
ВРЕМЕННЫЕ ПОЛЯ	event_time	DateTime	Время из исходного события (основное поле для анализа и синхронизации)	Фильтрация, Агрегация, Расчёт
СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК	source_ip_address	IPv4	IP-адрес источника (инициатора события)	Фильтрация, Агрегация, Расчёт, Поле сущности
СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК	source_ip_nat	IPv4	NAT-преобразованный IP-адрес источника (для анализа трафика за шлюзами)	Фильтрация, Агрегация, Расчёт, Поле сущности
СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК	source_ip_proxied	IPv4	IP-адрес источника при проксировании	Фильтрация, Агрегация, Расчёт, Поле сущности
СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК	source_port	UInt16	Порт источника	Фильтрация, Агрегация, Расчёт
СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК	source_host_name	String	Наименование хоста источника (FQDN или имя)	Фильтрация, Справка
СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК	source_host_fqdn	String	FQDN хоста источника	Справка, Фильтрация
СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК	source_host_domain	String	Домен источника	Фильтрация, Агрегация
СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК	source_host_ip_interfaces	String	Список IP-адресов интерфейсов источника (для multi-homed хостов)	Справка, Обогащение
СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК	source_locality	LowCardinality(String)	Сетевое расположение отправителя (внутренняя, внешняя сеть)	Фильтрация, Расчёт
СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_ip_address	IPv4	IP-адрес назначения (получателя)	Фильтрация, Агрегация, Расчёт, Поле сущности
СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_ip_nat	IPv4	NAT-преобразованный IP-адрес получателя (для анализа трафика за шлюзами)	Фильтрация, Агрегация, Расчёт, Поле сущности
СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_ip_proxied	IPv4	IP-адрес назначения при проксировании	Фильтрация, Агрегация, Расчёт, Поле сущности
СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_port	UInt16	Порт назначения	Фильтрация, Агрегация, Расчёт
СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_host_name	String	Наименование хоста назначения	Фильтрация, Справка
СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_host_fqdn	String	FQDN хоста назначения	Справка, Фильтрация
СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_host_domain	String	Домен хоста назначения	Фильтрация, Агрегация
СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_host_ip_interfaces	String	Список IP-адресов интерфейсов назначения (для NAT и multi-homed хостов)	Справка, Обогащение
СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_locality	LowCardinality(String)	Сетевое расположение получателя (внутренняя, внешняя сеть)	Фильтрация, Расчёт
СЕТЕВЫЕ ПОЛЯ - ОБЩИЕ	network_protocol	LowCardinality(String)	Номер транспортного протокола (IP protocol: 6=TCP, 17=UDP)	Фильтрация, Агрегация, Расчёт
СЕТЕВЫЕ ПОЛЯ - ОБЩИЕ	network_protocol_name	String	Название протокола	Справка, Фильтрация
СЕТЕВЫЕ ПОЛЯ - ОБЩИЕ	network_flags	String	Сетевые флаги (TCP flags: SYN, ACK и т.д.)	Фильтрация, Справка
СЕТЕВЫЕ ПОЛЯ - ОБЩИЕ	network_session_bytes	UInt64	Количество байт за сессию	Агрегация, Расчёт
СЕТЕВЫЕ ПОЛЯ - ОБЩИЕ	network_packets	UInt32	Количество пакетов за сессию	Агрегация, Расчёт
EMAIL ПОЛЯ	source_email_address	String	Адрес отправителя email	Фильтрация, Агрегация, Расчёт, Поле сущности
EMAIL ПОЛЯ	source_email_sender	String	Отправитель письма (display name)	Фильтрация, Агрегация, Расчёт, Поле сущности
EMAIL ПОЛЯ	source_email_address_purported	String	Заявленный адрес отправителя (для обнаружения спуфинга)	Справка, Фильтрация
EMAIL ПОЛЯ	target_email_address	String	Адреса получателей email	Фильтрация, Расчёт, Поле сущности
EMAIL ПОЛЯ	target_email_subject	String	Тема письма	Справка
EMAIL ПОЛЯ	target_email_direction	LowCardinality(String)	Направление передачи Email (Incoming/Originating)	Фильтрация, Расчёт
EMAIL ПОЛЯ	target_email_recipient_count	Int64	Количество получателей (полный счет включая BCC)	Агрегация, Расчёт
EMAIL ПОЛЯ	target_content_count	Int64	Количество вложений	Агрегация, Расчёт
ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - ИСТОЧНИК	source_user_name	String	Наименование учетной записи субъекта (инициатора)	Фильтрация, Агрегация, Расчёт, Поле сущности
ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - ИСТОЧНИК	source_user_domain	String	Домен учетной записи субъекта	Фильтрация, Агрегация, Поле сущности
ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_user_name	String	Наименование учетной записи объекта (целевой пользователь)	Фильтрация, Агрегация, Расчёт, Поле сущности
ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_user_domain	String	Домен целевой учетной записи	Фильтрация, Агрегация
ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_user_sid	String	Идентификатор целевого объекта (SID пользователя)	Справка, Корреляция
ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_group_name	String	Наименование целевой группы	Фильтрация, Агрегация, Расчёт
ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - НАЗНАЧЕНИЕ	target_group_domain	String	Домен целевой группы	Фильтрация
ФАЙЛОВЫЕ ОПЕРАЦИИ	target_file_path	String	Полный путь до файла	Фильтрация, Справка
ФАЙЛОВЫЕ ОПЕРАЦИИ	target_file_directory	String	Директория файла (в данных из FileShare укладываем в это поле ShareName)	Фильтрация, Агрегация
ФАЙЛОВЫЕ ОПЕРАЦИИ	target_file_name	String	Наименование файла	Фильтрация, Справка
ФАЙЛОВЫЕ ОПЕРАЦИИ	target_file_extension	String	Расширение файла	Фильтрация, Справка
ФАЙЛОВЫЕ ОПЕРАЦИИ	target_file_access_mode	String	Маска доступа к файлу (Windows AccessMask: Read/Write/Delete и т.д.)	Фильтрация, Справка
ФАЙЛОВЫЕ ОПЕРАЦИИ	target_file_access_list	String	Список операций доступа	Справка
ФАЙЛОВЫЕ ОПЕРАЦИИ	target_object_type	LowCardinality(String)	Тип целевого объекта (File/Folder/Token)	Фильтрация
ФАЙЛОВЫЕ ОПЕРАЦИИ	source_process_file_path	String	Полный путь до исполняемого файла процесса-инициатора	Справка, Анализ
ФАЙЛОВЫЕ ОПЕРАЦИИ	source_process_file_name	String	Наименование процесса-инициатора	Справка
СОБЫТИЯ И КЛАССИФИКАЦИЯ	event_type_vendor	String	Наименование события безопасности	Справка, Фильтрация
СОБЫТИЯ И КЛАССИФИКАЦИЯ	event_code	String	Код события (Windows Event ID или код источника)	Фильтрация, Агрегация
СОБЫТИЯ И КЛАССИФИКАЦИЯ	event_outcome	LowCardinality(String)	Исход события (Success/Failure)	Фильтрация, Агрегация, Расчёт
СОБЫТИЯ И КЛАССИФИКАЦИЯ	event_description	String	Расширенное описание события	Справка
СОБЫТИЯ И КЛАССИФИКАЦИЯ	event_name	String	Альтернативное наименование события (для совместимости разных источников)	Справка
ОБСЕРВЕР / ИСТОЧНИК ДАННЫХ	observer_type	LowCardinality(String)	Тип обсервера (NetFlow, WinEvent, FileShare, Exchange)	Фильтрация, Агрегация
ОБСЕРВЕР / ИСТОЧНИК ДАННЫХ	observer_ip_address	IPv4	IP-адрес источника событий (сенсора/SIEM агента)	Фильтрация, Агрегация
ОБСЕРВЕР / ИСТОЧНИК ДАННЫХ	observer_host_name	String	Наименование обсервера / хоста-источника	Справка, Фильтрация
КОНТЕНТНЫЕ И СПРАВОЧНЫЕ ПОЛЯ	message	String	Исходный/сырой текст события	Справка
КОНТЕНТНЫЕ И СПРАВОЧНЫЕ ПОЛЯ	related_emails	String	Связанные письма (для корреляции событий)	Справка
КОНТЕНТНЫЕ И СПРАВОЧНЫЕ ПОЛЯ	content_bytes_count	UInt64	Размер контента (письма / передачи данных)	Агрегация, Расчёт, Фильтрация

Категория

Поле в DP (NES схема)

Тип данных

Описание

Назначение

ВРЕМЕННЫЕ ПОЛЯ

timestamp

DateTime

Время обработки события парсером (время логирования события)

Фильтрация, Агрегация, Расчёт

ВРЕМЕННЫЕ ПОЛЯ

event_time

DateTime

Время из исходного события (основное поле для анализа и синхронизации)

Фильтрация, Агрегация, Расчёт

СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК

source_ip_address

IPv4

IP-адрес источника (инициатора события)

Фильтрация, Агрегация, Расчёт, Поле сущности

СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК

source_ip_nat

IPv4

NAT-преобразованный IP-адрес источника (для анализа трафика за шлюзами)

Фильтрация, Агрегация, Расчёт, Поле сущности

СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК

source_ip_proxied

IPv4

IP-адрес источника при проксировании

Фильтрация, Агрегация, Расчёт, Поле сущности

СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК

source_port

UInt16

Порт источника

Фильтрация, Агрегация, Расчёт

СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК

source_host_name

String

Наименование хоста источника (FQDN или имя)

Фильтрация, Справка

СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК

source_host_fqdn

String

FQDN хоста источника

Справка, Фильтрация

СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК

source_host_domain

String

Домен источника

Фильтрация, Агрегация

СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК

source_host_ip_interfaces

String

Список IP-адресов интерфейсов источника (для multi-homed хостов)

Справка, Обогащение

СЕТЕВЫЕ ПОЛЯ - ИСТОЧНИК

source_locality

LowCardinality(String)

Сетевое расположение отправителя (внутренняя, внешняя сеть)

Фильтрация, Расчёт

СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_ip_address

IPv4

IP-адрес назначения (получателя)

Фильтрация, Агрегация, Расчёт, Поле сущности

СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_ip_nat

IPv4

NAT-преобразованный IP-адрес получателя (для анализа трафика за шлюзами)

Фильтрация, Агрегация, Расчёт, Поле сущности

СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_ip_proxied

IPv4

IP-адрес назначения при проксировании

Фильтрация, Агрегация, Расчёт, Поле сущности

СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_port

UInt16

Порт назначения

Фильтрация, Агрегация, Расчёт

СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_host_name

String

Наименование хоста назначения

Фильтрация, Справка

СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_host_fqdn

String

FQDN хоста назначения

Справка, Фильтрация

СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_host_domain

String

Домен хоста назначения

Фильтрация, Агрегация

СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_host_ip_interfaces

String

Список IP-адресов интерфейсов назначения (для NAT и multi-homed хостов)

Справка, Обогащение

СЕТЕВЫЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_locality

LowCardinality(String)

Сетевое расположение получателя (внутренняя, внешняя сеть)

Фильтрация, Расчёт

СЕТЕВЫЕ ПОЛЯ - ОБЩИЕ

network_protocol

LowCardinality(String)

Номер транспортного протокола (IP protocol: 6=TCP, 17=UDP)

Фильтрация, Агрегация, Расчёт

СЕТЕВЫЕ ПОЛЯ - ОБЩИЕ

network_protocol_name

String

Название протокола

Справка, Фильтрация

СЕТЕВЫЕ ПОЛЯ - ОБЩИЕ

network_flags

String

Сетевые флаги (TCP flags: SYN, ACK и т.д.)

Фильтрация, Справка

СЕТЕВЫЕ ПОЛЯ - ОБЩИЕ

network_session_bytes

UInt64

Количество байт за сессию

Агрегация, Расчёт

СЕТЕВЫЕ ПОЛЯ - ОБЩИЕ

network_packets

UInt32

Количество пакетов за сессию

Агрегация, Расчёт

EMAIL ПОЛЯ

source_email_address

String

Адрес отправителя email

Фильтрация, Агрегация, Расчёт, Поле сущности

EMAIL ПОЛЯ

source_email_sender

String

Отправитель письма (display name)

Фильтрация, Агрегация, Расчёт, Поле сущности

EMAIL ПОЛЯ

source_email_address_purported

String

Заявленный адрес отправителя (для обнаружения спуфинга)

Справка, Фильтрация

EMAIL ПОЛЯ

target_email_address

String

Адреса получателей email

Фильтрация, Расчёт, Поле сущности

EMAIL ПОЛЯ

target_email_subject

String

Тема письма

Справка

EMAIL ПОЛЯ

target_email_direction

LowCardinality(String)

Направление передачи Email (Incoming/Originating)

Фильтрация, Расчёт

EMAIL ПОЛЯ

target_email_recipient_count

Int64

Количество получателей (полный счет включая BCC)

Агрегация, Расчёт

EMAIL ПОЛЯ

target_content_count

Int64

Количество вложений

Агрегация, Расчёт

ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - ИСТОЧНИК

source_user_name

String

Наименование учетной записи субъекта (инициатора)

Фильтрация, Агрегация, Расчёт, Поле сущности

ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - ИСТОЧНИК

source_user_domain

String

Домен учетной записи субъекта

Фильтрация, Агрегация, Поле сущности

ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_user_name

String

Наименование учетной записи объекта (целевой пользователь)

Фильтрация, Агрегация, Расчёт, Поле сущности

ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_user_domain

String

Домен целевой учетной записи

Фильтрация, Агрегация

ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_user_sid

String

Идентификатор целевого объекта (SID пользователя)

Справка, Корреляция

ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_group_name

String

Наименование целевой группы

Фильтрация, Агрегация, Расчёт

ПОЛЬЗОВАТЕЛЬСКИЕ ПОЛЯ - НАЗНАЧЕНИЕ

target_group_domain

String

Домен целевой группы

Фильтрация

ФАЙЛОВЫЕ ОПЕРАЦИИ

target_file_path

String

Полный путь до файла

Фильтрация, Справка

ФАЙЛОВЫЕ ОПЕРАЦИИ

target_file_directory

String

Директория файла (в данных из FileShare укладываем в это поле ShareName)

Фильтрация, Агрегация

ФАЙЛОВЫЕ ОПЕРАЦИИ

target_file_name

String

Наименование файла

Фильтрация, Справка

ФАЙЛОВЫЕ ОПЕРАЦИИ

target_file_extension

String

Расширение файла

Фильтрация, Справка

ФАЙЛОВЫЕ ОПЕРАЦИИ

target_file_access_mode

String

Маска доступа к файлу (Windows AccessMask: Read/Write/Delete и т.д.)

Фильтрация, Справка

ФАЙЛОВЫЕ ОПЕРАЦИИ

target_file_access_list

String

Список операций доступа

Справка

ФАЙЛОВЫЕ ОПЕРАЦИИ

target_object_type

LowCardinality(String)

Тип целевого объекта (File/Folder/Token)

Фильтрация

ФАЙЛОВЫЕ ОПЕРАЦИИ

source_process_file_path

String

Полный путь до исполняемого файла процесса-инициатора

Справка, Анализ

ФАЙЛОВЫЕ ОПЕРАЦИИ

source_process_file_name

String

Наименование процесса-инициатора

Справка

СОБЫТИЯ И КЛАССИФИКАЦИЯ

event_type_vendor

String

Наименование события безопасности

Справка, Фильтрация

СОБЫТИЯ И КЛАССИФИКАЦИЯ

event_code

String

Код события (Windows Event ID или код источника)

Фильтрация, Агрегация

СОБЫТИЯ И КЛАССИФИКАЦИЯ

event_outcome

LowCardinality(String)

Исход события (Success/Failure)

Фильтрация, Агрегация, Расчёт

СОБЫТИЯ И КЛАССИФИКАЦИЯ

event_description

String

Расширенное описание события

Справка

СОБЫТИЯ И КЛАССИФИКАЦИЯ

event_name

String

Альтернативное наименование события (для совместимости разных источников)

Справка

ОБСЕРВЕР / ИСТОЧНИК ДАННЫХ

observer_type

LowCardinality(String)

Тип обсервера (NetFlow, WinEvent, FileShare, Exchange)

Фильтрация, Агрегация

ОБСЕРВЕР / ИСТОЧНИК ДАННЫХ

observer_ip_address

IPv4

IP-адрес источника событий (сенсора/SIEM агента)

Фильтрация, Агрегация

ОБСЕРВЕР / ИСТОЧНИК ДАННЫХ

observer_host_name

String

Наименование обсервера / хоста-источника

Справка, Фильтрация

КОНТЕНТНЫЕ И СПРАВОЧНЫЕ ПОЛЯ

message

String

Исходный/сырой текст события

Справка

КОНТЕНТНЫЕ И СПРАВОЧНЫЕ ПОЛЯ

related_emails

String

Связанные письма (для корреляции событий)

Справка

КОНТЕНТНЫЕ И СПРАВОЧНЫЕ ПОЛЯ

content_bytes_count

UInt64

Размер контента (письма / передачи данных)

Агрегация, Расчёт, Фильтрация

Руководство пользователя Часть 1. Работа с хранилищем и источниками данных on Dataplan

Приложение 1. Описание полей модели данных