Пассивный сбор файлов

Как выбрать источник

  1. Определите, как клиент передаёт файл: запросом API в формате multipart/form-data или запросом ICAP REQMOD/RESPMOD.

  2. Создайте источник нужного типа и передайте его ID в адресе запроса. Если нужно направить файл в конкретную цепочку, укажите заголовок X-Chain-ID: он имеет приоритет перед цепочками, связанными с источником.

  3. Настройте общие параметры и, при необходимости, синхронный режим. Особенности адреса, авторизации и выбора цепочки приведены ниже.

APIICAP

Адрес источника

https://<platform_address>/back/mp-collector/file/<source_id>; для веб-формы — тот же адрес без ID

icap://<platform_ip>:1344/reqmod?src=<source_id> или …​/respmod?src=<source_id>

Авторизация

Для веб-формы — заголовок Token и право записи в fileload; для внешней системы — ключ источника в X-Api-Key или параметре apiKey

Отдельный способ авторизации в описании ICAP-источника не указан

Выбор цепочки

X-Chain-ID → цепочки источника из URI; если цепочка не определена, возвращается ошибка

X-Chain-ID → цепочки источника из URI; если цепочка не определена, возвращается ошибка

Общие параметры

Общие параметры для всех типов источников пассивного сбора

Имя – имя источника;

Заголовки – маппинг — переименование внешних заголовков (1) во внутренние имена (2), которые затем отправятся в СЗИ на этапе анализа.

Система дает возможность настроить проброс так называемых Транзитных заголовков (транзитом "переходят" из Источника → в Систему→ в СЗИ).

Настройка этих заголовков значит, что "пришедшие от источника заголовки с указанными ключами будут переименованы (если указано) и сохранены с новыми именами для дальнейшей передаче в СЗИ всем набором".

Ключ заголовка - ключ, с которым заголовок приходит из ВНЕ в Систему

То, что вводиться около Ключа заголовка в настройках Источника - ключ, с которым пришедшее значение сохраняется в метаданных задачи на проверку файла, а потом транзитом поступает в СЗИ на этапе анализа файла (все транзитные заголовки поступают единой пачкой с КАЖДЫМ запросом в СЗИ)

create source 0012 22

Синхронный режим - Флаг включения поддержки синхронного режима обработки icap/api-запросов

Возвращать очищенный файл (с версии 2.2) - Флаг включения возврата очищенного файла клиенту при вычислении итогового вердикта Disinfected. Значимо только в _синхронном_режиме

Максимальное время ожидания сканирования (сек.) (с версии 2.2) - значимо только в синхронном режиме max_sync_res_waiting_timeout
Ограничения: от 1 до 10800
Дефолт (для старых источников или источника-веб-формы): 3600

Возвращаемый вердикт при превышении времени ожидания (с версии 2.2) - значимо только в синхронном режиме
unsuccessful_sync_waiting_res_verdict
Ограничения: Unknown/Clean/Malicious/Danger
Unknown - дефолт
Дефолт: (для старых источников или источника-веб-формы): Unknown

Допустимые паттерны имени поля формы с файлом (с версии 2.2) — multipart_name_key_regex_list. Задаёт допустимые паттерны ключей элементов формы multipart/form-data, содержащих файлы. Подробнее см. разделы API-источники и ICAP-источники ниже.

Распаковывать архивы - Пытаться ли распаковать найденные/принятые архивы.
unpack_archives

Глубина распаковки архивов - Максимальная глубина распаковки (сколько уровней вглубь будет распаковано).
max_archive_depth
Если внутри архива еще архивы, то они будут обрабатываться как обычный файл. Ограничения: от 1 до 4.

Лимит файлов в архиве - Максимальное количество файлов в архиве.
max_archive_file_number
В обработку отправляются первые ХХ [количество из настроек] файлов из архива, остальные не обрабатываются.
Ограничения: от 1 до 1000.

Максимальное время подбора пароля (сек.) - Максимальное время на попытки подобрать пароль к архиву.
max_archive_psw_recover_timeout
Если пароль подобрать не удается - архив не подлежит распаковке и отправляется далее как обычный файл.
Ограничения: от 10 до 3600 (в секундах).

Отключение источника – управление статусом источника.

API-источники

Важно: Источники API настраиваются из интерфейса аналогично другим и могут быть включены в произвольные цепочки.

Конкретный источник типа API выбирается путем добавления ID к базовому URI https://<platform_address>/back/mp-collector/file/

Например, чтобы файл пошел по цепочкам, в которые включен источник с ID b768b4fa-7314-4cbf-9b8b-857910efe68d, нужно отправлять файл на https://<platform_address>/back/mp-collector/file/b768b4fa-7314-4cbf-9b8b-857910efe68d

Альтернативный способ выбрать одну конкретную цепочку - указать в запросе заголовок X-Chain-ID. В этом случае настройки (включения источника в цепочки) игнорируются и файл уходит в цепочку, указанную в заголовке. При отсутствии цепочки - возвращается ошибка.

Приоритет выбора цепочки:

  1. Согласно заголовку X-Chain-ID

  2. Согласно настройкам источника, указанного в URI (по цепочкам, в которые он включен)

  3. Если не указано ни то, ни другое - возвращается ошибка

Авторизация производится:

  1. API для веб-формы продукта https://<platform_address>/back/mp-collector/file

    • заголовок Token (токен сессии пользователя). У пользователя должен быть write-доступ к fileload – согласно ролевой модели.

  1. API для внешних систем (с добавлением ID источника) - авторизация производится по API-ключу, сгенерированному для источника, поле api_key

    Ключ API передается одним из способов:

    • в заголовке X-Api-Key;

    • в параметре apiKey строки запроса.

В обоих случаях идентификатор источника указывается в пути, отдельно от ключа:

https://<platform_address>/back/mp-collector/file/<source_id>?apiKey=<api_key>

До версии 2.2 файл передаётся в формате multipart/form-data как элемент формы с ключом file.

create source 0013 22

Начиная с версии 2.2:

  • В формате multipart/form-data файлы передаются как элементы формы с ключами, соответствующими параметру «Допустимые паттерны имени поля формы с файлом».

  • Один запрос может содержать несколько файлов: несколько ключей формы соответствуют этому параметру. Для каждого принятого файла запускается отдельная задача на проверку.

  • В синхронном режиме для возврата вердикта сервер ожидает завершения проверки всех файлов из запроса либо обнаружения первого «плохого» вердикта.

  • В асинхронном режиме для каждого принятого файла создаётся отдельный RequestID (см. раздел Асинхронный режим для API источников).

При передаче нескольких файлов в одном запросе и для архивов возврат вердикта Disinfected и очищенного файла не поддерживается: вердикт Disinfected заменяется на Malicious (см. раздел Работа с очищенными файлами). Если возврат очищенного файла невозможен, вердикт Disinfected заменяется на Malicious

  • Возврат очищенного файла поддерживается только в синхронном режиме для одиночного файла, переданного непосредственно в Body инкапсулированного HTTP-запроса или HTTP-ответа, при включённой настройке возврата очищенных файлов.

Подробнее:

Важно: Имена файлов на входе подвергаются санации. Во избежание возможных проблем/атак на файловые системы-получатели, в именах файлов символы % $ \ ? * ' " " пробел ") - заменяются на подчеркивание ( _ ). Управляется константой ShellDangerousCharactersRegExp

ICAP-источники

Источники ICAP настраиваются из интерфейса аналогично другим и могут быть включены в произвольные цепочки. Конкретный источник типа ICAP выбирается путем добавления ID к базовому URI (базовый URI для ICAP - icap://<platform ip>:<icap port>/reqmod?src=<ID источника>).

Для RESPMOD - icap://<platform ip>:<icap port>/respmod?src=<ID источника>

Например, чтобы файл пошел по цепочкам, в которые включен источник с ID b768b4fa-7314-4cbf-9b8b-857910efe68d, необходимо отправлять файл на icap://<platform ip>:<icap port>/reqmod?src=b768b4fa-7314-4cbf-9b8b-857910efe68d

Альтернативный способ выбрать конкретную цепочку - указать в icap-запросе заголовок X-Chain-ID.

В этом случае настройки включения источника в цепочки игнорируются и файл уходит в цепочку, указанную в заголовке. При отсутствии цепочки Система возвращает ошибку.

Приоритет выбора цепочки:

  1. Согласно заголовку X-Chain-ID

  2. Согласно настройкам источника, указанного в URI (по цепочкам, в которые он включен)

  3. Если не указано ни то, ни другое, то Система возвращает ошибку.

    Обычно в интерфейсах icap-клиентов нужно указать "адрес сервера"=<platform IP> и "служба ICAP"= reqmod?src=<id источника>

Стандартный icap-порт = 1344 (единственно возможный).

Частные для icap параметры

  • Поддержка preview - Флаг включения поддержки preview mode

  • Размер preview (байт) - preview_size. Значимо при включенной поддержке preview. Число, больше или равно 0.

На вход ожидается файл в одном из вариантов:

  • REQMOD, multipart/form-data. До версии 2.2 имя секции с файлом — file. Начиная с версии 2.2, файлы передаются как элементы формы с ключами, соответствующими параметру «Допустимые паттерны имени поля формы с файлом».

    В одном запросе может быть несколько файлов: в форме присутствует несколько ключей, соответствующих параметру «Допустимые паттерны имени поля формы с файлом». Для каждого принятого файла запускается отдельная задача на проверку.

    В синхронном режиме для возврата вердикта сервер ожидает завершения проверки всех файлов из запроса либо обнаружения первого «плохого» вердикта. В асинхронном режиме для каждого принятого файла создаётся отдельный RequestID (см. раздел Асинхронный режим передачи по ICAP).

    При передаче нескольких файлов в одном запросе и для архивов возврат вердикта Disinfected и очищенного файла не поддерживается: вердикт Disinfected заменяется на Malicious (см. раздел Работа с очищенными файлами).

    Возврат очищенного файла поддерживается только в синхронном режиме для одиночного файла, переданного непосредственно в Body инкапсулированного HTTP-запроса или HTTP-ответа, при включённой настройке возврата очищенных файлов.

  • REQMOD: содержимое файла — в теле инкапсулированного HTTP-запроса, имя файла — в ICAP-заголовке X-File-Name.

  • RESPMOD: содержимое файла — в теле инкапсулированного HTTP-ответа, имя файла — в ICAP-заголовке X-File-Name или атрибуте filename заголовка Content-Disposition: attachment.

Особенности:

  • Для заголовка Content-Disposition, если атрибут filename задан в форме RFC 2231 (filename*=), поддерживаются кодировки utf-8 и us-ascii (в соответствии с RFC 8187 кодировки кроме utf-8 не допускаются)

  • Несмотря на то, что передача заголовков Content-Transfer-Encoding в индивидуальных частях multipart-data объявлен deprecated в RFC 7578, Система поддерживает этот заголовок и методы кодирования base64 и quoted-printable – см. подробней раздел 3.6.2.7

Приоритет определения имени файла:

  1. Значение заголовка X-File-Name.

  2. Значение атрибута filename заголовка Content-Disposition (для form-data и attachment). Например:

    • для REQMOD — Content-Disposition: form-data; name="file"; filename="foo.txt" → foo.txt;

    • для RESPMOD — Content-Disposition: attachment; filename*=UTF-8''file%20name.jpg → file name.jpg.

  3. Последний элемент пути URL инкапсулированного HTTP-запроса: http://host/some/path/file.jpg → file.jpg.

Если имя файла не удалось определить ни одним из этих способов, ему присваивается имя unknown-file-name-<таймшамп>, где таймшамп — время запроса в формате Unix microseconds.

Ответы OPTIONS:

Сервер отвечает на запросы OPTIONS по тем же URL сервисов, по которым должны поступать запросы REQMOD/RESPMOD.

Ответ OPTIONS содержит заголовки:

  • Allow:204

  • Istag

  • Methods

  • Service

Включение заголовка Preview в ответ OPTIONS управляется настройками источника AllowPreview и PreviewSize Пример:

OPTIONS response example

ICAP/1.0 200 OK
Allow: 204
Connection: close
Date: Mon, 29 Jun 2026 11:41:23 GMT
Encapsulated: null-body=0
Istag: v210-46a6072f
Methods: RESPMOD
Service: Multicheck ICAP collector v2.1.0

Подробнее: