Активный сбор файлов

При активном сборе Система с заданным интервалом проверяет папку или бакет и отправляет найденные файлы на проверку. Перед созданием источника подготовьте место хранения и доступ к нему.

Выбор типа источника

ТипПротоколЧто подготовить

SFTP

SFTP

SFTP-сервер, папку для сканирования, пароль или SSH-ключи

FTP

FTP; при необходимости TLS

FTP-сервер, папку для сканирования и учётные данные

NFS

NFS

Настроенный NFS и смонтированную папку с файлами

SMB

SMB

Настроенный SMB, смонтированную папку и учётные данные

S3

S3; при необходимости TLS

Бакет, папку при наличии вложенности и ключи доступа

LOCAL

Локальный каталог

Папку с файлами, смонтированную на узлах с mp_collector

Общие действия и ограничения

Для каждого типа задайте Имя источника и Интервал сканирования — количество минут между проверками наличия новых файлов. Укажите папку для сканирования или, для S3, бакет и папку расположения. Параметр Отключение источника управляет его статусом.

  • Удалять файлы из источника после взятия на проверку — после успешного скачивания файла и отправки на проверку файл удаляется из источника; каталоги не удаляются. TTL параметра по умолчанию — 1 сутки; изменить его можно в разделе «Настройки / Настройки системы». Если удалить файл невозможно (нет прав доступа, файловая система доступна только для чтения и т. п.), ошибка записывается в лог, а обработка продолжается. Для LOCAL действует особенность, указанная в разделе LOCAL.

  • Отключить рекурсивный обход — новые файлы берутся на проверку только непосредственно из указанного каталога; подкаталоги не сканируются.

  • Синхронный режим — флаг включения поддержки синхронного режима обработки ICAP/API-запросов.

  • Распаковывать архивы — попытка распаковать найденные или принятые архивы.

  • Глубина распаковки архивов — максимальное число уровней распаковки, от 1 до 4. Если внутри архива находятся другие архивы, после достижения указанной глубины они обрабатываются как обычные файлы.

  • Лимит файлов в архиве — максимальное число файлов в архиве, от 1 до 1000. На обработку отправляются первые ХХ файлов в соответствии с настройкой, остальные не обрабатываются.

  • Максимальное время подбора пароля (сек.) — от 10 до 3600 секунд. Если подобрать пароль не удалось, архив не распаковывается и отправляется далее как обычный файл.

Для SFTP, FTP, NFS, SMB и S3 настройте также Лимит подключений — лимит подключённых процессов, сканирующих папку или бакет.

SFTP

Предварительно настройте SFTP-сервер и создайте папку для сканирования. Поддерживается авторизация по паролю и по ключу SSH.

  • Адрес сервера — адрес хоста.

  • Порт — номер порта.

  • Папка для сканирования — директория, из которой файлы отправляются на проверку. Чтобы обработать всё содержимое директории, можно указать точку (.).

  • Пользователь — имя пользователя для подключения.

  • Пароль — пароль пользователя для подключения.

  • SSH private ключ клиента — ключ в формате OpenSSH (Base64) или PEM.

  • SSH public ключ клиента — если необходима аутентификация сервера, укажите публичный ключ сервера в том же виде, в котором он указан в authorized_keys.

  • Игнорировать ключ сервера — параметр подключения.

  • SSH public ключ сервера — публичный ключ сервера.

Имя, интервал сканирования, лимит подключений и настройки обработки файлов описаны в разделе Общие действия и ограничения.

FTP

Предварительно настройте FTP-сервер и создайте папку для сканирования.

  • Адрес сервера — адрес хоста.

  • Порт — номер порта.

  • TLS — переключатель защищённой передачи данных.

  • Не проверять сертификат сервера — клиент принимает любой сертификат сервера и любое доменное имя в нём.

  • FTP over implicit SSL/TLS — шифрование SSL/TLS на заранее определённом порту (обычно 990) без отправки специальной команды.

  • Пользователь — имя пользователя для подключения.

  • Пароль — пароль пользователя для подключения.

  • Папка для сканирования — директория, из которой файлы отправляются на проверку. Чтобы обработать всё содержимое директории, можно указать точку (.).

Имя, интервал сканирования, лимит подключений и настройки обработки файлов описаны в разделе Общие действия и ограничения.

NFS

До настройки источника:

  • подготовьте и смонтируйте папку с файлами и вложенную папку;

  • настройте NFS;

  • при многонодовой установке смонтируйте папку на всех узлах с комплектом сервисов Системы.

Не создавайте NFS-источник при сочетании NFS v3, Windows и сервера, не поддерживающего UTF-8.

  • Адрес сервера — адрес хоста.

  • Версия протокола — 3, 4, 4.0, 4.1 или 4.2. Версия 3 считается уязвимой из-за подверженности DNS-атакам; в версии 4 предусмотрена аутентификация машин и пользователей, а протокол MOUNT не используется.

  • Папка монтирования — путь к точке монтирования.

  • Папка для сканирования — путь относительно точки монтирования, по которому Система ищет файлы.

Имя, интервал сканирования, лимит подключений и настройки обработки файлов описаны в разделе Общие действия и ограничения.

SMB

До настройки источника:

  • подготовьте и смонтируйте папку с файлами и вложенную папку;

  • настройте SMB;

  • при многонодовой установке смонтируйте папку на всех узлах с комплектом сервисов Системы.

Авторизация выполняется по имени пользователя и паролю.

  • Адрес сервера — адрес хоста.

  • Домен — домен для подключения.

  • Версия протокола — 3.0, 3.02 или 3.1.1; версия 3.1.1 отмечена как наиболее безопасная.

  • Папка монтирования — путь к директории.

  • Пользователь — имя пользователя для подключения.

  • Пароль — пароль пользователя для подключения; при сохранении маскируется.

  • Папка для сканирования — путь относительно точки монтирования, по которому Система ищет файлы.

Имя, интервал сканирования, лимит подключений и настройки обработки файлов описаны в разделе Общие действия и ограничения.

S3

В целевом S3 заранее создайте бакет, из которого Система будет собирать файлы. Если бакет содержит вложенности, подготовьте папку в нём.

  • Адрес сервера — адрес хоста с S3-хранилищем.

  • Порт — порт S3-хранилища.

  • TLS — переключатель защищённого соединения.

  • Не проверять сертификат сервера — клиент принимает любой сертификат сервера и любое доменное имя в нём.

  • Bucket — бакет S3-хранилища, который будет сканироваться.

  • Папка расположения — папка в бакете для случаев, когда в нём есть вложенности.

  • Идентификатор ключа доступа — идентификатор ключа доступа к S3-хранилищу.

  • Секретный ключ доступа — ключ доступа к S3-хранилищу; при сохранении маскируется.

Имя, интервал сканирования, лимит подключений и настройки обработки файлов описаны в разделе Общие действия и ограничения.

LOCAL

Предварительно смонтируйте папку с файлами на хосте с mp_collector. При многонодовой установке смонтируйте её на всех узлах с комплектом сервисов Системы.

Ожидаемое место монтирования — $MP_PATH/mounts/collector/<source ID>/, где <source ID> — идентификатор источника.

  • Папка для сканирования — путь относительно точки монтирования, по которому Система ищет файлы. Путь санируется: абсолютный путь превращается в относительный, а попытки выхода за пределы каталога удаляются.

Если включено удаление файлов после взятия на проверку, LOCAL удаляет их без проверки прав доступа, так как работает от root в контейнере. Имя, интервал сканирования и остальные настройки обработки файлов описаны в разделе Общие действия и ограничения.