Активный сбор файлов |
SFTP | Важно! Необходимо, чтобы предварительно был настроен sftp-сервер и создана папка для сканирования. Поддерживается авторизация по паролю и по ключу SSH. Имя – имя источника; Адрес сервера – адрес хоста; Порт - номер порта; Лимит подключений - лимит подключенных процессов, сканирующих папку; Интервал сканирования - количество минут, через которое происходит проверка наличия новых файлов; Папка для сканирования - из указанной директории будет происходить отправка файлов на проверку; "Точку" можно использовать, чтобы обработать все содержимое директории; Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). При невозможности удалить (отсутствуют права, RO-файловая система и т.п.) - в лог выводится ошибка, обработка не прерывается. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Пользователь - имя пользователя для подключения; Пароль – пароль пользователя для подключения; SSH private ключ клиента - ключ ожидается в формате OpenSSH (base64) или PEM; SSH public ключ клиента - если необходима аутентификация сервера, то должен быть указан публичный ключ сервера в том же виде, в котором он указан в authorized_keys; Игнорировать ключ сервера; SSH public ключ сервера; Отключение источника – управление статусом источника.
|
FTP | Важно! Необходимо, чтобы предварительно был настроен ftp-сервер и создана папка для сканирования. Имя – имя источника; Адрес сервера – адрес хоста; Порт - номер порта; Лимит подключений - лимит подключенных процессов, сканирующих папку; TLS переключатель – включает передачу по соответствующему протоколу, обеспечивающему защищённую передачу данных; Не проверять сертификат сервера – клиент принимает любой сертификат, представленный сервером, и любое доменное имя в этом сертификате; FTP over implicit SSL/TLS - расширение стандартного протокола FTP, которое добавляет поддержку шифрования SSL/TLS на предварительно определённом порту (обычно 990) без необходимости отправки специальной команды; Пользователь - имя пользователя для подключения; Пароль – пароль пользователя для подключения; Интервал сканирования - количество минут, через которое происходит проверка наличия новых файлов; Папка для сканирования - из указанной директории будет происходить отправка файлов на проверку; "Точку" можно использовать, чтобы обработать все содержимое директории; Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). При невозможности удалить (отсутствуют права, RO-файловая система и т.п.) - в лог выводится ошибка, обработка не прерывается. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Отключение источника – управление статусом источника.
|
NFS | Важно! Необходимо, чтобы предварительно: папка c файлами (и вложенная папка) существовала и была смонтирована; nfs настроен администратором; для корректной многонодовой работы необходимо выполнить монтирование ко всем узлам с комплектом сервисов Системы; не допустимо заведение nfs-источник через сочетание nfs v3 + windows + сервер, не поддерживающий utf-8 Имя – имя источника; Адрес сервера – адрес хоста; Лимит подключений - лимит подключенных процессов, сканирующих папку; Версия протокола – пропускаемые версии: 3 хотя и считается уязвимой, т.к. подвержена атаке DNS; 4, 4.0, 4.1, 4.2 – безопасная, т.к. в ней включен механизм аутентификации и машин, и пользователей и удален MOUNT Папка монтирования – путь (точка) монтирования; Интервал сканирования - количество минут, через которое происходит сканирование указанной папки; Папка для сканирования - путь относительно точки монтирования, по которому Система выполняет поиск файлов; Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). При невозможности удалить (отсутствуют права, RO-файловая система и т.п.) - в лог выводится ошибка, обработка не прерывается. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Отключение источника – управление статусом источника.
|
SMB | Важно! Необходимо, чтобы предварительно: папка c файлами (и вложенная папка) существовала и была смонтирована; smb настроен администратором; для корректной многонодовой работы необходимо выполнить монтирование ко всем узлам с комплектом сервисов Системы; Авторизация выполняется по пользователю и паролю Имя – имя источника; Адрес сервера – адрес хоста; Домен; Лимит подключений - лимит подключенных процессов, сканирующих папку; Версия протокола – пропускаемые версии: 3.0, 3.02, 3.1.1 (самая безопасная); Папка монтирования – путь до директории Пользователь - имя пользователя для подключения; Пароль – пароль пользователя для подключения (маскируется при сохранении); Интервал сканирования - количество минут, через которое происходит сканирование указанной папки; Папка для сканирования - путь относительно точки монтирования, по которому Система выполняет поиск файлов; Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). При невозможности удалить (отсутствуют права, RO-файловая система и т.п.) - в лог выводится ошибка, обработка не прерывается. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Отключение источника – управление статусом источника.
|
S3 | Важно! Ожидается, что в целевом S3 существует бакет, из которого Система будет собирать файлы. Также должна существовать папка в бакете (для кейсов с вложенностями в бакете). Имя – имя источника; Адрес сервера – адрес хоста с S3-хранилищем; Порт – порт S3-хранилища; Лимит подключений - лимит подключенных процессов, сканирующих бакет хранилища; TLS – переключатель; Не проверять сертификат сервера – клиент принимает любой сертификат, представленный сервером, и любое доменное имя в этом сертификате; Интервал сканирования - количество минут, через которое происходит проверка наличия новых файлов; Bucket - контейнер объектов S3-хранилища, который будет сканироваться; Папка расположения - в бакете S3-хранилища (нужен для ситуаций, когда бакет содержит вложенности); Идентификатор ключа доступа - идентификатор ключа доступа S3-хранилища; Секретный ключ доступа - сам ключ доступа S3-хранилища (маскируется при сохранении); Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). При невозможности удалить (отсутствуют права, RO-файловая система и т.п.) - в лог выводится ошибка, обработка не прерывается. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Отключение источника – управление статусом источника.
|
LOCAL | Важно! Предварительно папка c файлами должна быть смонтирована на любом хосте, где есть mp_collector При многонодовой установке монтирование необходимо осуществлять ко всем узлам с комплектом сервисов Системы. Ожидаемое место монтирования - $MP_PATH/mounts/collector/<source ID>/ ( где <source ID> - идентификатор источника). Имя – имя источника; Папка для сканирования – путь относительно точки монтирования, по которому Система будет искать файлы. Путь санируется, т.е. абсолютный путь превращается в относительный, а попытки выхода за пределы каталога убираются; Интервал сканирования - количество минут, через которые будет производиться сканирование указанной папки; Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). Удаляет без проверки прав доступа, т.к. работает от root в контейнере. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Отключение источника – управление статусом источника.
|
Пассивный сбор файлов |
API | Важно! Источники API настраиваются из интерфейса аналогично другим и могут быть включены в произвольные цепочки. Конкретный источник типа API выбирается путем добавления ID к базовому URI https://<platform address>/mp_collector/file. Например, чтобы файл пошел по цепочкам, в которые включен источник с ID b768b4fa-7314-4cbf-9b8b-857910efe68d, нужно отправлять файл на https://<platform address>/mp_collector/file/b768b4fa-7314-4cbf-9b8b-857910efe68d Альтернативный способ выбрать одну конкретную цепочку - указать в запросе заголовок X-Chain-ID. В этом случае настройки (включения источника в цепочки) игнорируются и файл уходит в цепочку, указанную в заголовке. При отсутствии цепочки - возвращается ошибка. Приоритет выбора цепочки: Согласно заголовку X-Chain-ID Согласно настройкам источника, указанного в URI (по цепочкам, в которые он включен) Согласно элементу формы chain_id (строка) Если не указано ни то, ни другое - возвращается ошибка
Авторизация производится: API для внешних систем (с добавлением ID источника) - авторизация производится по API-ключу, сгенерированному для источника, поле api_key в заголовке X-Api-Key или в query-variable apiKey, например, https://<platform address>/mp_collector/file?apiKey=some-API-key-value/b768b4fa-7314-4cbf-9b8b-857910efe68d или https://<platform address>/mp_collector/file?apiKey=<API key>/<source>)
Файл ожидается в виде multipart/form-data, как элемент формы с ключом file. Параметры настройки источника: |
ICAP | Важно! Конкретный источник типа ICAP выбирается путем добавления ID к базовому URI (базовый URI для ICAP - icap://<platform ip>:<icap port>/reqmod?src=<ID источника>). Для RESPMOD - icap://<platform ip>:<icap port>/respmod?src=<ID источника> Например, чтобы файл пошел по цепочкам, в которые включен источник с ID b768b4fa-7314-4cbf-9b8b-857910efe68d, необходимо отправлять файл на icap://<platform ip>:<icap port>/reqmod?src=b768b4fa-7314-4cbf-9b8b-857910efe68d Альтернативный способ выбрать конкретную цепочку - указать в icap-запросе заголовок X-Chain-ID. В этом случае настройки включения источника в цепочки игнорируются и файл уходит в цепочку, указанную в заголовке. При отсутствии цепочки Система возвращает ошибку. Приоритет выбора цепочки: Согласно заголовку X-Chain-ID Согласно настройкам источника, указанного в URI (по цепочкам, в которые он включен) Если не указано ни то, ни другое, то Система возвращает ошибку. Обычно в интерфейсах icap-клиентов нужно указать "адрес сервера"=<platform IP> и "служба ICAP"= reqmod?src=<id источника> Стандартный icap-порт = 1344 (единственно возможный). На вход ожидается файл в одном из форматов: REQMOD, multipart/form-data, имя секции с файлом - "file" REQMOD, содержимое файла в Body инкапсулированного http-запроса, имя файла передано в ICAP-заголовке X-File-Name RESPMOD, содержимое файла в Body инкапсулированного http-ответа, имя файла передано в ICAP-заголовке X-File-Name или в атрибуте filename заголовка Content-Disposition: attachment Приоритет определения имени файла: заголовок X-File-Name атрибут filename в заголовке Content-Disposition ( для вариантов form-data и attachment ), например: последний элемент пути URL инкапсулированного http-запроса (например http://host/some/path/file.jpg → file.jpg )
Если имя файла не удалось извлечь из формы (form-data), отсутствует заголовок X-File-Name и Content-Disposition: attachment, filename=… файлу задается имя unknown-file-name-<таймшамп> (где таймштамп - время запроса в формате UNIX milliseconds). Параметра настройки источника: |
