Активный сбор файлов
При активном сборе Система с заданным интервалом проверяет папку или бакет и отправляет найденные файлы на проверку. Перед созданием источника подготовьте место хранения и доступ к нему.
Выбор типа источника
| Тип | Протокол | Что подготовить |
|---|---|---|
SFTP | SFTP-сервер, папку для сканирования, пароль или SSH-ключи | |
FTP; при необходимости TLS | FTP-сервер, папку для сканирования и учётные данные | |
NFS | Настроенный NFS и смонтированную папку с файлами | |
SMB | Настроенный SMB, смонтированную папку и учётные данные | |
S3; при необходимости TLS | Бакет, папку при наличии вложенности и ключи доступа | |
Локальный каталог | Папку с файлами, смонтированную на узлах с |
Общие действия и ограничения
Для каждого типа задайте Имя источника и Интервал сканирования — количество минут между проверками наличия новых файлов. Укажите папку для сканирования или, для S3, бакет и папку расположения. Параметр Отключение источника управляет его статусом.
Удалять файлы из источника после взятия на проверку — после успешного скачивания файла и отправки на проверку файл удаляется из источника; каталоги не удаляются. TTL параметра по умолчанию — 1 сутки; изменить его можно в разделе «Настройки / Настройки системы». Если удалить файл невозможно (нет прав доступа, файловая система доступна только для чтения и т. п.), ошибка записывается в лог, а обработка продолжается. Для LOCAL действует особенность, указанная в разделе LOCAL.
Отключить рекурсивный обход — новые файлы берутся на проверку только непосредственно из указанного каталога; подкаталоги не сканируются.
Синхронный режим — флаг включения поддержки синхронного режима обработки ICAP/API-запросов.
Распаковывать архивы — попытка распаковать найденные или принятые архивы.
Глубина распаковки архивов — максимальное число уровней распаковки, от 1 до 4. Если внутри архива находятся другие архивы, после достижения указанной глубины они обрабатываются как обычные файлы.
Лимит файлов в архиве — максимальное число файлов в архиве, от 1 до 1000. На обработку отправляются первые ХХ файлов в соответствии с настройкой, остальные не обрабатываются.
Максимальное время подбора пароля (сек.) — от 10 до 3600 секунд. Если подобрать пароль не удалось, архив не распаковывается и отправляется далее как обычный файл.
Для SFTP, FTP, NFS, SMB и S3 настройте также Лимит подключений — лимит подключённых процессов, сканирующих папку или бакет.
SFTP
Предварительно настройте SFTP-сервер и создайте папку для сканирования. Поддерживается авторизация по паролю и по ключу SSH.
Адрес сервера — адрес хоста.
Порт — номер порта.
Папка для сканирования — директория, из которой файлы отправляются на проверку. Чтобы обработать всё содержимое директории, можно указать точку (
.).Пользователь — имя пользователя для подключения.
Пароль — пароль пользователя для подключения.
SSH private ключ клиента — ключ в формате OpenSSH (Base64) или PEM.
SSH public ключ клиента — если необходима аутентификация сервера, укажите публичный ключ сервера в том же виде, в котором он указан в
authorized_keys.Игнорировать ключ сервера — параметр подключения.
SSH public ключ сервера — публичный ключ сервера.
Имя, интервал сканирования, лимит подключений и настройки обработки файлов описаны в разделе Общие действия и ограничения.
FTP
Предварительно настройте FTP-сервер и создайте папку для сканирования.
Адрес сервера — адрес хоста.
Порт — номер порта.
TLS — переключатель защищённой передачи данных.
Не проверять сертификат сервера — клиент принимает любой сертификат сервера и любое доменное имя в нём.
FTP over implicit SSL/TLS — шифрование SSL/TLS на заранее определённом порту (обычно 990) без отправки специальной команды.
Пользователь — имя пользователя для подключения.
Пароль — пароль пользователя для подключения.
Папка для сканирования — директория, из которой файлы отправляются на проверку. Чтобы обработать всё содержимое директории, можно указать точку (
.).
Имя, интервал сканирования, лимит подключений и настройки обработки файлов описаны в разделе Общие действия и ограничения.
NFS
До настройки источника:
подготовьте и смонтируйте папку с файлами и вложенную папку;
настройте NFS;
при многонодовой установке смонтируйте папку на всех узлах с комплектом сервисов Системы.
Не создавайте NFS-источник при сочетании NFS v3, Windows и сервера, не поддерживающего UTF-8.
Адрес сервера — адрес хоста.
Версия протокола —
3,4,4.0,4.1или4.2. Версия 3 считается уязвимой из-за подверженности DNS-атакам; в версии 4 предусмотрена аутентификация машин и пользователей, а протокол MOUNT не используется.Папка монтирования — путь к точке монтирования.
Папка для сканирования — путь относительно точки монтирования, по которому Система ищет файлы.
Имя, интервал сканирования, лимит подключений и настройки обработки файлов описаны в разделе Общие действия и ограничения.
SMB
До настройки источника:
подготовьте и смонтируйте папку с файлами и вложенную папку;
настройте SMB;
при многонодовой установке смонтируйте папку на всех узлах с комплектом сервисов Системы.
Авторизация выполняется по имени пользователя и паролю.
Адрес сервера — адрес хоста.
Домен — домен для подключения.
Версия протокола —
3.0,3.02или3.1.1; версия3.1.1отмечена как наиболее безопасная.Папка монтирования — путь к директории.
Пользователь — имя пользователя для подключения.
Пароль — пароль пользователя для подключения; при сохранении маскируется.
Папка для сканирования — путь относительно точки монтирования, по которому Система ищет файлы.
Имя, интервал сканирования, лимит подключений и настройки обработки файлов описаны в разделе Общие действия и ограничения.
S3
В целевом S3 заранее создайте бакет, из которого Система будет собирать файлы. Если бакет содержит вложенности, подготовьте папку в нём.
Адрес сервера — адрес хоста с S3-хранилищем.
Порт — порт S3-хранилища.
TLS — переключатель защищённого соединения.
Не проверять сертификат сервера — клиент принимает любой сертификат сервера и любое доменное имя в нём.
Bucket — бакет S3-хранилища, который будет сканироваться.
Папка расположения — папка в бакете для случаев, когда в нём есть вложенности.
Идентификатор ключа доступа — идентификатор ключа доступа к S3-хранилищу.
Секретный ключ доступа — ключ доступа к S3-хранилищу; при сохранении маскируется.
Имя, интервал сканирования, лимит подключений и настройки обработки файлов описаны в разделе Общие действия и ограничения.
LOCAL
Предварительно смонтируйте папку с файлами на хосте с mp_collector. При многонодовой установке смонтируйте её на всех узлах с комплектом сервисов Системы.
Ожидаемое место монтирования — $MP_PATH/mounts/collector/<source ID>/, где <source ID> — идентификатор источника.
Папка для сканирования — путь относительно точки монтирования, по которому Система ищет файлы. Путь санируется: абсолютный путь превращается в относительный, а попытки выхода за пределы каталога удаляются.
Если включено удаление файлов после взятия на проверку, LOCAL удаляет их без проверки прав доступа, так как работает от root в контейнере. Имя, интервал сканирования и остальные настройки обработки файлов описаны в разделе Общие действия и ограничения.
Эта страница была полезна?
Спасибо за отзыв!
Спасибо, мы учтём это для улучшения документации.