Общие параметры для всех типов источников активного сбора | Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). При невозможности удалить (отсутствуют права, RO-файловая система и т.п.) - в лог выводится ошибка, обработка не прерывается. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Синхронный режим - Флаг включения поддержки синхронного режима обработки icap/api-запросов Распаковывать архивы - Пытаться ли распаковать найденные/принятые архивы. Глубина распаковки архивов - Максимальная глубина распаковки (сколько уровней вглубь будет распаковано). Если внутри архива еще архивы, то они будут обрабатываться как обычный файл. Ограничения: от 1 до 4. Лимит файлов в архиве - Максимальное количество файлов в архиве. В обработку отправляются первые ХХ [количество из настроек] файлов из архива, остальные не обрабатываются. Ограничения: от 1 до 1000. Максимальное время подбора пароля (сек.) - Максимальное время на попытки подобрать пароль к архиву. Если пароль подобрать не удается - архив не подлежит распаковке и отправляется далее как обычный файл. Ограничения: от 10 до 3600 (в секундах). |
SFTP | Важно! Необходимо, чтобы предварительно был настроен sftp-сервер и создана папка для сканирования. Поддерживается авторизация по паролю и по ключу SSH. Имя – имя источника; Адрес сервера – адрес хоста; Порт - номер порта; Лимит подключений - лимит подключенных процессов, сканирующих папку; Интервал сканирования - количество минут, через которое происходит проверка наличия новых файлов; Папка для сканирования - из указанной директории будет происходить отправка файлов на проверку; "Точку" можно использовать, чтобы обработать все содержимое директории;
|
| Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). При невозможности удалить (отсутствуют права, RO-файловая система и т.п.) - в лог выводится ошибка, обработка не прерывается. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Пользователь - имя пользователя для подключения; Пароль – пароль пользователя для подключения; SSH private ключ клиента - ключ ожидается в формате OpenSSH (base64) или PEM; SSH public ключ клиента - если необходима аутентификация сервера, то должен быть указан публичный ключ сервера в том же виде, в котором он указан в authorized_keys; Игнорировать ключ сервера; SSH public ключ сервера; Отключение источника – управление статусом источника; Также см. блок Общие параметры
|
FTP | Важно! Необходимо, чтобы предварительно был настроен ftp-сервер и создана папка для сканирования. Имя – имя источника; Адрес сервера – адрес хоста; Порт - номер порта; Лимит подключений - лимит подключенных процессов, сканирующих папку; TLS переключатель – включает передачу по соответствующему протоколу, обеспечивающему защищённую передачу данных; Не проверять сертификат сервера – клиент принимает любой сертификат, представленный сервером, и любое доменное имя в этом сертификате; FTP over implicit SSL/TLS - расширение стандартного протокола FTP, которое добавляет поддержку шифрования SSL/TLS на предварительно определённом порту (обычно 990) без необходимости отправки специальной команды; Пользователь - имя пользователя для подключения; Пароль – пароль пользователя для подключения; Интервал сканирования - количество минут, через которое происходит проверка наличия новых файлов; Папка для сканирования - из указанной директории будет происходить отправка файлов на проверку; "Точку" можно использовать, чтобы обработать все содержимое директории;
|
| Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). При невозможности удалить (отсутствуют права, RO-файловая система и т.п.) - в лог выводится ошибка, обработка не прерывается. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Отключение источника – управление статусом источника; Также см. блок Общие параметры
|
NFS | Важно! Необходимо, чтобы предварительно: папка c файлами (и вложенная папка) существовала и была смонтирована; nfs настроен администратором; для корректной многонодовой работы необходимо выполнить монтирование ко всем узлам с комплектом сервисов Системы; не допустимо заведение nfs-источник через сочетание nfs v3 + windows + сервер, не поддерживающий utf-8 Имя – имя источника; Адрес сервера – адрес хоста; Лимит подключений - лимит подключенных процессов, сканирующих папку; Версия протокола – пропускаемые версии: 3 хотя и считается уязвимой, т.к. подвержена атаке DNS; 4, 4.0, 4.1, 4.2 – безопасная, т.к. в ней включен механизм аутентификации и машин, и пользователей и удален MOUNT Папка монтирования – путь (точка) монтирования; Интервал сканирования - количество минут, через которое происходит сканирование указанной папки; Папка для сканирования - путь относительно точки монтирования, по которому Система выполняет поиск файлов;
|
| Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). При невозможности удалить (отсутствуют права, RO-файловая система и т.п.) - в лог выводится ошибка, обработка не прерывается. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Отключение источника – управление статусом источника; Также см. блок Общие параметры
|
SMB | Важно! Необходимо, чтобы предварительно: папка c файлами (и вложенная папка) существовала и была смонтирована; smb настроен администратором; для корректной многонодовой работы необходимо выполнить монтирование ко всем узлам с комплектом сервисов Системы; Авторизация выполняется по пользователю и паролю Имя – имя источника; Адрес сервера – адрес хоста; Домен; Лимит подключений - лимит подключенных процессов, сканирующих папку; Версия протокола – пропускаемые версии: 3.0, 3.02, 3.1.1 (самая безопасная); Папка монтирования – путь до директории Пользователь - имя пользователя для подключения; Пароль – пароль пользователя для подключения (маскируется при сохранении); Интервал сканирования - количество минут, через которое происходит сканирование указанной папки; Папка для сканирования - путь относительно точки монтирования, по которому Система выполняет поиск файлов;
|
| Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). При невозможности удалить (отсутствуют права, RO-файловая система и т.п.) - в лог выводится ошибка, обработка не прерывается. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Отключение источника – управление статусом источника; Также см. блок Общие параметры
|
S3 | Важно! Ожидается, что в целевом S3 существует бакет, из которого Система будет собирать файлы. Также должна существовать папка в бакете (для кейсов с вложенностями в бакете). Имя – имя источника; Адрес сервера – адрес хоста с S3-хранилищем; Порт – порт S3-хранилища; Лимит подключений - лимит подключенных процессов, сканирующих бакет хранилища; TLS – переключатель; Не проверять сертификат сервера – клиент принимает любой сертификат, представленный сервером, и любое доменное имя в этом сертификате; Интервал сканирования - количество минут, через которое происходит проверка наличия новых файлов; Bucket - контейнер объектов S3-хранилища, который будет сканироваться; Папка расположения - в бакете S3-хранилища (нужен для ситуаций, когда бакет содержит вложенности); Идентификатор ключа доступа - идентификатор ключа доступа S3-хранилища; Секретный ключ доступа - сам ключ доступа S3-хранилища (маскируется при сохранении);
|
| Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). При невозможности удалить (отсутствуют права, RO-файловая система и т.п.) - в лог выводится ошибка, обработка не прерывается. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Отключение источника – управление статусом источника; Также см. блок Общие параметры
|
LOCAL | Важно! Предварительно папка c файлами должна быть смонтирована на любом хосте, где есть mp_collector При многонодовой установке монтирование необходимо осуществлять ко всем узлам с комплектом сервисов Системы. Ожидаемое место монтирования - $MP_PATH/mounts/collector/<source ID>/ ( где <source ID> - идентификатор источника). Имя – имя источника; Папка для сканирования – путь относительно точки монтирования, по которому Система будет искать файлы. Путь санируется, т.е. абсолютный путь превращается в относительный, а попытки выхода за пределы каталога убираются; Интервал сканирования - количество минут, через которые будет производиться сканирование указанной папки;
|
| Удалять файлы из источника после взятия на проверку. После успешного скачивания файла и отправки на проверку файл удаляется из источника (каталоги не удаляются). TTL параметра по умолчанию – 1 сутки (управление в Настройки/Настройки системы). Удаляет без проверки прав доступа, т.к. работает от root в контейнере. Отключить рекурсивный обход - новые файлы на проверку берутся только непосредственно из каталога. Обход дерева каталогов вглубь не производится (подкаталоги не сканируются); Отключение источника – управление статусом источника; Также см. блок Общие параметры
|