GetSFTP 프로세서
GetSFTP 프로세서
Openflow의 GetSFTP 프로세서는 SFTP 서버에서 파일을 가져와 FlowFile을 생성하는 프로세서예요. 원격 서버에서 파일을 수집(ingest)하는 데 사용합니다.
출처: Snowflake 문서
본문
기능 — 일반 공급 (Generally Available)
Openflow Snowflake 배포는 AWS, Azure, GCP 상용(Commercial) 리전의 모든 계정에서 사용할 수 있어요. Openflow BYOC 배포는 AWS 상용 리전의 모든 계정에서 사용할 수 있습니다.
Bundle
org.apache.nifi | nifi-standard-nar
설명
SFTP 서버에서 파일을 가져와 FlowFile을 생성합니다.
태그
fetch, files, get, ingest, input, remote, retrieve, sftp, source
입력 요구사항
금지 (FORBIDDEN)
민감한 동적 속성 지원
false
속성
| 이름 | 설명 |
|---|---|
| Algorithm Negotiation | SSH 알고리즘 협상에 대한 구성 전략입니다. |
| Ciphers Allowed | SFTP 연결에 허용되는 암호화(cipher)의 쉼표로 구분된 목록입니다. 비워 두면 모두 허용됩니다. 사용 가능한 옵션: 3des-cbc, aes128-cbc, aes128-ctr, [email protected], aes192-cbc, aes192-ctr, aes256-cbc, aes256-ctr, [email protected], arcfour128, arcfour256, blowfish-cbc, [email protected], none |
| Connection Timeout | 연결을 만드는 동안 시간 초과되기 전에 기다리는 시간입니다. |
| Data Timeout | 로컬 시스템과 원격 시스템 사이에서 파일을 전송할 때, 시스템 간에 데이터가 전송되지 않은 채 경과하도록 허용되는 시간을 지정합니다. |
| Delete Original | 전송이 성공한 후 파일을 원격 시스템에서 삭제할지 여부를 결정합니다. |
| File Filter Regex | 파일 이름 필터링을 위한 Java 정규식을 제공합니다. 필터가 제공되면 이름이 해당 정규식과 일치하는 파일만 가져옵니다. |
| Follow Symbolic Links | true이면 심볼릭 파일과 중첩된 심볼릭 하위 디렉터리도 가져옵니다. 그렇지 않으면 심볼릭 파일을 읽지 않고 심볼릭 링크 하위 디렉터리도 탐색하지 않습니다. |
| Host Key File | 제공하면 주어진 파일이 호스트 키로 사용됩니다. 그렇지 않고 'Strict Host Key Checking' 속성이 적용(true)되면 ~/.ssh 디렉터리의 'known_hosts' 및 'known_hosts2' 파일을 사용하며, 그 외에는 호스트 키 파일을 사용하지 않습니다. |
| Hostname | 원격 시스템의 정규화된 호스트 이름 또는 IP 주소입니다. |
| Ignore Dotted Files | true이면 점(".")으로 시작하는 이름의 파일은 무시됩니다. |
| Key Algorithms Allowed | SFTP 연결에 허용되는 키 알고리즘의 쉼표로 구분된 목록입니다. 비워 두면 모두 허용됩니다. |
| Key Exchange Algorithms Allowed | SFTP 연결에 허용되는 키 교환 알고리즘의 쉼표로 구분된 목록입니다. 비워 두면 모두 허용됩니다. |
| Max Selects | 단일 연결에서 가져올 최대 파일 수입니다. |
| Message Authentication Codes Allowed | SFTP 연결에 허용되는 메시지 인증 코드(MAC)의 쉼표로 구분된 목록입니다. 비워 두면 모두 허용됩니다. |
| Password | 사용자 계정의 비밀번호입니다. |
| Path Filter Regex | Search Recursively가 true이면 경로가 주어진 정규식과 일치하는 하위 디렉터리만 스캔됩니다. |
| Polling Interval | 새 파일 목록을 가져오는 사이에 대기하는 시간을 결정합니다. |
| Port | 원격 시스템이 파일 전송을 위해 수신 중인 포트입니다. |
| Private Key Passphrase | 개인 키의 비밀번호입니다. |
| Private Key Path | 개인 키 파일의 정규화된 경로입니다. |
| Remote Path | 파일을 가져오거나 보낼 원격 시스템의 경로입니다. |
| Remote Poll Batch Size | 원격 시스템의 특정 디렉터리에서 파일 목록을 만들 때 찾을 파일 경로 수를 지정합니다. 이 값은 일반적으로 수정할 필요가 없지만, 파일 수가 매우 많은 원격 시스템을 폴링할 때 중요할 수 있습니다. 너무 높게 설정하면 성능이 매우 나빠질 수 있고, 너무 낮게 설정하면 흐름이 정상보다 느려질 수 있습니다. |
| Search Recursively | true이면 임의로 중첩된 하위 디렉터리에서도 파일을 가져옵니다. 그렇지 않으면 하위 디렉터리를 탐색하지 않습니다. |
| Send Keep Alive On Timeout | 5초마다 최대 5회 Keep Alive 메시지를 보내 총 25초의 시간 초과를 적용합니다. |
| Strict Host Key Checking | 호스트 키의 엄격한 적용 여부를 나타냅니다. |
| Use Compression | 파일 전송 시 ZLIB 압축을 사용할지 여부를 나타냅니다. |
| Use Natural Ordering | true이면 파일을 자연 순서대로 가져옵니다. 그렇지 않으면 파일을 가져오는 순서는 정의되지 않습니다. |
| Username | 사용자 이름입니다. |
| proxy-configuration-service | 네트워크 요청을 프록시할 Proxy Configuration 컨트롤러 서비스를 지정합니다. |
관계
| 이름 | 설명 |
|---|---|
| success | 수신된 모든 FlowFile은 success로 라우팅됩니다. |
쓰기 속성
| 이름 | 설명 |
|---|---|
| filename | 원격 서버의 파일 이름으로 설정됩니다. |
| path | 원격 서버의 파일 디렉터리 경로로 설정됩니다. 예를 들어 원격 경로 속성이 /tmp로 설정되면 /tmp에서 가져온 파일은 path 속성이 /tmp로 설정됩니다. 원격 경로 속성이 true이고 /tmp/abc/1/2/3에서 파일을 가져오면 path 속성은 /tmp/abc/1/2/3이 됩니다. |
| file.lastModifiedTime | 원본 파일이 마지막으로 수정된 날짜 및 시간입니다. |
| file.owner | 원본 파일의 숫자 소유자 ID입니다. |
| file.group | 원본 파일의 숫자 그룹 ID입니다. |
| file.permissions | 원본 파일의 읽기/쓰기/실행 권한입니다. |
| absolute.path | 파일을 가져온 전체/절대 경로입니다. 현재 'path' 속성은 여전히 채워지지만 상대 경로일 수 있습니다. |
참고 항목
org.apache.nifi.processors.standard.PutSFTP