태스크

태스크 (Task)

인덱싱 서비스 코디네이터(Overlord)와 인덱서(Peons) 사이의 조정 중심점인 태스크(task)를 설명하는 문서예요. 태스크 상태, 상태 전이, 태스크 리포트와 로그 개념을 다루어요.

출처: 문서

본문

태스크는 인덱싱 서비스 코디네이터(Overlord)와 인덱서(Peons) 사이의 조정 중심점(nexus)이에요.

태스크는 인덱싱 서비스에서 작업을 이끄는 주체예요. 배치 인제스트를 수행하는 데 사용되며, 배치 인제스트에서 학습한 세그먼트를 생성하는 데에도 사용돼요.

태스크 상태 (Task states)

Druid 태스크는 다음 상태를 가져요.

상태 설명
PENDING PENDING 상태의 태스크는 overlord가 실행 대상으로 간주할 수 있어요.
RUNNING 실행 대상으로 간주될 수 있고, 언제든 실행될 수 있는 상태예요. RUNNING 상태는 ... 에 사용돼요.
SUCCESS 태스크가 성공적으로 완료된 후의 최종 상태예요.
FAILED 태스크는 실패하면 RUNNING에서 FAILED 상태로 이동할 수 있어요. 또한 태스크가 종료되면 PENDING에서 FAILED 상태로 이동할 수도 있어요.
WAITING WAITING 상태의 태스크는 완료되기 위해 이 태스크가 실행되기를 기다리고 있어요.
UNKNOWN 태스크가 overlord에서 사용할 수 없는 기능이 필요할 때 사용되는 상태예요.

상태 전이는 다음과 같아요.

PENDING -> RUNNING -> SUCCESS
PENDING -> RUNNING -> FAILED
PENDING -> WAITING -> RUNNING -> SUCCESS
PENDING -> WAITING -> RUNNING -> FAILED
PENDING -> UNKNOWN
RUNNING -> PENDING

이 노트들은 상태 전이와 그 사용법의 최소 가용성 정의이에요.

아래 표는 관련 태스크 상태 전이를 요약해요.

태스크 리포트 (Task reports)

각 태스크는 태스크 리포트를 통해 overlord에게 보고해요. 태스크 리포트는 overlord의 모든 상태 확인 시 반환돼요.

각 태스크는 태스크 리포트로 overlord에 보고해요. 보고는 태스크 실행 중 주기적으로 이루어져요. 리포트는 문자열이어야 하며 Tasklog(HTTP를 통한 태스크 리포트)로 메타데이터 저장소에 저장돼요.

...

쓰는 대로 쓸 내용이 있는 태스크 리포트가 있어요.

태스크 로그 (Task log)

...

태스크 잠금과 우선순위 (Task lock and priority)

...

다음 단계 (Next steps)

...

더 알아보기 (Learn more)