Migrate metadata

출처: 문서

본문

메타데이터 마이그레이션

메타데이터 마이그레이션은 대상 클러스터가 들어오는 데이터와 트래픽을 수용할 수 있는 형태로 만들어요. 문서 백필이나 재생이 의미를 가지기 전에 매핑, 템플릿, 별칭 및 기타 인덱스 수준 정의를 처리해요.

워크플로 모델에서 메타데이터 마이그레이션은 마이그레이션 워크플로 내의 구성된 단계예요.

메타데이터 워크플로 단계

metadataMigrationConfig가 있으면 워크플로는 두 가지 논리적 단계를 실행해요:

1. evaluateMetadata
2. migrateMetadata

첫 번째 단계는 적용될 내용을 평가해요. 두 번째 단계는 해당 변경 사항을 대상에 기록해요. 승인이 활성화된 경우 워크플로는 이 단계 사이에서 일시 중지되어 계속하기 전에 결과를 검사할 수 있어요.

메타데이터 마이그레이션 범위

메타데이터 마이그레이션은 다음을 처리할 수 있어요:

• 인덱스 설정
• 인덱스 매핑
• 레거시 및 구성 가능 템플릿
• 컴포넌트 템플릿
• 별칭

클러스터 주변의 모든 것을 자동으로 마이그레이션하지는 않아요. 보안 구성, ISM 또는 ILM 정책, 수집 파이프라인, 대시보드 또는 Kibana 객체, 기타 환경별 자산에 대해서는 별도 작업을 계획하세요.

내장 변환

현재 메타데이터 마이그레이션 경로에는 이미 몇 가지 일반적인 호환성 문제에 대한 내장 변환이 포함되어 있어요:

• string to text and keyword
• flattened to flat_object
• dense_vector to knn_vector
• 최신 OpenSearch 및 Serverless NextGen 대상에 대한 추가 벡터 호환 변환

내장된 것 이상이 필요한 경우 transformerConfig, transformerConfigBase64 또는 transformerConfigFile을 통해 사용자 정의 메타데이터 변환기를 제공할 수도 있어요.

중요한 구성 필드

유용한 메타데이터 설정은 다음과 같아요:

• indexAllowlist
• indexTemplateAllowlist
• componentTemplateAllowlist
• multiTypeBehavior
• allowLooseVersionMatching
• transformerConfig*

콘솔에서 버전 일치 샘플을 사용하여 설치된 릴리스의 정확한 구조를 확인하세요. (버전 일치란 스키마가 콘솔 포드에 설치된 Migration Assistant 버전에 해당한다는 의미예요. workflow configure sample --load는 해당 포드의 /root/.workflowUser.schema.json에서 스키마를 읽어오므로 로드된 샘플에는 항상 해당 릴리스가 지원하는 필드가 포함되어 있어요.) 샘플을 로드하고 편집하려면 다음 명령을 실행하세요:

workflow configure sample --load
workflow configure edit

{% include copy.html %}

인덱스 필터링 동작

메타데이터 indexAllowlist는 스냅샷이 이미 촬영된 후에 평가돼요. 다음을 지원해요:

• 정확한 인덱스 이름
• regex: 접두사가 붙은 정규식 패턴

이는 소스 클러스터 자체 스냅샷 다중 인덱스 표현식 구문을 사용하는 스냅샷 생성 허용 목록과 달라요.

다중 유형 동작

마이그레이션에 다중 유형 매핑이 있는 오래된 Elasticsearch 데이터 세트가 포함된 경우 multiTypeBehavior를 의도적으로 설정하세요:

• NONE to fail when multi-type data is encountered.
• UNION to merge types into one mapping
• SPLIT to route types into separate indexes.

여기서 추측하지 마세요. 다중 유형 동작이 애플리케이션에 중요한 경우 먼저 작은 하위 집합에서 시험해 보세요.

계속하기 전에 메타데이터 검증

메타데이터 마이그레이션이 실행된 후 전체 백필 또는 전환으로 이동하기 전에 대상을 확인하세요:

console clusters curl target /_cat/indices?v
console clusters curl target /_cat/templates?v
console clusters curl target /_cat/aliases?v
console clusters curl target /my-index/_mapping

{% include copy.html %}

모니터링 및 문제 해결

가능하면 원시 포드 경로보다 워크플로 도구를 사용하세요:

workflow manage
workflow status
workflow log all

{% include copy.html %}

메타데이터 마이그레이션이 실패하면 일반적인 원인은 다음과 같아요:

• 호환되지 않는 매핑 또는 설정
• 누락된 변환
• 지원되지 않는 대상 측 기능
• 대상에 대한 인증 또는 연결 문제

{% include migration-phase-navigation.html %}

더 알아보기 (Learn more)

• 원문 전체: https://docs.opensearch.org/latest/migration-assistant/migration-phases/migrate-metadata/index/