매핑 폭발(Mapping explosion)

매핑 폭발(Mapping explosion)

매핑 폭발은 인덱스가 과도한 수의 필드를 축적해 성능 저하, 메모리 문제, 클러스터 불안정을 초래하는 상황이에요. 문서 구조가 매우 변동적인 동적 매핑 환경에서 각 문서가 새 필드를 도입하며 흔히 발생해요.

출처: 문서

본문

매핑 폭발(mapping explosion)은 인덱스가 과도한 수의 필드를 축적하여 성능 저하, 메모리 문제, 클러스터 불안정을 초래할 때 발생합니다. 이 상황은 문서 구조가 매우 변동적이어서 각 새 문서가 인덱스 매핑에 자동으로 추가되는 추가 필드를 도입하는 동적 매핑(dynamic mapping)을 사용할 때 흔히 발생합니다.

OpenSearch는 문서에서 새 필드를 만나면 동적 매핑을 통해 자동으로 이 필드들의 매핑을 생성합니다. 이 기능은 유연성을 제공하지만 다음과 같은 시나리오에서 문제가 될 수 있습니다.

• 구조가 다양한 로그 데이터: 서로 다른 로그 소스가 고유한 필드를 포함해 필드가 빠르게 늘어날 수 있습니다.
• 사용자 생성 콘텐츠: 사용자가 맞춤형 필드나 속성을 정의할 수 있게 하는 애플리케이션.
• 중첩 객체 구조: 많은 하위 필드를 포함하는 깊이 중첩된 객체가 있는 문서.
• 시계열 데이터: 타임스탬프나 식별자에 기반한 동적 필드 이름을 포함하는 지표 또는 이벤트.

필드 수가 증가하면 여러 문제가 발생할 수 있습니다.

• 필드 매핑 저장에 따른 메모리 소비 증가
• 더 큰 매핑 구조로 인한 쿼리 성능 저하
• 인덱싱 또는 검색 중 잠재적인 메모리 부족(out-of-memory) 오류
• 클러스터 복구 시나리오의 어려움

매핑 제한 설정(Mapping limit settings)

OpenSearch는 매핑 증가의 여러 측면을 제한해 매핑 폭발을 방지하는 여러 인덱스 수준 설정을 제공합니다. 이 설정들은 인덱스 생성 시 구성하거나 기존 인덱스에 대해 갱신할 수 있습니다.

PUT /my-index/_settings
{
  "index.mapping.total_fields.limit": 2000
}

다음 표는 사용 가능한 모든 매핑 제한 설정을 나열합니다. 모든 설정은 동적(dynamic)입니다. 자세한 내용은 Dynamic settings를 참고하세요.

모범 사례(Best practices)

매핑 폭발을 방지하려면 다음 지침을 따르세요.

명시적 매핑 사용(Use explicit mappings)

동적 매핑에 의존하지 말고 가능하면 명시적 매핑을 정의하세요.

PUT /logs
{
  "mappings": {
    "properties": {
      "timestamp": {
        "type": "date"
      },
      "message": {
        "type": "text"
      },
      "level": {
        "type": "keyword"
      },
      "source": {
        "type": "keyword"
      }
    }
  }
}

동적 매핑 템플릿 구성(Configure dynamic mapping templates)

동적 템플릿을 사용해 새 필드가 어떻게 매핑될지 제어하세요.

PUT /logs
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings_as_keywords": {
          "match_mapping_type": "string",
          "mapping": {
            "type": "keyword"
          }
        }
      }
    ]
  }
}

flat_object 필드 유형 사용(Use the flat_object field type)

임의의 키-값 쌍이 있는 문서에는 동적 매핑을 허용하는 대신 flat_object 필드 유형을 사용하세요.

PUT /products
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text"
      },
      "attributes": {
        "type": "flat_object"
      }
    }
  }
}

동적 매핑 비활성화(Disable dynamic mapping)

스키마가 잘 정의된 인덱스에는 동적 매핑을 완전히 비활성화하세요.

PUT /structured-data
{
  "mappings": {
    "dynamic": "strict",
    "properties": {
      "id": {
        "type": "keyword"
      },
      "value": {
        "type": "double"
      }
    }
  }
}

모니터링 및 유지보수(Monitoring and maintenance)

정기적인 모니터링은 매핑 증가를 조기에 감지하고 클러스터 성능에 영향을 주기 전에 조치를 취하는 데 도움이 됩니다. 다음과 같은 방법으로 필드 매핑을 모니터링할 수 있습니다.

현재 필드 개수 확인(Check the current field count)

인덱스의 필드 수를 모니터링하세요.

GET /my-index/_mapping

또한 Cluster Stats API를 사용해 필드 개수 정보를 얻을 수도 있습니다.

GET /_cluster/stats

문제가 있는 인덱스 식별(Identify problematic indexes)

인덱스 통계를 사용해 필드 수가 많은 인덱스를 찾으세요.

GET /_cat/indices?v&h=index,docs.count,store.size,pri.store.size&s=store.size:desc

사용하지 않는 필드 정리(Clean up unused fields)

동적 매핑이 활성화된 인덱스의 경우 더 제한적인 매핑으로 재인덱싱해 더 이상 필요하지 않은 필드를 정기적으로 검토하고 정리하세요.

매핑 폭발로부터의 복구(Recovery from mapping explosion)

인덱스가 이미 매핑 폭발을 겪었다면 다음을 수행하세요.

• 실제로 필요한 필드를 파악합니다.
• 명시적 매핑과 적절한 제한으로 새 인덱스를 생성합니다.
• Reindex API를 사용해 불필요한 필드를 걸러내며 데이터를 재인덱싱합니다.
• 별칭(alias)을 갱신해 새 인덱스를 가리키게 합니다.
• 마이그레이션이 완료되면 이전 인덱스를 삭제합니다.

POST /_reindex
{
  "source": {
    "index": "old-index"
  },
  "dest": {
    "index": "new-index"
  },
  "script": {
    "source": "ctx._source.remove('unwanted_field')"
  }
}

더 알아보기 (Learn more)

• OpenSearch 공식 문서