Configuring and using multiple data sources in OpenSearch Dashboards

출처: 문서

본문

OpenSearch Dashboards에서 여러 데이터 소스 구성하고 사용하기

OpenSearch Dashboards에서는 여러 데이터 소스의 데이터를 수집, 처리, 분석할 수 있어요. 데이터 소스는 Dashboards Management > Data sources에서 구성해요. 다음 이미지에서 이 인터페이스를 확인할 수 있어요.

{: width="700" }

시작하기

다음 튜토리얼을 따라 하면 OpenSearch Dashboards에서 여러 데이터 소스를 구성하고 사용하는 방법을 익힐 수 있어요.

여러 데이터 소스를 사용하는 경우 다음 기능은 지원되지 않아요: timeline visualization types. {: .note}

1단계: YAML 파일 설정 수정

여러 데이터 소스를 사용하려면 data_source.enabled 설정을 활성화해야 해요. 이 설정은 기본적으로 비활성화되어 있어요. 여러 데이터 소스를 활성화하려면:

1. OpenSearch Dashboards 구성 파일인 opensearch_dashboards.yml의 로컬 사본을 열어요. 사본이 없다면 GitHub에서 opensearch_dashboards.yml을 받을 수 있어요.
2. data_source.enabled:를 true로 설정하고 YAML 파일을 저장해요.
3. OpenSearch Dashboards 컨테이너를 재시작해요.
4. OpenSearch Dashboards에 접속해서 Dashboards Management 내비게이션 메뉴를 확인하면 구성 설정이 제대로 되었는지 검증할 수 있어요. 사이드바에 Data sources가 나타나요. 다음 이미지와 비슷한 화면을 볼 수 있어요.

{: width="700" }

2단계: 새 데이터 소스 연결 만들기

데이터 소스 연결은 데이터 소스에 접속하는 데 필요한 파라미터를 지정하는 것이에요. 이 파라미터들이 모여 데이터 소스의 연결 문자열을 구성해요.

새 데이터 소스 연결을 만들려면:

1. OpenSearch Dashboards 메인 메뉴에서 Dashboards Management > Data sources > Create data source connection을 선택해요.

2. Connection Details와 Authentication Method를 구성하도록 각 필드에 필요한 정보를 입력해요.

   • Connection Details에서는 제목과 엔드포인트 URL을 입력해요. 이 튜토리얼에서는 URL https://localhost:9200/을 사용해요. 설명은 선택 사항이에요.

   • Authentication Method에서는 드롭다운 목록에서 인증 방식을 선택해요. 인증 방식을 선택하면 해당 방식에 맞는 필드가 나타나요. 그다음 필요한 세부 정보를 입력하면 돼요. 인증 방식 옵션은 다음과 같아요:

     • No authentication: 인증 없이 데이터 소스에 접속해요.
     • Username & Password: 기본 사용자 이름과 비밀번호로 데이터 소스에 접속해요.
     • AWS SigV4: AWS Signature Version 4 인증 요청으로 데이터 소스에 접속해요. AWS Signature Version 4에는 액세스 키와 시크릿 키가 필요해요.
       • AWS Signature Version 4 인증을 위해서는 먼저 Region을 지정해요. 그다음 Service Name 목록에서 OpenSearch 서비스를 선택해요. 옵션은 Amazon OpenSearch Service와 Amazon OpenSearch Serverless예요. 마지막으로 인가를 위해 Access Key와 Secret Key를 입력해요.

     AWS 계정에서 사용할 수 있는 AWS 리전에 대한 정보는 Available Regions을 참고하세요. AWS Signature Version 4 인증 요청에 대한 자세한 내용은 Authenticating Requests (AWS Signature Version 4)를 참고하세요. {: .note}

   • 필수 필드에 모두 적절한 정보를 입력하면 Test connection과 Create data source 버튼이 활성화돼요. Test connection을 선택해서 연결이 유효한지 확인할 수 있어요.

3. Create data source를 선택해서 설정을 저장해요. 연결이 생성되고, 새 데이터 소스가 Data Sources 메인 페이지의 목록에 나타나요. 가장 먼저 만든 데이터 소스는 기본값으로 표시돼요.

4. 데이터 소스 연결을 편집하거나 업데이트해요.

   • Data Sources 메인 페이지에서 수정하려는 연결을 선택해요. Connection Details 창이 열려요.

   • 선택한 데이터 소스를 기본값으로 지정하려면 Set as default 옵션을 선택해요.

   • Connection Details를 변경하려면 Title과 Description 필드 중 하나 또는 둘 다 수정한 뒤 화면 오른쪽 아래의 Save changes를 선택해요. 여기서 변경을 취소할 수도 있어요. Authentication Method를 변경하려면 다른 인증 방식을 선택하고 자격 증명을 입력한(해당하는 경우) 다음 화면 오른쪽 아래의 Save changes를 선택해요. 변경 사항이 저장돼요.

     • 인증 방식으로 Username & Password를 선택한 경우 Password 필드 옆의 Update stored password를 선택해서 비밀번호를 업데이트할 수 있어요. 팝업 창의 첫 번째 필드에 새 비밀번호를 입력하고, 두 번째 필드에 확인용으로 한 번 더 입력해요. 팝업 창에서 Update stored password를 선택하면 새 비밀번호가 저장돼요. Test connection을 선택해서 연결이 유효한지 확인해 보세요.
     • 인증 방식으로 AWS SigV4를 선택한 경우 Update stored AWS credential을 선택해서 자격 증명을 업데이트할 수 있어요. 팝업 창의 첫 번째 필드에 새 액세스 키를, 두 번째 필드에 새 시크릿 키를 입력해요. 팝업 창에서 Update stored AWS credential을 선택하면 새 자격 증명이 저장돼요. 화면 오른쪽 위의 Test connection을 선택해서 연결이 유효한지 확인해 보세요.

5. 제목 왼쪽의 체크박스를 선택한 다음 Delete 1 connection을 선택하면 데이터 소스 연결을 삭제할 수 있어요. 여러 연결을 위해 체크박스를 여러 개 선택하는 것도 지원해요. 또는 {::nomarkdown}{:/} (휴지통) 아이콘을 선택해도 돼요.

다음 이미지는 데이터 소스 연결 인터페이스를 보여줘요.

{: width="700" }

Dev Tools 콘솔을 통해 여러 데이터 소스 선택하기

또는 Dev Tools 콘솔을 통해 여러 데이터 소스를 선택할 수도 있어요. 이 옵션을 사용하면 더 폭넓은 범위의 데이터를 다루고 코드와 애플리케이션을 더 깊이 이해할 수 있어요.

실제 동작은 다음 10초짜리 영상에서 확인해 보세요.

Dev Tools 콘솔에서 데이터 소스를 선택하려면 다음 단계를 따르세요:

1. opensearch_dashboards.yml 파일을 찾아서 원하는 편집기로 열어요.

2. data_source.enabled를 true로 설정해요.

3. OpenSearch Dashboards에 접속한 다음 메뉴에서 Dev Tools를 선택해요.

4. Console의 편집기 창에 다음 쿼리를 입력하고 재생 버튼을 선택해요:

   GET /_cat/indices
   

   {% include copy-curl.html %}

5. Data source 드롭다운 메뉴에서 데이터 소스를 선택한 다음 해당 소스에 쿼리를 실행해요.

6. 선택하려는 각 데이터 소스마다 앞의 단계를 반복해요.

---

연결된 데이터 소스에서 대시보드로 저장된 객체 업로드하기

여러 데이터 소스를 사용하는 대시보드에 연결된 데이터 소스의 저장된 객체를 업로드하려면, 데이터 소스의 Saved object management 페이지에서 객체를 NDJSON 파일로 내보내요. 그다음 대시보드의 Saved object management 페이지에 파일을 업로드해요. 이 방법을 사용하면 대시보드 간에 저장된 객체를 더 간편하게 전송할 수 있어요. 다음 20초짜리 영상에서 이 기능의 동작을 확인할 수 있어요.

연결된 데이터 소스에서 저장된 객체 가져오기

연결된 데이터 소스에서 저장된 객체를 가져오려면 다음 단계를 따르세요:

1. opensearch_dashboards.yml 파일을 찾아서 선호하는 텍스트 편집기로 열어요.
2. data_source.enabled를 true로 설정해요.
3. OpenSearch Dashboards에 접속한 다음 Dashboards Management > Saved objects로 이동해요.
4. Import > Select file을 선택하고 연결된 데이터 소스에서 받은 파일을 업로드해요.
5. 드롭다운 메뉴에서 적절한 Data source를 선택하고, Conflict management 옵션을 설정한 다음 Import 버튼을 선택해요.

---

인증 방식 표시하거나 숨기기

Introduced 2.13 {: .label .label-purple }

opensearch_dashboards.yml 파일의 기능 플래그를 사용하면 data_source 플러그인 내에서 인증 방식을 표시하거나 숨길 수 있어요. 다음 설정은 AWSSigV4 인증 방식을 숨겨요.

# Set enabled to false to hide the authentication method from multiple data source in OpenSearch Dashboards.
# If this setting is commented out, then all three options will be available in OpenSearch Dashboards.
# The default value will be considered as true.
data_source.authTypes:
   NoAuthentication:
     enabled: true
   UsernamePassword:
     enabled: true
   AWSSigV4:
     enabled: false

다음 데모에서 이 과정을 확인할 수 있어요.

로컬 클러스터 표시하거나 숨기기

Introduced 2.13 {: .label .label-purple }

opensearch_dashboards.yml 파일의 기능 플래그를 사용하면 data_source 플러그인 내에서 로컬 클러스터 옵션을 숨길 수 있어요. 이 옵션은 데이터 소스 드롭다운 메뉴와 인덱스 생성 페이지에서 로컬 클러스터를 숨겨서, 로컬 OpenSearch 클러스터가 있는 환경이든 없는 환경이든 적합해요. 다음 예시 설정(20초짜리 데모에서 확인 가능)은 로컬 클러스터를 숨겨요:

# hide local cluster in the data source dropdown and index pattern creation page.
data_source.hideLocalCluster: true

다음 데모에서 이 과정을 확인할 수 있어요.

---

외부 Dashboards 플러그인에서 여러 데이터 소스 사용하기

2.14에 도입 {: .label .label-purple}

다음 플러그인들은 이제 여러 데이터 소스를 지원해요.

Index management

data_source.enabled:true로 설정하면 인터페이스에서 바로 데이터 소스와 연결된 인덱스를 조회하고 선택할 수 있어요:

1. 메인 메뉴에서 Management > Index Management로 이동해요.
2. 사이드바 메뉴에서 Indexes를 선택하고, 오른쪽 상단 메뉴 바에서 {::nomarkdown}{:/} (데이터베이스) 아이콘을 선택해요.
3. 드롭다운 메뉴에서 적절한 데이터 소스를 고르고, 목록에서 적절한 인덱스를 선택해요. 기본적으로는 기본 데이터 소스의 인덱스들이 표시돼요. 연결된 데이터 소스를 골라서 해당 인덱스들을 확인할 수도 있어요.

다음 GIF는 이 단계들을 보여 줘요.

데이터 소스 안의 특정 인덱스에 대해 작업을 수행하려면 목록에서 해당 인덱스를 선택해요. 새 인덱스를 만들려면 Create Index 버튼을 선택하세요. 그러면 폼이 열려요. 필요한 정보를 입력하고 Create 버튼을 선택해요. 그러면 선택한 데이터 소스 안에 인덱스가 생성돼요. 다음 GIF는 이 단계들을 보여 줘요.

Anomaly detection

data_source.enabled:true로 설정하면 데이터 소스에 연결된 탐지기를 만들거나 조회할 수 있어요:

1. 메인 메뉴에서 OpenSearch Plugins > Anomaly Detection으로 이동해요.
2. 오른쪽 상단 메뉴 바에서 데이터베이스 아이콘을 선택하면 연결된 데이터 소스 목록을 볼 수 있어요.
3. 데이터 소스를 선택하면 연결된 탐지기 목록이 표시돼요. 선택한 데이터 소스에 탐지기가 없으면 오른쪽 상단 메뉴 바 아래에 Create detector 버튼이 나타나요. 인터페이스를 통해 탐지기를 만드는 방법은 이상 탐지기 만들기를 참고하세요.

다음 GIF는 이 단계들을 보여 줘요.

왼쪽 사이드바의 Detectors 탭에서 데이터 소스에 연결된 탐지기를 편집할 수 있어요.

1. Detectors를 선택하고, 오른쪽 상단 메뉴 바에서 {::nomarkdown}{:/} (데이터베이스) 아이콘을 선택해요.
2. 드롭다운 메뉴에서 적절한 데이터 소스를 선택해요. 그러면 연결된 탐지기 목록이 나타나요.
3. 목록에서 탐지기를 고르고, Actions를 선택한 다음 드롭다운 메뉴에서 적절한 편집 옵션을 골라요.
4. 해당하는 설정과 구성 세부 정보를 입력해요.

다음 GIF는 이 단계들을 보여 줘요.

Security

data_source.enabled:true로 설정하면 연결된 각 데이터 소스의 역할을 조회하고 관리할 수 있어요:

1. 메인 메뉴에서 Management > Security로 이동해요.
2. 왼쪽 사이드바 메뉴에서 Roles를 선택하고, 오른쪽 상단 메뉴 바에서 {::nomarkdown}{:/} (데이터베이스) 아이콘을 선택해요.
3. 드롭다운 메뉴에서 적절한 데이터 소스를 선택하고, 새 역할을 추가하려면 Create role 버튼을 선택해요.
4. 필요한 구성 정보를 입력하고 저장하려면 Create 버튼을 선택해요.

다음 GIF는 이 단계들을 보여 줘요.

Maps

data_source.enabled:true로 설정하면 현재 레이어로 사용 중인 데이터 소스를 포함해, 사용 가능한 모든 데이터 소스를 지도에서 볼 수 있어요:

1. 메인 메뉴에서 OpenSearch Plugins > Maps로 이동해요.
2. 드롭다운 메뉴에서 적절한 데이터 소스를 선택해 연결된 지도 레이어를 편집하거나 새로 만들어요:

• Layers 드롭다운 메뉴에서 레이어를 하나 선택해 편집해요. 팝업 창에서 설정을 확인하고 필요에 따라 수정해요.
• 드롭다운 메뉴에서 Add layer 버튼을 선택하고, 팝업 창에서 Documents를 선택하면 새 레이어를 추가할 수 있어요. 그러면 오른쪽에 팝업 창이 하나 더 나타나요. Data 탭에 필요한 정보를 입력해요. 이때 인덱스 패턴 이름 앞에 데이터 소스 이름이 붙는다는 점에 유의하세요. Style 탭과 Settings 탭에는 선택적인 정보가 있어요.
• 설정을 저장하려면 Update를 선택해요.

3. 메뉴 바에서 Save 버튼을 선택해 편집한 레이어나 새 레이어를 저장해요.
4. 오른쪽 상단 메뉴 바에서 {::nomarkdown}{:/} 아이콘을 선택해 새 데이터 소스가 드롭다운 메뉴에 표시되는지 확인해요.

다음 GIF는 이 단계들을 보여 줘요.

Machine learning

data_source.enabled:true로 설정하면 연결된 여러 데이터 소스의 머신 러닝 모델을 조회하고 관리할 수 있어요:

1. 메인 메뉴에서 OpenSearch Plugins > Machine Learning으로 이동해요.
2. {::nomarkdown}{:/} 아이콘을 선택하고 드롭다운 메뉴에서 데이터 소스를 골라요. 그러면 선택한 데이터 소스에 연결된 모델 목록이 표시돼요.
3. 목록에 있는 모델 오른쪽의 {::nomarkdown}{:/} 아이콘을 선택하면 선택한 데이터 소스에 대한 모델 구성 세부 정보를 볼 수 있어요.

다음 GIF는 이 단계들을 보여 줘요.

Notifications

data_source.enabled:true로 설정하면 여러 데이터 소스의 알림 채널을 조회하고 관리할 수 있어요:

1. 메인 메뉴에서 Management > Notifications로 이동해요.
2. {::nomarkdown}{:/} 아이콘을 선택하고 드롭다운 메뉴에서 데이터 소스를 골라요. 그러면 선택한 데이터 소스에 연결된 채널 목록이 표시돼요.
3. 목록에서 채널을 골라 설정을 조회하거나 관리해요.

• Actions 버튼을 선택하고 Edit 옵션을 고르면 채널 설정을 편집할 수 있어요. Edit channel 패널에 필요한 정보를 입력하고 Save를 선택해요.
• Edit channel 창에서 Send test message 버튼을 선택해 채널로 테스트 메시지를 보낼 수 있어요. 또는 채널 세부 정보 창에서 Actions 버튼을 선택한 다음 드롭다운 메뉴에서 Send test message 옵션을 골라도 돼요.

다음 GIF는 이 단계들을 보여 줘요.

Search relevance

data_source.enabled:true로 설정하면 여러 데이터 소스의 인덱스에 걸쳐 검색 결과를 비교할 수 있어요:

1. 메인 메뉴에서 OpenSearch Plugins > Search Relevance로 이동해요.
2. {::nomarkdown}{:/} 아이콘을 선택하고 드롭다운 메뉴에서 데이터 소스를 골라요. 그러면 사용 가능한 데이터 소스 목록이 표시돼요.
3. Query 1과 Query 2 각각에서 데이터 소스와 인덱스를 선택해요.
4. Search 버튼을 선택해 쿼리를 실행해요. 쿼리 결과는 각각의 결과 패널에 표시돼요.

다음 GIF는 이 단계들을 보여 줘요.

Security Analytics

2.15에 도입 {: .label .label-purple}

data_source.enabled:true로 설정하면 탐지 규칙 같은 Security Analytics 리소스를 연결된 여러 데이터 소스에 걸쳐 조회하고 관리할 수 있어요:

1. 메인 메뉴에서 OpenSearch Plugins > Security Analytics로 이동해요.
2. {::nomarkdown}{:/} 아이콘을 선택하고 드롭다운 메뉴에서 데이터 소스를 골라요.
3. 왼쪽 내비게이션 메뉴에서 Detectors > Detection rules를 선택해요. 그러면 탐지 규칙 목록이 표시돼요.
4. 규칙을 선택하면 해당 규칙에 대한 자세한 정보가 담긴 팝업 창이 열려요.

다음 GIF는 이 단계들을 보여 줘요.

1. 메인 메뉴에서 OpenSearch Plugins > Security analytics로 이동해요.
2. {::nomarkdown}{:/} 아이콘을 선택하고 드롭다운 메뉴에서 데이터 소스를 골라요.
3. 왼쪽 내비게이션 메뉴에서 Detectors > Detection rules를 선택해요.
4. 오른쪽 상단에서 Create detection rule 버튼을 선택하고, Create detection rule 창에 필요한 구성 세부 정보를 입력해요.
5. 오른쪽 아래에서 Create detection rule 버튼을 선택해 규칙을 저장해요. 그러면 이제 규칙이 데이터 소스에 연결돼요.

다음 GIF는 이 단계들을 보여 줘요.

Alerting

2.15에 도입 {: .label .label-purple }

data_source.enabled:true로 설정하면 연결된 여러 데이터 소스에 걸쳐 alerting 모니터를 조회하고 관리할 수 있어요:

1. 메인 메뉴에서 OpenSearch Plugins > Alerting으로 이동해요.
2. {::nomarkdown}{:/} 아이콘을 선택하고 드롭다운 메뉴에서 데이터 소스를 골라요. 그러면 연결된 모니터 목록이 표시돼요.
3. 모니터를 선택하면 세부 정보를 볼 수 있어요.

다음 GIF는 이 단계들을 보여 줘요.

새 모니터를 만들려면 Create monitor를 선택해요. 폼을 작성하고 Create를 선택해요. 그러면 선택한 데이터 소스 안에 모니터가 생성돼요.

Dashboards 애플리케이션에서 alerting 모니터 관리하기

Dashboards 안에서 데이터 소스 모니터를 관리하려면:

1. 메인 메뉴에서 Dashboards 애플리케이션으로 이동하고, 목록에서 대시보드를 하나 선택해요.
2. 대시보드에서 {::nomarkdown}{:/} (줄임표) 아이콘을 선택해 Options 드롭다운 메뉴를 열고, Alerting을 선택해요.
3. Alerting 드롭다운 메뉴에서 Associated monitors를 골라 구성 창을 열어요.
4. 목록에서 모니터를 선택해 세부 정보를 조회하거나 편집해요.

다음 GIF는 이 단계들을 보여 줘요.

모니터를 데이터 소스에 연결하려면:

1. 메인 메뉴에서 Dashboards 애플리케이션으로 이동하고, 목록에서 대시보드를 하나 선택해요.
2. 대시보드에서 {::nomarkdown}{:/} (줄임표) 아이콘을 선택해 Options 드롭다운 메뉴를 열고, Alerting을 선택해요.
3. Alerting 드롭다운 메뉴에서 Add alerting monitor를 골라 구성 창을 열어요.
4. 구성 정보를 입력하고 Create monitor 버튼을 선택해요. 그러면 이제 모니터가 데이터 소스에 연결돼요.

다음 GIF는 이 단계들을 보여 줘요.

---

다음 단계

여러 데이터 소스를 구성한 후에는 각 소스의 데이터를 분석할 수 있습니다. 자세한 내용은 다음 리소스를 참조하세요:

• 인덱스 패턴
• 인덱스 관리
• OpenSearch Dashboards를 통한 OpenSearch와 Amazon S3 연결
• OpenSearch 통합

더 알아보기 (Learn more)

• 원문 전체: https://docs.opensearch.org/latest/dashboards/management/multi-data-sources/