클라우드 기반 AI 분석 플랫폼인 SAS Viya 4에는 여러 가지 유용한 기능이 있습니다. 이번 글에서는 SAS Viya 4를 위한 Logging & Monitoring 기능에 대해 소개 드리겠습니다.
1. Logging & Monitoring 이란 무엇인가?
Logging과 Monitoring은 해석 그대로, 해당 서비스에 대한 로그 기록과 상태를 시각적으로 표시해주는 것을 의미합니다. 기존 SAS Viya 3.5에서는 SAS Environment Manager를 통해 서비스의 로그와 모니터링 기능을 사용할 수 있었지만, Viya 4에서는 해당 기능을 Open Source Tool인 OpenSearch와 Grafana를 통해 서버의 Resource를 세밀하게 관리할 수 있습니다.
<그림 1> 기존 SAS Viya 3.5에서 제공되는 Monitoring 기능
<그림 2> 기존 SAS Viya 3.5에서 제공되는 Logging 기능
2. OpenSearch와 Grafana란 무엇인가?
Kubernetes, Docker 등에 익숙하지 않은 사용자들은 OpenSearch와 Grafana에 대해 생소할 것입니다. 각각에 대해 간략히 소개해 보겠습니다.
2-1. OpenSearch
OpenSearch는 검색 및 분석을 위한 강력하고 확장 가능한 엔진으로, Elasticsearch와 유사한 구조와 기능을 갖추고 있습니다. 다음은 OpenSearch의 주요 특징 및 구성 요소입니다:
- Full-Text 검색: OpenSearch는 문서의 전문(full-text) 검색을 지원하며, 정교한 검색 쿼리 및 필터링을 통해 사용자가 효율적으로 데이터를 검색할 수 있습니다.
- 분산 검색 및 분석: OpenSearch는 여러 노드로 구성된 클러스터에서 작동하며, 데이터의 색인화 및 검색을 분산하여 처리합니다. 이는 대규모 데이터셋에 대한 높은 성능을 제공합니다.
- RESTful API: OpenSearch는 RESTful API를 통해 쉽게 통합할 수 있습니다. HTTP 기반의 API를 통해 데이터를 쿼리하고 조작할 수 있습니다.
- 다양한 플러그인: OpenSearch는 다양한 플러그인을 지원하여 검색 및 분석 기능을 확장할 수 있습니다. 이를 통해 특정 요구사항에 맞게 확장성을 갖출 수 있습니다.
2-2. Grafana
Grafana는 오픈 소스 데이터 시각화 및 모니터링 도구로서, 다양한 데이터 소스에서 데이터를 가져와 그래픽 및 대시보드를 생성할 수 있습니다. Prometheus, InfluxDB, Elasticsearch, MySQL 등 다양한 Back-end와 통합할 수 있으며, 간단한 대시보드부터 복잡한 대시보드까지 여러 종류의 시각화를 제공합니다.
- 다양한 데이터 소스 지원: Grafana는 여러 데이터 소스와 통합할 수 있으며, 다양한 데이터베이스 및 메트릭 시스템과 연동 가능합니다.
- 간결한 대시보드 구성: 사용자가 직관적으로 대시보드를 구성할 수 있는 사용자 친화적인 인터페이스를 제공합니다.
- 풍부한 시각화 옵션: 다양한 차트 및 시각화 옵션을 제공하여 사용자가 데이터를 쉽게 이해하고 분석할 수 있도록 돕습니다.
- 알람 및 경고: Grafana는 시계열 데이터를 기반으로 알람 및 경고 기능을 제공합니다.
- 팀 협업: 대시보드를 공유하고 다른 사용자와 협업할 수 있는 기능을 제공합니다.
Prometheus와 Grafana를 함께 사용하면, Prometheus로 수집한 메트릭 데이터를 Grafana에서 시각적으로 표현하고 모니터링하는데 효과적으로 활용할 수 있습니다.
3. OpenSearch와 Grafana 설치
SAS Viya 4에 Opensearch와 Grafana를 적용하기 위한 방법은 매우 간단합니다. SAS는 유저가 실제로 구성 및 사용에 용이하도록 OpenSearch와 Grafana를 사전 구성하여 제공합니다. SAS에서 제공하는 Git-hub 사이트(https://github.com/sassoftware/viya4-monitoring-kubernetes)에서 해당 리소스를 받아 서버로 업로드 합니다. 또는 git 명령어를 통해 서버에서 직접 다운로드 받을 수 있습니다.
<그림 3> git 명령어를 통해 서버로 리소스 다운로드
<그림 4> 서버로 업로드 이후 viya4-monitoring-kubernetes 내부
서버로 리소스를 받으신 이후 확인해보면, logging과 monitoring이라는 디렉터리를 확인할 수 있습니다. Logging이 Opensearch, Monitoring이 Grafana의 구성을 담당하는 디렉터리입니다.
먼저, OpenSearch의 구성을 담당하는 Logging 디렉터리를 확인해보겠습니다.
<그림 5> Viya 4 Logging 디렉터리
user.env 파일에서 해당 솔루션이 설치된 후 사용할 admin 계정에 대한 password를 지정할 수 있으며, user-values-osd.yaml 파일에서는 설치되는 서버를 지정할 수 있고, values-opensearch-open.yaml 파일에서는 설치될 Storage Class를 지정할 수 있습니다.
다음으로, Grafana의 구성을 담당하는 Monitoring의 디렉터리를 확인해보겠습니다.
<그림 6> Viya 4 monitoring 디렉터리
Grafana의 구성을 담당하는 Monitoring 디렉터리 역시, admin 계정에 대한 password, 설치 시 디렉터리 변경 등이 가능하도록 파일들이 존재합니다. 동일하게 수정하여 구성할 수 있습니다.
구성이 완료된 후에는, 각 디렉터리 아래의 bin 디렉터리에 deploy_xxxxx.sh 파일을 통해 각 솔루션을 설치할 수 있습니다.
<그림 7> Viya 4 Logging, monitoring 설치 파일
위 파일을 통해 설치가 완료되면, 스크립트 상으로 실제 접속 가능한 URL를 알려줍니다. 해당 접속 URL을 통해 접속 후, 기존 설정했던 관리자 ID/PW로 접근이 가능합니다.
<그림 8> OpenSearch 설치 완료 이후 제공되는 URL
<그림 9> OpenSearch Dashboards 화면
<그림 10> Grafana 설치 완료 이후 제공되는 URL
<그림 11> Grafana 홈 화면
<그림 12> Grafana Kubernetes cluster 대시보드 화면
Grafana는 Dash Board를 유저에 맞게 개발할 수 있는 장점을 갖고 있습니다. 하지만 이런 번거로움을 피하기 위해, SAS는 Viya 4에 맞춘 Dash Board를 사전에 구성하여 사용자가 바로 사용 가능할 수 있도록 구성하였습니다. 좌측 SAS Viya Dashboards for Administrators에 조회되는 리스트를 통해 확인 가능합니다.
4. 정리
지금까지 SAS Viya 4에서 사용 가능한 Logging & Monitoring 기능에 대해 확인해 보았습니다. 기존 Viya 3.5에서 제공되는 대시보드와 비교했을 때, 세부적이고 다양한 정보를 확인할 수 있다는 점은 사용자에게 더욱 편리함을 제공할 것입니다. SAS Viya 4와 함께 OpenSearch, Grafana를 사용하여 효율적인 분석 플랫폼을 활용하시길 바랍니다.
