AI/ML 모델 개발 상의 어려움과 이를 해결하기 위한 접근법으로서 ModelOps의 필요성이 대두되고 있습니다. (참조 : AI/ML 기반 모델 개발, 과제와 해결방안은?) 이번 글에서는 ModelOps가 구체적으로 어떤 제품인지, 어떤 장점을 제공하며 구현방법은 어떠한지 등에 대해 설명드리도록 하겠습니다. 이에 앞서 ModelOps의 구현에 중요한 역할을 하는 ‘모델 거버넌스’에 대해 잠깐 짚어보도록 하겠습니다.
모델 거버넌스는 조직 내에서 모델의 개발, 배포, 모니터링, 유지보수 등의 생명 주기를 통제하고 관리하는 프로세스, 조직 및 역할의 정의와 체계를 말합니다. 이는 모델의 안정성, 신뢰성, 안전성, 투명성을 보장하고, 규제 요구사항과 윤리적 측면을 준수하기 위해 필요합니다. 또한, 모델 거버넌스는 모델의 성능과 결과를 추적하고 측정하여, 조직의 의사결정에 영향을 미치는 모델들을 효과적으로 관리하는 것을 목표로 합니다.
ModelOps는 모델 거버넌스에서 정의된 프로세스, 역할, 책임 및 규칙 등의 체계를 구현합니다. 또한 생성된 모델을 신속하게 등록, 배포하며 모니터링을 수행하고, 재학습 및 재모델링을 하도록 하는 동시에, 규제 및 추적 가능성 등을 구현할 수 있게 해 줍니다.
그림 1) ModelOps를 위한 Framework(구성 요소)
1. ModelOps 프레임워크에서 X-Ops와의 연관 관계
가트너에서는 ModelOps를 ‘광범위한 AI 및 의사 결정 모델의 거버넌스와 수명주기 관리'에 중점을 두어 설명합니다. 즉, AI 모델의 재조정, 재학습 또는 재구축을 지원하여 AI 기반 시스템 내에서 모델의 개발, 운영 및 유지 관리 사이에 중단 없는 프로세스를 제공하는 방법론’이라고 정의합니다. SAS는 이러한 정의에 맞추어 관련 컨설팅과 플랫폼 및 제품들을 제공합니다.
마이크로소프트 또는 구글 등에서는 ModelOps와 유사한 개념으로 MLOps(Machine Learning/Operation)를 정의하고, 이를 위한 프레임워크 및 제품을 제공하고 있습니다. 일부에서는 MLOps와 유사한 방법론을 AIOps라고도 합니다.
구글에서는 MLOps를 “ML 모델을 효과적으로 개발, 배포, 운영, 유지 보수하는 방법론”이라고 했으며, 가트너에서는 “DevOps 원칙에 따라 기계 학습(ML) 모델을 프로덕션에 적용하는 프로세스”로 정의했고, 가트너가 정의한 ModelOps의 일부분이라고 했습니다. 모델 거버넌스가 포함된 ModelOps가 MLOps 보다 포괄적인 방법론이라고 할 수 있겠습니다.
X-Ops의 시작은 DevOps입니다. DevOps 방법론에 데이터 수집, 처리, 저장 및 품질 등의 자동화 기능과 검색, 탐색 등을 포함한 것이 DataOps이고, 이 DataOps 기반에 모델의 생성, 배포, 운영 및 성능 관리 등의 기능과 각 기능들 간의 플랫폼 자동화를 포함한 것이 MLOps이며, MLOps에 모델 거버넌스를 융합한 것이 ModelOps라 볼 수 있습니다. 또한 DataOps 관련 작업을 Data Engineering이라고 하며, MLOps 또는 ModelOps 영역의 작업을 ML Engineering이라고 합니다. 각각의 작업을 수행하는 역할을 각각 Data Engineer와 ML Engineer라고 하는데, 이 둘은 요즘 데이터 사이언티스트보다 더 인기 있는 직업입니다.
그림 2) DevOps 부터 ModelOps까지
ModelOps 프레임워크의 X-Ops는 데이터 영역에서는 DataOps, 배포 영역은 DevOps, 모델의 개발, 실행 및 성능 모니터링의 영역을 MLOps 또는 AIOps, 프레임워크 전 영역은 ModelOps 가 적용된다고 요약할 수 있습니다.
그림 3) ModelOps Framework에서의 X-Ops
2. ModelOps 구현 방법
ModelOps를 도입 및 실행하기 위해서는 다양한 역할과 활동이 필요합니다. 그 주요 내용은 아래와 같습니다.
- 업무 전문가(Business): 해당 분야의 전문 지식을 기반으로 개선 과제 및 목적 설정, 모델의 적용 여부에 대한 손익을 분석하고 검토
- 데이터 사이언티스트(Data Scientist): 통계 및 수학적 전문 지식을 기반으로 모델 생성, 모니터링 등을 수행하고 시민 데이터 사이언티스트를 지원
- 시민 데이터 사이언티스트(Citizen Data Scientist): 업무 지식을 토대로 시각화 및 자동화 도구를 이용하여 데이터 사이언티스트가 주로 수행하는 모델의 생성, 모니터링 등을 수행
- 분석 책임자 (Head of Analytics): 업무 개선 결과와 모델의 생애 주기를 이해하고 프로젝트의 전 과정을 이끌며, 모델의 적용 여부 등의 주요 의사 결정
- CxO: 전사의 목표, 윤리 및 규제 등에 대한 제언, 지원 및 관련 의사 결정
- IT/DevOps: 모델 배포 및 성능 모니터링
- Data Engineer/DataOps: 데이터 연계, 통제 및 품질 관리
각각의 역할과 책임 기반의 모델 생애 주기 프로세스, 즉 모델 생성 및 적용, 모니터링 프로세스 등을 정의하여 ModelOps를 구현하게 되면, 이러한 다양한 부서의 담당자들이 투명하게 모델의 운영 현황을 점검하며 효율적으로 협업해 나갈 수 있다는 장점이 있습니다. 각 부서 관점에서 필요한 사항들을 다면적으로 반영할 수 있다는 측면에서 매우 효과적이고 생산적인 접근법이라고 하겠습니다.
ModelOps의 도입을 위해서는 우선 이를 실행할 수 있는 플랫폼이 필요합니다. SAS Viya와 같은 데이터 분석 플랫폼 위에 각 영역을 지원하는 도구들을 구동해야 합니다. 다양한 오픈 소스 또는 벤더의 소프트웨어가 필요하며 이를 통합하기 위한 도구들도 있습니다. SAS Viya의 경우는 ModelOps를 구현하기 위한 기능들이 하나의 플랫폼으로 통합되어 있습니다. 이 외에, 써드파티 개발 플랫폼, 또는 외부 앱에서 오프 소스로 개발된 모델을 통합 레파지토리에 등록 및 조회할 수 있는 Viya 서비스를 REST-API를 통해 제공하고 있습니다. 아울러, Github와 같이 코드 레파지토리와의 연계 기능도 제공합니다.
그림 4) ModelOps의 각 영역을 구현하는 도구 및 플랫폼
3. ModelOps의 도입 효과
ModelOps를 도입하면 사업 관점에서는 첫번째, 새로운 사업 또는 기존의 사업에 최신 기법을 적용한 신속한 모델 운영화로 기업의 경쟁력 우위를 선점할 수 있습니다. 두번째, 지속적인 모델의 개선으로 업무 성과가 향상되어, 매출 증가 또는 비용 감소로 나타납니다. 세번째, 정확한 데이터 기반의 분석 및 투명성 있는 모델 기반 예측으로 신속하고 신뢰성 높은 의사 결정이 가능해져 위험을 최소화합니다.
IT 관점에서는 첫번째, 체계적인 프레임워크 기반에 안정적인 모델 개발 및 운영이 가능합니다. 두번째, 지속적인 모니터링 및 관리를 통해 모델의 품질을 향상시킵니다. 세번째, 명확한 역할과 책임 기반의 분석 생애 주기 전 과정을 최대한 자동화함으로써 신속한 개발 및 모델 배포가 이루어집니다.
지금까지 AI/ML 기반 분석의 한계점이 무엇인지를 살펴보고, 이를 극복하기 위한 방안으로 ModelOps의 역할, 도입 방법, 도입 효과 등을 알아보았습니다. 효과적인 모델 관리는 물론 정확하고 투명한 업무 처리로 효율성을 향상시키는 ModelOps의 도입으로 기업의 회복탄력성과 경쟁력을 한층 강화하시기 바랍니다.
