생성형 AI는 기업의 생산성을 높이고 새로운 비즈니스 기회를 창출할 수 있는 잠재력을 가지고 있지만, 모든 기업이 성공적으로 도입하는 것은 아닙니다.
822명의 기업 리더와 이사회 임원을 대상으로 실시한 가트너의 새로운 설문조사 결과, 현재 9%의 기업이 생성형 AI를 활용해 비즈니스 모델을 혁신하고 새로운 비즈니스 기회를 창출하고 있다고 나타났습니다. 하지만 데이터 품질 저하, 부적절한 리스크 관리, 비용 상승, 불분명한 비즈니스 가치 등으로 인해 2025년 말까지 이런 프로젝트의 약 1/3은 중단될 것이라는 결과도 나왔습니다.
여전히 “할루시네이션(Hallucination)” 문제, 즉 AI가 잘못된 정보를 생성하는 문제는 해결해야 할 과제로 남아 있습니다. 이러한 점에서, 생성형 AI의 적용은 제한적이지만 계속해서 발전할 여지가 크다는 점을 시사합니다.
그러한 이유로 생성형 AI의 정확도를 개선하기 위해 전통적인 AI를 사용하는 방법에 대해 살펴보고자 합니다. 전통적인 AI와 생성형 AI는 각기 다른 방식으로 데이터를 처리하고 결과를 생성하지만, 이 두 기술을 적절히 결합하면 보다 높은 정확도를 이끌어낼 수 있습니다.
생성형 AI의 작동 방식은 종종 ‘블랙박스’로 평가됩니다. 즉, AI가 어떤 데이터를 기반으로 결과를 도출했는지, 각 결정 과정에서 어떤 요소가 작용했는지 명확히 알기 어렵습니다. 이로 인해 데이터의 출처나 품질을 확인하기 어려워지며, 잘못된 정보를 제시할 가능성도 높아집니다. 이러한 투명성 부족 문제는 사용자에게 불신을 초래하고, 기술에 대한 수용도를 낮출 수 있습니다
골드만삭스는 최근 보고서를 통해 생성형 AI에 대한 기대감으로 대형 IT 업체부터 일반 기업, 공공 기관 등이 향후 몇 년 동안 데이터 센터, GPU, 네트워크 확장 및 기타 AI 인프라에 약 1조 달러를 투자할 것으로 전망했습니다. 그러나 현재까지 이런 투자가 개발자의 효율성 향상에 대한 보고를 제외하고는 큰 성과를 거두지 못했다고 평가했습니다.
최근 많은 기업들이 생성형 AI를 접목한 시스템을 구축하고 싶어 하지만, 초기에 많은 비용과 할루시네이션 및 데이터 정확도, 그리고 신뢰도 문제로 시스템 구축에 주저하는 입장입니다. LLM 업체 입장에서는 정확도 개선을 위해 더 많은 데이터와 장비를 투입하여 학습을 더 시키면 나아진다고 얘기합니다. 그러나 마냥 데이터와 장비를 추가하여 학습에만 의존하는 것은 그 비용 측면에서 감당이 어렵고, “블랙박스”만 바라보는 것도 끝이 보이지 않는 방법일 수 있습니다.
이러한 이유로 생성형 AI에 전통적인 AI를 결합한 시스템(Generative AI with AI)의 필요성이 대두되고 있습니다. 즉, 각각의 장점을 살려 시스템을 구축한다면 낮은 비용으로 데이터의 정확도 및 신뢰도를 갖춘 생성형 AI가 접목된 시스템을 구축할 수 있습니다
전통적인 AI의 역할
전통적인 AI는 규칙 기반 시스템, 머신러닝, 그리고 딥러닝 모델을 활용하여 주어진 데이터를 분석하고 예측하는 데 중점을 둡니다. 이러한 시스템은 이미 구축된 데이터 세트를 통해 패턴을 학습하고, 이를 바탕으로 새로운 데이터에 대한 예측을 수행합니다. 예를 들어, 통계적 모델링이나 예측 분석을 통해 중요한 비즈니스 인사이트를 도출할 수 있으며, 이는 생성형 AI의 출력을 보완하는 데 큰 도움이 됩니다.
생성형 AI의 활용
생성형 AI는 주어진 입력 데이터를 기반으로 새로운 콘텐츠를 생성하는 데 중점을 둡니다. 이는 텍스트, 이미지, 비디오 등 다양한 형태의 콘텐츠를 포함하며, 특히 창의적인 분야에서 그 빛을 발합니다. 그러나 생성형 AI는 종종 높은 정확도를 요구하는 비즈니스 적용 사례에서 초기 단계에 있는 경우가 많아, 생성된 결과물의 품질을 보장하기 위해 전통적인 AI의 도움이 필요합니다.
생성형 AI와 전통적 AI의 협업 아키텍처
전통적인 AI 영역에서는 다양한 데이터를 통합 가공 처리하여 분석 마트를 구축하고 과거 데이터의 패턴에 따라 예측 모형을 만들 수 있는 기능과 업무 프로세스에 따라 의사결정 구조를 설계 관리할 수 있는 기능 구조를 담당합니다. 생성형 AI는 상용 API를 활용하거나 오픈소스 LLM을 활용하여 컨텐츠를 생성하고 요약하는 역할을 담당하는 아키텍처로 구성합니다. 전체적인 프로세스 관리는 전통적인 AI 영역에서 LLM을 Orchestration하는 형태로 정확도를 보장하고 신뢰성을 향상시킬 수 있는 구조입니다.
협업을 통한 시너지 효과
전통적인 AI를 활용하여 생성형 AI의 성능을 향상시킬 수 있는 몇 가지 방법은 다음과 같습니다.
- 데이터 품질 개선: 전통적인 AI 모델의 분석 기능을 통해 기존 데이터의 품질을 향상시킬 수 있습니다. 데이터의 정확도와 일관성을 높이는 과정은 생성형 AI의 학습 데이터 세트를 더 신뢰할 수 있도록 만들며, 결과적으로 생성된 콘텐츠의 품질도 개선됩니다.
- 하이브리드 모델 개발: 전통적인 AI의 분석 기능과 생성형 AI의 생성 기능을 결합하여 하이브리드 모델을 개발할 수 있습니다. 이렇게 할 경우, 전통적인 AI가 상황에 맞는 규칙과 기준을 제공하여 생성형 AI의 결과물이 더욱 정확하고 적절하게 생성될 수 있습니다.
아래의 예시 화면은 전통적인 AI 분석 플랫폼이 고객의 거래 실적 정보를 바탕으로 고객의 가치 지수, 불만 제기 가능성, 이탈 가능성에 대한 스코어링을 실시간으로 분석한 후 그 정보를 생성형 AI에게 전달하여 고객에게 정확한 답변을 할 수 있도록 구축한 것입니다.
- 피드백 루프 구축: 생성형 AI의 결과에 대한 평가를 통해 전통적인 AI 모델이 학습할 수 있는 피드백 루프를 구축할 수 있습니다. 생성된 콘텐츠의 품질을 평가하여 생성형 AI 모델에 피드백을 제공하면, 모델이 더욱 정교하게 발전될 수 있으며, 이에 따라 정확도가 높아집니다.
- 정밀한 예측 및 반응분석: 전통적인 AI 시스템은 생성형 AI의 출력을 분석함으로써 비즈니스 의사결정을 지원하는 중요한 역할을 할 수 있습니다. 예를 들어, 생성형 AI가 작성한 마케팅 콘텐츠가 실제 고객 반응에 미치는 영향을 전통적인 AI가 실시간으로 분석하여 의미 있는 인사이트를 제공할 수 있습니다.
- 실시간 의사결정 지원: SAS와 같은 전통적인 AI 시스템에서 고객의 불만 및 요청 유형에 따라 비즈니스 프로세스에 맞게 워크플로우를 설계하고 실시간 의사결정 Flow에 따라 비즈니스 의사결정 프로세스를 처리함으로써 비즈니스 상황에 맞는 Best Next Action을 만드는 방식입니다. 생성형 AI는 이 정보를 바탕으로 컨텐츠를 생성하거나 고객 접점에 응대 할 수 있도록 처리할 수 있습니다.
아래 예시 화면은 생성형 AI와 연계된 SAS의 실시간 의사결정 워크플로우를 적용하여, 상황에 맞춰 고객에게 생성형 AI가 응대할 수 있도록 의사결정을 지원하는 모습입니다.
최근 생성형 AI와 전통적인 AI가 함께 강조되는 이유는 기업들이 데이터 기반 의사결정을 내리는 데 있어 더욱 정교해진 기술을 요구하기 때문입니다. 특히, 전 세계적으로 생성형 AI의 활용도가 높아지는 지금, SAS와 같은 전통적인 AI 솔루션을 통해 보다 신뢰성 있는 결과를 도출할 수 있는 기회가 넓어지고 있습니다.
이와 같이 전통적인 AI를 활용하여 생성형 AI의 정확도를 개선하는 방법은 데이터 품질 관리부터 하이브리드 모델의 개발까지 다양합니다. 최종적으로 이러한 접근 방식은 생성형 AI가 실제 비즈니스 환경에서 더욱 효과적으로 활용될 수 있도록 돕는 중요한 역할을 할 수 있습니다.
