디지털 시대의 도래와 함께 수많은 정보와 데이터가 빠르게 생성되면서 사회 다양한 분야에서 빅데이터가 폭넓게 활용되고 있습니다. 기업들도 비즈니스 데이터를 수집, 분석해서 상당한 가치를 얻을 수 있음을 잘 이해하고 있는데요. 하지만 사실 분석 활동이라는 개념은 예전부터 있었습니다. 수십 년 전인 1950년대에도 기업들은 트렌드를 파악하고 인사이트를 얻기 위해 기본적인 분석을 하고 있었습니다.
과거 분석 활동과 비교했을 때 빅데이터 분석의 등장으로 새롭게 얻게 된 혜택은 속도와 효율성입니다. 이전까지 기업이 데이터 수집과 분석을 통해 향후 의사 결정에 사용할 수 있는 정보를 찾아냈다면, 오늘날은 빅데이터 분석을 통해 즉각적인 의사 결정에 필요한 인사이트를 신속하게 확인할 수 있게 됐습니다. 빅데이터 분석으로 더 빠르게 일하고, 민첩성을 유지하는 능력을 갖게 되면서 과거에는 없던 새로운 경쟁력을 가질 수 있게 된 것입니다.
실제로 여러 산업 분야에서 빅데이터를 활용해 가시적인 성과를 거뒀습니다. 핀란드 국영 철도 기업 VR그룹은 사물인터넷(IoT)에 기반한 빅데이터 분석을 도입해 고객들이 철도 운행 지연 때문에 불만을 갖지 않도록 유지 보수 경쟁력을 확보했습니다. VR그룹은 여러 시스템에 센서를 장착해 마모나 기타 결함을 모니터링하고, 새로운 데이터와 이력 데이터를 수집, 분석해 유지 보수 작업의 주기를 계획했습니다. 또 근본적인 결함 원인을 파악해 열차 안정성을 대폭 개선하고, 예비 부품과 자재의 필요 수량을 파악해 재고량을 최소화했죠.
국내 여행 기업 하나투어는 빅데이터 분석을 통해 개인별 고객에 최적화된 상품 제안과 마케팅의 효율성을 증가시켰습니다. 하나투어는 온·오프라인을 아우르는 고객, 예약, 여행, 상품 등의 정보 외에도 상품 추천 모델링, 고객 세분화 모델링 결과, 캠페인 반응 등의 정보까지 하나의 데이터 마트에 통합했습니다. 그리고 활용 목적에 따라 분석 마트, 리포트 마트, 캠페인 마트를 추가 구성했죠. 여행 트렌드 변화와 고객의 성향을 정교하게 분석해 타깃 마케팅 캠페인을 강화함으로써 캠페인 대상 고객의 상품 예약률을 20~30% 높이는 성과를 거두었습니다.
빅데이터 분석이 비단 기업 활동에만 사용되는 것은 아닙니다. 프로야구팀 kt wiz는 야구 팬 관리와 마케팅 프로그램에 빅데이터 분석을 접목했습니다. 팬의 인구 통계학적 분석, 티켓 구매 시점의 외부 요인 관계 분석, 경기장 방문 시점의 고객 평균 인입 분석, 회원의 프로모션 반응과 경기장 참석 현황 등을 폭넓게 분석해 고객 관리에 활용했는데요. 또 캠페인의 실행률, 접촉률, 티켓 사용 여부 등 결과를 분석해 후속 캠페인의 진행 여부를 결정하고 캠페인 효과를 개선했습니다. 무엇보다 통계 분석에 대한 전문 지식이 없는 마케터도 이용할 수 있도록 시각화 빅데이터 분석 기술을 이용해 분석 작업을 최소화했죠!
사회 공헌 활동에도 빅데이터 분석이 적용되고 있습니다. 국제이주기구(IOM, International Organization for Migration)는 네팔 대지진으로 인한 이주민 분포 양상을 매핑하고, 그 자료를 토대로 남성 주민들이 거주하는 지역을 파악했습니다. 우선 이들을 집으로 돌려보내 마을 재건에 힘을 불어 넣고, 자급자족할 수 있도록 장려했죠. 이처럼 빅데이터 분석을 이용해 재해 대응의 속도와 효과를 높이고, 가장 도움이 절실한 사람들을 더욱 빠르게 지원할 수 있게 됐습니다.
빅데이터의 분석의 가치가 입증되고, 4차 산업혁명으로 빅데이터가 주목 받으면서 빅데이터를 다루는 전문 인력에 대한 관심도 증가하고 있습니다. 최근 한국데이터진흥원이 발간한 ‘2016년 데이터산업 현황 조사’ 보고서에 따르면, 데이터 산업 전체 직무 가운데 빅데이터 관련 인력이 가장 필요한 것으로 조사됐습니다. 또 데이터 직무 별로는 데이터 사이언티스트 인력의 부족률이 가장 높았습니다.
‘데이터 사이언티스트’는 과거의 일반적인 분석가(analyst)들과 어떤 차이가 있을까요? 과거 분석가들은 정형 및 반정형 데이터와 숫자 데이터만을 주로 다뤘다면 지금의 데이터 사이언티스트는 이미지, 소리, 텍스트 등 모든 유형의 데이터를 다뤄야 합니다.
분석 툴에서도 기존에는 통계와 모델링 툴 정도만 알면 됐지만, 이제는 여기에 수학적 언어 프로그램(R, 파이썬), 머신러닝 툴, 자연어 처리 툴까지도 사용할 수 있어야 합니다. 분산 처리가 가능한 서버에서 데이터를 접근, 조작하는 프로그램인 하둡(Hadoop)도 이제는 데이터 사이언티스트의 영역이 됐죠.
하지만 가장 큰 차이점은 바로 데이터 사이언티스트들은 ‘더 나은 비즈니스 결과’를 위한 관점에 큰 비중을 둔다는 것입니다. 단순히 보고, 예측, 최적화를 위해 데이터를 다루는 것이 아니라 새로운 인사이트를 발견하고, 이를 보다 쉽게 의사 결정에 반영할 수 있도록 하는 것이 주 업무죠.
데이터 사이언티스트에 대한 관심과 수요가 늘면서 양성 프로그램도 많아지고 있습니다. SAS는 빅데이터와 관련해 다양한 교육 과정을 운영하고 있습니다. 한글 자막을 지원하는 글로벌 이러닝 과정을 무료로 제공하고, SAS 국제 자격 인증 ‘SCBP(SAS Certified Base Programmer)’ 대비 패키지 과정의 할인과 무료 응시 혜택도 제공하고 있죠. 또 차세대 데이터 사이언티스트로서 꿈을 키우고 있는 대학생과 대학원생을 대상으로 ‘SAS 분석 챔피언십 공모전’을 진행하고 있습니다. 올해 15회째를 맞은 분석 챔피언십은 2002년부터 시작된 국내 최대 규모의 빅데이터 분석 공모전입니다.
앞으로 빅데이터 분석이 더욱 대중화되면 더 많은 산업과 일상 생활에 긍정적인 영향과 다양한 가치를 가져올 것으로 생각합니다. 이를 위해서는 우리가 데이터 분석을 통해 얻고자 하는 목표가 무엇인지 면밀히 살펴보고, 어떤 방식의 데이터 분석을 이용해야 할 지 연구해야 합니다. 또 데이터 분석을 통한 인사이트를 적극적으로 활용하며 개선시켜 나가는 노력이 필요할 것입니다. SAS는 데이터 분석으로 달라질 세상을 기대하며, 숙련된 데이터 사이언티스트를 발굴, 육성하는 노력을 이어갈 것입니다.
