텍스트 분석과 자연어처리(NLP; Natural Language Processing)는 소비자의 감성을 분석하는 방법으로 널리 알려져 있습니다. 실제 많은 기업이 비정형 데이터 분석 기술을 이용해 소셜 미디어(SNS) 상의 고객 불만이나 댓글을 분석하고 적절히 대응하고 있는데요.
오늘날 전체 데이터의 90% 이상은 텍스트, 음성, 이미지, 영상 등 구조화되어 있지 않은 비정형 데이터입니다. 수동 분석만으로 이 모든 데이터에서 가치를 발굴하기에는 역부족인데요. 텍스트 분석과 감성 분석은 정교한 언어학적 규칙과 분석 모델링을 통해 사람의 마음과 비슷한 자연스러운 방식으로 텍스트를 평가하고 이 한계를 극복하도록 도와줍니다.
최근 이 텍스트 분석 기술에 인공지능(AI)과 머신러닝이 접목되면서 그 활용 범위가 훨씬 더 다양해지고 있습니다. 오늘은 항공우주 연구부터 인신매매 방지까지! 다양하고 흥미로운 활용 사례를 통해 텍스트 분석의 놀라운 잠재력을 살펴보고자 합니다.
1. 여론 조사 없이 여론을 이해하다
여론 조사나 포커스 그룹 인터뷰는 큰 비용이 들면서도 부정확한 결과가 나오기도 합니다. 텍스트 분석은 이러한 비용 없이도 정부가 시민들이 무엇을 필요로 하고 원하는지 이해할 수 있는 놀라운 가능성을 열어줍니다. 정부 기관은 고급 분석으로 비정형 데이터를 분석해 여론을 측정하고 전반적인 경향을 파악할 수 있습니다. 이를 통해 국가 경제나 외교 정책과 같이 특정한 주제에 대한 다양한 여론을 민첩하게 파악하고 대응 방안을 세울 수 있죠. 이때 분석은 데이터의 내용 자체에 초점을 두고 개개인을 식별하지 않으며 개인 정보를 보호합니다.
또한 기업이 블로그나 소셜 미디어 상의 피드백을 활용해 제품이나 고객 서비스를 개선하고 궁극적으로 수익을 향상시키는 것처럼, 정부 조직 역시 법의 테두리 안에서 데이터를 활용해 소비자 보호, 응급 재난 관리 등 다양한 정부 서비스를 개선할 수 있습니다. 예를 들어, 보건 당국은 소셜 미디어 게시물을 사용해 감염성 질병을 이해하고, 추적하고, 퇴치할 수 있습니다. 실제 국제이주기구(IOM; International Organization for Migration)는 텍스트 분석으로 소셜 미디어 게시물을 분석해 2013년 태풍 헤이안(Haiyan)의 피해를 최소화했습니다.
2. 항공우주 연구를 위한 새로운 기회를 발견하다
텍스트 분석은 연구 결과의 동향을 파악하는 데 널리 쓰이고 있습니다. 연구 기관은 텍스트 소스에 대한 분석을 자동화함으로써 불필요한 작업에 시간을 낭비하지 않고, 이전 연구 결과를 기반으로 새로운 연구가 진행되도록 할 수 있는데요. 연구원들은 텍스트 분석으로 개별 연구 단계를 파악하고, 새로운 연구를 위해 최적화된 방법을 찾을 수 있습니다.
또한 기업의 연구개발(R&D) 조직은 지금까지의 연구를 이해함으로써 동일한 분야의 새로운 연구에 집중할 수 있고, 과거의 실수를 되풀이하지 않도록 할 수 있습니다. 이때 모든 연구를 수작업으로 분석하는 것은 거의 불가능한데요. SAS는 ‘SAS 텍스트 애널리틱스(SAS Text Analytics)’와 ‘SAS 비주얼 애널리틱스(SAS Visual Analytics)’를 함께 사용해 정부 지원 연구의 동향을 파악하고, 이 동향을 나노 기술 분야의 향후 연구에 어떻게 적용시킬 수 있을지 분석했습니다. 또 공개적으로 이용 가능한 나사(NASA)의 간행물에서 과거 연구의 동향과 차세대 우주선 개발에 미칠 수 있는 영향을 시각화했는데요.
3. 불공정한 대출 관행을 개혁하다
텍스트 분석은 정책 결정 시에도 도움이 됩니다. 예를 들어, SAS는 공개적으로 사용 가능한 미국 금융 소비자 보호국(Consumer Financial Protection Bureau)의 비정형 데이터를 분석해 소비자의 금융 관련 불만을 평가하고, 관련 동향과 정보를 수집했습니다. 이를 통해 소비자들을 불공정한 금융 관행으로부터 보호할 수 있도록 지원했는데요. 실제 입법으로 이어져 관행을 개혁하는 데 일조하기도 했습니다.
4. 재난 복구로 생명을 구하다
텍스트 분석을 사용해 재해 발생 시 복구가 필요한 사항들을 보다 효과적으로 파악할 수도 있습니다. 이를 통해 필요한 곳에 적절한 지원을 제공하고, 재난 구호를 계획하는 과정에서 매우 실용적인 도움을 줄 수 있는데요. SAS는 푸에르토리코를 덮친 100년만의 최악의 허리케인 어마 이후, 50개 이상의 글로벌 비정부기구 및 비영리단체와 협력해 재해 복구 지원 사업을 진행했습니다. 그 중 하나가 바로 소셜 미디어(SNS) 데이터를 탐색하는 것이었습니다. 사람들이 소셜 미디어에 올린 상태 업데이트나 갑작스러운 소셜 미디어 활동 중단 등의 추세를 통해 인사이트를 도출할 수 있었죠! 또 전염병학자들은 텍스트 분석을 이용해 질병 발생 시 보다 신속하게 대응하거나 문제를 일으키는 화학 물질로부터 식량 공급을 보호할 수 있습니다.
5. 인신매매를 방지하다
개별 도시 또는 국가 단위의 범죄 보고서에서 패턴을 조사하는 작업은 매우 까다로운 작업인데요. SAS는 텍스트 분석을 사용해 인신매매에 관한 600여 건의 국제 보고서를 살펴보고 시민 단체와 감독 기관을 위해 유용한 데이터를 찾아냈습니다. SAS는 지도 및 비지도 머신러닝과 텍스트 분석을 사용해 수많은 보고서의 텍스트 데이터에 묻혀있는 인신매매 범죄의 패턴을 평가합니다. 일반적으로 많이 쓰이는 단어와 위치를 클러스터링함으로써 인신매매 경로를 식별하고, 관련 기관은 이러한 범죄를 방지하는 프로그램을 더욱 효과적으로 개발하고 있죠!
텍스트 분석의 핵심 기능
그렇다면 텍스트 분석이 이렇게 다양한 분야에 큰 영향을 미칠 수 있는 동인은 무엇일까요? 여기에는 세 가지 주요 기능이 있습니다!
1. 보고서, 연구 논문, 불만 사항 등을 읽어내는 시간을 획기적으로 줄여줍니다. 텍스트 분석이 도입되기 전까지는 앉아서 많은 양의 정보를 읽는 것에 다른 방도가 없었습니다. 더 많은 사람들이 같이 읽을수록 시간은 줄어들 수 있겠지만, 일관성이 떨어지는 문제가 발생하죠. 심지어 같은 사람이 모든 보고서를 정확히 같은 방식으로 해석한다는 보장도 없습니다. 보고서의 양이 많을수록 모든 사람이 모든 자료를 끝까지 제대로 읽을 수 있는 가능성은 줄어들죠. 즉 이런 수작업 방식의 분석은 시간이 오래 걸리며, 결과의 품질 또한 보장할 수 없습니다.
2. 정확성과 일관성을 높여줍니다. 텍스트 분석을 통한 자동화는 결과의 일관성과 신뢰도를 향상시킵니다. 정보의 양이 너무 많아서 사람의 눈으로는 볼 수 없는 패턴까지 식별하도록 알고리즘을 프로그래밍할 수 있습니다.
3. 디지털 시대, 새로운 데이터 환경에 최적화되어 있습니다. 우리는 과거에는 상상도 하지 못했던 방대한 데이터 속에서 살아가고 있습니다. 텍스트 분석을 사용하면 전화, 이메일, 사물인터넷(IoT) 등 온라인으로 볼 수 있는 모든 텍스트 기반의 데이터를 활용할 수 있습니다.
사람의 역량을 보완하는 텍스트 분석
그 동안 텍스트 분석은 양적인 측면에서 텍스트 데이터 분석의 속도와 정확성을 더해 사람의 역량을 보강하고 확장시키는 방법으로 도움이 되어왔습니다. 최근에는 인공지능(AI)이 점점 더 많이 활용되면서 텍스트 데이터에 대한 질적인 평가 등 더욱 더 많은 곳에서 유용하게 쓰이고 있는데요. 텍스트 분석은 챗봇과 같이 언어 상호작용을 바탕으로 하는 인공지능 시스템의 핵심을 이룹니다. 또 생산성을 향상시키기 위한 인공지능 시스템의 핵심 구성 요소로 활용되며, 다양한 영역에서 분석가들의 텍스트 기반 정보에 대한 검토를 확장시키고 학습할 수 있습니다.
SAS, 포레스터 선정 ‘인공지능(AI) 기반 텍스트 분석 플랫폼’ 리더
SAS는 포레스터 리서치(Forrester Research)가 최근 발행한 ‘포레스터 웨이브: 2018년 2분기 인공지능(AI) 기반 텍스트 분석 플랫폼’ 보고서에서 리더로 선정됐습니다. SAS는 분석, 사용 편의성, 규칙과 머신러닝의 조합, 기능 범위 등 여러 솔루션 평가 항목에서 최고점을 획득했습니다.
‘SAS 비주얼 텍스트 애널리틱스(SAS Visual Text Analytics)’ 솔루션은 머신러닝, 자연어처리 등을 활용해 비정형 데이터의 가치를 극대화합니다. 또한 유연한 현대식 프레임워크에서 텍스트 마이닝, 컨텍스트 추출, 범주화, 감성 분석, 검색 기능을 구현합니다. 사용자는 사전 정의된 템플릿을 이용해 대량의 텍스트 데이터를 신속하게 분석하고, 텍스트 분석 결과에 머신러닝과 예측 기법을 통합 적용할 수 있습니다. SAS 웹사이트에서 텍스트 분석의 놀라운 잠재력에 대해 자세히 확인해보세요!
