Data Management

Blend, cleanse and prepare data for analytics, reporting or data modernization efforts

Advanced Analytics | Analytics | Artificial Intelligence | Customer Intelligence | Data Management
Cristian Figueroa 0
¿Cómo la analítica y la IA pueden impulsar a los comercios minoristas?

Herramientas como la analítica y la IA pueden ser grandes aliadas para impulsar el crecimiento de los comercios minoristas en la región. Principalmente cuando se crean estrategias que les permitan competir y atraer a los consumidores para aumentar sus ventas, mediante la utilización de los datos e información disponibles que

Advanced Analytics | Analytics | Artificial Intelligence | Customer Intelligence | Data Management
0
保険業界向けインタラクティブセッション「新しい保険ビジネス創造に向けた事例と成功要因」を開催!【SAS Institute Japan】

2024年5月31日(金)、SAS Institute Japanは、「保険業界向けインタラクティブセッション 新しい保険ビジネス創造に向けた事例と成功要因」 を六本木ヒルズ森タワー11階のSAS Institute Japan本社で開催した。 開会挨拶 保険業界においても顧客ニーズは多様化、高度化している。たとえば、生保ではウェルビーイングのような包括的な顧客ニーズを充足することが求められている。そして、顧客ニーズを充足するためのエコシステムが台頭し、保険商品がエコシステムに組み込まれ、顧客の生活の中でフリクションレスに保険や関連サービスが提供されるようになっている。今、保険会社はどのように新しい商品・サービスを開発し、マーケティングを実行すべきなのか。本イベントでは、保険業界で実際に多数のイノベーションやCX変革に関わっている有識者をゲストに迎え、今取り組むべき課題やその実際を議論していく(SAS Institute Japan カスタマアドバイザリ事業本部 原島 淳氏)。 セッション1:保険業界におけるビジネスアーキテクチャの転換  まず、福島 渉氏(デロイトトーマツコンサルティング 執行役員 保険インダストリリーダー)が「保険業界におけるビジネスアーキテクチャの転換」について話した。  「これまで世界の保険業界において、ランキング上位企業の顔触れは大きく変わってこなかった。100年以上の歴史を持つ保険会社がランキング上位を占めている。それは従来の保険会社はバリューチェーンの各機能を内製化しており、それぞれの知見や能力が競争優位性の源泉であり、また参入障壁になっていたからだ。大手企業は、潤沢な資本を背景とした価格形成力を持ち、販売網を張り巡らせ、そして高い引受・査定能力により収益を維持してきた。 しかし、今日ではバリューチェーン各機能の分立と共有化が進んだことで、この構造が崩れ始めている。保険会社のビジネスモデルは多様化しており、また水平横断的機能提供を狙うプラットフォーマーが出現している。各保険会社は自らの強みを活かしながら、フィナンシャル&ヘルスマネジメント型、経済活動のあらゆるリスクをカバーするフルスペック型、ドメインフォーカス型、もしくはプダクトファクトリー型といったビジネスモデルを選択していくことになると予測する。また、機能特化/集約型プラットフォーマーとして、データアナリティクス、カスタマーエンゲージメント、キャピタル&インベストマネジメント、ITテクノロジーのプラットフォーマーが出現してくるだろう。たとえば、資産運用プラットフォームBlackRock、”Technology as a Service”のOneConnectといった企業はそれに当たる。保険会社はこういったプラットフォーマーを活用することも重要だ。  このような潮流を受けて、保険業界のビジネスアーキテクチャは変化している。これまでは、単一の商品を効率的に販売する”代理店モデル”が主流だった。しかし、これからは商品・サービスとチャネルをターゲット顧客に応じて最適な形で組み立てていくことが重要だろう。前述のような機能プラットフォーマーが提供する”モジュール化”された機能を自社の商品・サービスやチャネルと組み合わせることで新しいビジネスモデルを定義し、多数の顧客セグメントに効率よく価値提供することも可能だ。たとえば、よく知られるエンビデッド保険や、シンガポールIncomeのSNACKの革新的なサービスもその一例だ。  今日の保険業界ではスピーディーなイノベーションが強く求められている。イノベーションを加速させるには、モジュール化された機能を組み合わせることで、商品・サービスをスピーディーにプロデュースする能力が重要と言える。これからの保険会社に求められるのは、ブランド価値とビジネスケースの仮説構築力と、それをもとに商品・サービスをアジャイルで構築できる新しいテクノロジー基盤、そこで仮説検証を高速で廻せる業務プロセスである。今日の保険会社には、商品・サービス開発、マーケティング、テクノロジー、そして全体のガバナンスの各領域で、”モジュール”を活用したスピーディーな競争優位性の創造が求められている。」 セッション2:三井住友海上におけるCXマーケティングとデータ活用の取り組みについて  では、保険会社では実際にどのように商品・サービスを開発し、マーケティングを行っているのだろうか。続いて、佐藤 祐規氏(三井住友海上 CXマーケティング戦略部 データマーケティングチーム長)が「三井住友海上におけるCXマーケティングとデータ活用の取り組みについて」と題して、実際の取組みを紹介した。  「言うまでも無く、保険業界を取り巻く環境は大きく変化した。お客さまが自ら必要な情報を選択する時代では、事故補償時だけの関係性から脱却しなければならない。CXマーケティング戦略部では、お客様ロイヤルティ大手損保No.1を目指している。このためには、顧客接点を増強すること、そして、データ分析やリサーチを通してお客様の解像度を高め、お客さまごとのコミュニケーションを実施することで、新規獲得手法を高度化し、またお客さまの期待を超える体験価値を提供することが重要だ。そして、そのためにはデータ分析やデータ活用が欠かせない。  当社ではマーケティング領域のデータ活用を強化しているが、いくつかの取組事例を紹介する。まず、ドラレコ付き自動車保険のクリエイティブ開発の事例だ。従来、クリエイティブ開発は商品所管部門が担当しており、モノの視点(機能的価値)からの価値訴求が多かった。しかし、実際にお客さまへの訴求を行っている代理店への調査を行ってみると、お客さまは加入後の体験とそれによる安心に価値を感じていることがわかった。そういった体験価値の視点からプロトタイプを作成し、ターゲット層にアンケート調査を行うことでブラッシュアップを行い、より評価の高いクリエイティブを作成することができた。 この事例のように、消費者調査を行なうことで顧客のニーズや求められる価値を理解した上で、商品・サービス開発を進めている。お客さまに選んでいただくためには、良い商品を開発するだけでなく、当社の認知度や好感度、さらに契約体験や事故体験も重要な要因となる。それぞれの体験や認知が契約にどの程度寄与するのかも分析を行っている。 こういった分析を通してマーケティングミックスを最適化するために、弊社ではCDP(Customer Data Platform)を構築し、お客様起点で属性、契約、行動、調査、事故の情報を統合、活用している。この情報は代理店にも還元していて、代理店向け営業支援システムにNBA(Next Best Action)情報を配信している。  今後の方向性として、保険会社はプロダクト中心の発想から抜け出し、カスタマージャーニーにおける価値を中心に考える必要がある。顧客との接触頻度を拡大すべきだが、無意味な拡大は逆効果で、適度な距離感を持って、有用なコミュニケーションを行っていくことが重要だ。そのためにはお客さまの文脈を押さえた(”ジョブ理論”にもとづく)コミュニケーションが欠かせない。現在、ChatGPTを活用しながら、ジョブ理論にもとづくクリエイティブ開発を進めているが、こういった施策を通してCX向上を目指したい。保険会社の商品・サービスは今後拡大していくだろうが、差別化の最大のポイントはCXだと考えている。」 セッション3:保険イノベーションをサポートする新しいSASテクノロジと事例  こういった保険業界のイノベーションやCX高度化に求められるテクノロジーとは何か。原島 淳氏(SAS Institute Japan カスタマアドバイザリ事業本部)が「保険イノベーションをサポートする新しいSAS」と題して、SASが提供するテクノロジーと海外でのその活用事例を話した。  「保険会社は今、新しい商品・サービスとそのマーケティングモデルをスピーディーに創造していくことが求められている。競争力の源泉としてデータとAIを活用し、また新しいマーケットプレイスやテクノロジー企業が提供する”モジュール”との連携も重要だ。 SASはデータから価値実現のプロセスをEnd-to-Endでサポートし、アジャイルにも対応している。また、あらゆるシステム/モジュールとリアルタイムで統合可能なオープン性を持つ。SASを活用することで、データ・AIを活用した判断をカスタマージャーニーに組み込み、顧客体験を最適化できる。たとえば、外部ウェブサイトの顧客行動をリアルタイムで捕捉・分析し、最適な保険・サービスを最適な保険料で提案。申込があれば本人確認を行い、自動引受査定を行い、スピーディーに契約のご案内を行う、といった形で、業務横断のデータ・AI活用が可能だ 保険業界においてもSASを活用した事例は拡大している。その中から、(1)新しい商品・サービスをスピーディーに創造している事例、(2)優れたCXを提供する顧客接点を構築している事例、(3)業務横断の高度なデータ・AI活用を実施している事例を紹介したい。 まず、(1)海外ダイレクト保険プラットフォーマーでは、多数の外部パートナーに対し、APIを通して豊富な商品とSASで開発されたカスタマーエンゲージメントプラットフォームを”モジュール”として提供する。このプラットフォームはスケーラブルで、かつスピーディーに拡張できる点が特徴であり、多数の外部パートナー向けのエンベデッドの保険の提供や、金融・小売といった多数の販売パートナーとの提携によるマーケティングモデルの展開をサポートしている。次に、(2)カナダSun Lifeでは、デジタルアドバイザ”Ella”がアマゾンエコーなどのインターフェースを通して顧客のライフスタイルをサポートしながら、各種データにもとづいて健康や資産運用のための様々なナッジを提供している。(3)海外保険会社の中小企業向け保険のアンダーライティングでは、引受リスクだけでなく、保険+予防予後サービスを含むトータルの顧客LTVを加味して最適な提案(NBO=Next

Artificial Intelligence | Data Management
Elizabeth Bautista 0
Desarrollo de habilidades técnicas y comunicación efectiva: claves para destacar en ciencia de datos

Gran demanda laboral para las profesiones en esta área con un requisito de 700,000 nuevos profesionales para cubrir las necesidades del mercado. Herramientas de capacitación y actualización gratuitas en SAS La Ciencia de Datos se convierte en una de las carreras más atractivas y demandadas, los profesionales y estudiantes interesados

Artificial Intelligence | Data Management
Zeynep Salman 0
Can your organization’s technology handle the power of GenAI?

In a previous blog post, we discussed how generative AI (GenAI) is experiencing unprecedented popularity, with organizations across various industries eager to unlock its immense potential.  We also highlighted potential use cases organizations must identify to unlock GenAI's full potential with credit customer journeys. These can include using chatbots for

Advanced Analytics | Analytics | Artificial Intelligence | Data Management
Mario Ulloa 0
IA y Analítica Avanzada capaces de reducir amenaza de abuso infantil hasta en un 75%

Los depredadores utilizan plataformas y técnicas cada vez más sofisticadas para ocultar su actividad y evadir la detección. México posicionado como el primer lugar a nivel mundial en producción y distribución de pornografía infantil. En 2022, México registró más de 815 mil casos de posibles abusos en línea, según el

Analytics | Artificial Intelligence | Data Management
Hyeshin Hwang 0
생성형 AI에 대한 준비, 얼마나 되었을까요?

생성형 AI는 우리의 업무 환경과 사회를 변화시키고 있습니다. 사람과 기술이 상호작용할 새로운 방법을 제시하며 상상을 능가하는 속도로 영향을 끼치고 있죠. 최근 실시한 조사 결과는 생성형 AI에 대한 흥미로운 시각을 제시하고 있는데요, 기업 의사결정자들이 체감하는 생성형 AI의 해결 과제와 기회를 동시에 확인하실 수 있습니다. 대다수의 응답자는 GenAI를 통해 직원 만족도가 향상되었고(82%),

Advanced Analytics | Analytics | Artificial Intelligence | Data Management | Data Visualization
Amaya Cerezo 0
Construyendo el ‘Máster Data Scientist’: el jedi de los datos al servicio de la estrategia

En los últimos años, la ciencia de datos ha experimentado un crecimiento exponencial y se ha convertido en un pilar fundamental para las estrategias de las organizaciones en todas las industrias. Sin embargo, para los data scientist experimentados, el panorama del dato se encuentra  en un proceso de cambio constante.

Cloud | Data Management
Hans-Joachim Edert 0
Balancing cloud challenges with containerization strategies

Cloud computing and containerization are two technologies that directly impact a CIO's core responsibilities: delivering IT services efficiently and effectively for the business.   Beyond their technical implications, these technologies represent a strategic shift toward meeting business needs for agility, scalability and faster innovation. Striking a balance between opportunities and

Analytics | Data Management | Programming Tips | SAS Administrators
0
REST API를 사용하여 ‘SAS 컨테이너 런타임’ 이미지 업데이트하기

1. ‘SAS 컨테이너 런타임’이란? SAS는 SAS Viya 2021.1.1.3에서 SAS 컨테이너 런타임(SAS Container Runtime, 이하 SCR)을 출시했으며, 그 이후 많은 고객이 운영환경에서 SCR을 구현했습니다. 이 혁신적인 런타임 엔진은 SAS 모델과 의사결정을 Open Container Initiative (OCI) 호환 컨테이너에 배포하는 역할을 합니다. SCR은 표준 기술을 사용하여 SAS Viya 외부에서 모델과 의사결정을 실행합니다. 클라우드

Advanced Analytics | Analytics | Data Management | Data Visualization | Learn SAS | Students & Educators | Work & Life at SAS
Adriana Rojas 0
"Cada vez existen más asignaturas vinculadas a temas analíticos en todos los sectores”

La información certera es la base sobre la que se edifican las empresas, especialmente en un contexto en el que la preparación y la resiliencia son cada vez más importantes. Con el aumento en la cantidad de datos disponibles y la necesidad de aprovecharlos para tener mejores resultados, también hemos

Advanced Analytics | Analytics | Artificial Intelligence | Data Management | Data Visualization | Machine Learning | SAS Administrators
小林 泉 0
データ分析プロセス全体を管理~自己組織的に育てるナレッジのカタログ化とは

自己組織化とは、自然界において個体が全体を見渡すことなく個々の自律的なふるまいをした結果、秩序だった全体を作り出すこと 2010年から存在した解決アイディアがついに実現可能に 今から遡ること十数年前の2010年頃、支援をしていた大手製造業の会社ではすでにデータ分析スキルの社員間でのばらつきと組織全体のスキルの向上、データ分析作業の生産性の向上、人材のモビリティへの耐性としてのデータ分析業務の標準化が課題となっていました。 当時ご相談をいただいた私を含むSASの提案チームは、SASが提供するアナリティクス•ライフサイクル•プラットフォームを活用することで、その問題を支援できることがすぐにわかりました。つまり、ビジネス課題から始まり、利用データ、データ探索による洞察、データ加工プロセス、予測モデリングプロセス、モデル、そしてそれをアプリケーションに組み込むディシジョンプロセスという、一連のアナリティクス•ライフサイクルにまたがるすべての作業を電子的に記録し、全体のプロセスそのものをモデリングし、利活用することで、自己組織的にナレッジが蓄積され、且つ活用されるということです。 しかし、当時のSASだけではない周辺のIT環境、すなわちPCやアプリケーションアーキテクチャなどのインフラ、データの所在、セキュリティ管理などがサイロ化していること、またSAS以外のModelOps環境もシステムごとにアーキテクチャがバラバラすぎたこと、また、お客様社内のデータリテラシーそのものもまだ課題が多かったため、SASを中心としても、実現にはあまりにも周辺の開発コストがかかりすぎたために、提案を断念しました。 時代は変わり昨今、クラウド技術の採用およびそれに伴うビジネスプロセスの変革と標準化が急速に進んでいます。それに歩調を合わせるように、SASの製品も、上記の当時から市場をリードしてきたMLOpsフレームワークをDecisionOpsへと昇華させ、クラウド技術を最大活用すべく、クラウドネイティブなアーキテクチャおよび、プラットフォームとしての一貫性と俊敏性を高めてきました。そしてついに最新版のSAS Viyaでは、アナリティクスライフサイクル全体にわたり、データからデータ分析プロセス全体の作業を電子的に記録し、管理し、活用することが可能となりました。 自己組織的にナレッジを蓄積活用するデータ分析資産のガバナンス 昨今のデータマネージメントの取り組みの課題 詳しくはこちらのブログをご参照いただきたいのですが、多くのケースで過去と同じ過ちを繰り返しています。要約すると、データ分析文化を醸成したい、セルフサービス化を広めたいという目的に対しては、ある1時点のスナップショットでの完成を目的としたデータカタログやDWH/DMのデータモデル設計は問題の解決にはならないということです。必ず5年後にまた別の担当者やプロジェクトが「これではデータ分析しようにもどのデータを使えばわからない、問題だ、整備しよう」となります。 では解決策はなんでしょうか。 静的な情報を管理したり整備するのではなく、日々変わりゆく、どんどん蓄積され、評価され、改善、進化し続ける、データ分析業務に関わるすべての情報を記録統制することです。つまり、以下の三つのポイントを実現することです。各ポイントの詳細は後段でご紹介しています。 ポイント①あらゆるデータ分析資産(ナレッジ)を管理 ポイント②データ品質管理の自動化・省力化とガバナンス ポイント③社内ソーシャルの力による自己組織的情報の蓄積 まずは、それぞれが何を意味しているかを説明する前に、これらを実現するとどのような世界になるのかをユーザーの声によって示してみたいと思います。   個々の自由にデータ分析をしているユーザーによる行動を記録することで、全体を見渡している誰かがヒアリングや調査をして情報を管理することなく、データ分析がどのように行われているかを管理・共有・再利用が可能となるのです。 誰が、どのような目的で、どのデータを、どのように使用したのか、そしてその結果はどうだったのか? このアプリケーションの出した判定結果の説明をする必要がある。このモデルは誰が作ったのか?どのような学習データを使用したのか?どのようなモデリングプロセスだったのか? よく使用されるデータはどれか? そのデータはどのように使用すれば良いのか?注意事項はなにか? データ分析に長けた人は誰か?誰が助けになってくれそうか? 企業全体のデータ品質はどのようになっているか? データ品質と利用パターンのバランスは適切か?誤った使い方をしているユーザーはいないか? など従来、社内勉強会を開催したり、詳しい人を探し出してノウハウを聞いたり、正しくないことも多い仕様書をひっくり返してみたり、そのようにして時間と労力をかけて得られていたデータ分析を自律的に行う際に重要となる社内ナレッジが、自己組織的に形成されるということです。 「情報資産カタログ」とは~一般的な「データカタログ」との違い このような世界を実現する機能をSASでは、「情報資産カタログ」と呼んでいます。データ分析プロセス全体を管理・検索・関連付け・レポートできるようにするテクノロジーです。一般的に言われる、また多くの失敗の原因になる、「データカタログ」と対比するとその大きな違いが見えてきます。 こちらのブログでも述べましたが、データ分析者がセルフサービスでデータ分析を実践したり、初学者がなるべく自分自身で情報収集して、まずは標準的なデータ分析作業をマスターしたりするためには、既存ナレッジを活用する必要があります。一方で、そのようなナレッジは従来一部の優秀なデータ分析者に聞かないとわからなかったり、あるいはITシステム部門に質問して回答までに長い時間を要してビジネス機会を逸してしまう、という結果を招いていました。 既存ナレッジとは、どのようなデータを、どのような意図で、どのような目的で、どのように使い、どのようなアウトプットを得たかという一連の「考え方とやり方」であり、これは管理者が一時的にデータ分析者にヒアリングして「データカタログ」を整備して終わり、というものではなく、日々データ分析者たちの中で自律的に情報が作られていくものです。 ポイント①あらゆるデータ分析資産(ナレッジ)を管理 SAS Viyaでは、上述のアナリティクスライフサイクル各ステップのオブジェクトがすべて一元的に記録・管理されます。日々、新しく作られるレポート、データ加工プロセス、作成されるデータマートの情報が、自動的に管理され検索対象になっていきます。このようにアナリティクス・ライフサイクルの各ステップをすべて管理することで、データ、そのデータを使用しているレポート、そのデータを使用しているデータ加工フロー、その出力データ、さらにはそれを学習データとして使用している予測モデリングプロセスと作成されたモデル、これらを関連付けて見ることが可能となります。それにより例えば、ある目的に使用するデータを探している場合、参考にする業務名やプロジェクト名で検索をすることで、関連するレポートや、データ加工プロセスにたどり着き、そこから使用データやそのデータの使い方にたどり着くという効率的な情報の探し方が可能となります。 もちろん、この機能は昔からあるインパクト・アナリシス機能として、ITシステム部門が、データへの変更の影響調査ツールとして使用することも可能です。 ポイント②データ品質管理の自動化・省力化とガバナンス データ分析を組織的に行う際に気にすべきポイントの一つは、その正確性です。正しいマスターデータを使用しているか、適切な品質のデータを使用しているかは、最終的なアクションや意思決定の精度すなわち収益に影響します。また、結果に対する説明責任を果たすうえでもアクションに使用したデータの品質は属人的ではなく、組織的に管理されている必要があります。またデータ品質を組織的に管理することにより、データ分析の最初に行っていた品質確認という作業が省力化できます。また、属人的に行っていた品質確認作業も標準化されるため、組織全体のデータ分析作業の品質が向上します。 あるお客様では、DWHに格納するデータのETL処理において施すべき処理が実施されていないというミスがあるものの、データの数やETL処理があまりにも多いためそのミスを発見することが困難であるという状況にありました。網羅的な品質管理および品質レポートによってそのようなミスの発見が容易になります。 ポイント③社内ソーシャルの力による自己組織的情報の蓄積 前述のポイント①により基本的にはデータ分析者個人個人の自律的な活動が自動的に記録され、自己組織的に組織全体のナレッジとて蓄積され共有・再利用可能な状態が作られます。これは、データ分析者個人個人が特に意識しなくても自動的に実現できます。それに加えて、さらに意識的にこのプラットフォームを利用することで、蓄積されるナレッジに深みが増します。 例えば、あるビジネス課題をデータ分析で解決使用する場合のスタートは、「問い」です。上述のアナリティクス・ライフサイクルの一番左のスタートにあるものです。その際には、仮説設定をするためや仮説を検証する目的で、様々な角度から「データ探索」を行います。この初期のデータ探索プロセスは、その後のデータ加工やモデリングの根拠になっているため、ナレッジとしてまた説明責任の材料としてはとても重要になります。必ずしも最終的に使用したデータと同じデータを使うとも限らないので、自動的には他のデータ分析資産とは関連づきません。そのような探索プロセスも下記の図のように、同じプロジェクトフォルダに保存しておくことで、関連オブジェクトとして活用することが可能となります。また、プロアクティブに自信が使用したデータやレポートにコメントや評価を付与することで、より価値の高いナレッジへと育つことになります。 昨今企業内SNSなどで、オフィスツールの使い方などノウハウを共有をされている企業・組織もあるかと思います。それを全社規模のアナリティクス・プラットフォームで行うことで、データ分析に関わるナレッジをユーザー同士で培っていくイメージです。 まとめ 「このデータはこの目的に使えますか?」「あ、それはこの情報がないので使えないんですよ。こちらのデータを私は使ってますよ」データ分析者の間でよく交わされる会話です。この問いにいかに迅速に答えられるかが、データ分析の効率性と正確性を高めます。「情報資産カタログ」はまさにこの問いに答えるための機能なのです。

Analytics | Data Management
小林 泉 0
ようこそ古くて新しいデータマネージメントの世界へ~カギは自由と統制

ようこそ古くて新しいデータマネージメントの世界へ 2023年、DMBOK(データマネージメントの知識体系を網羅的にまとめたもの)という用語を改めて聞く機会が多くなりました。おそらくこれはアナリティクス(データ分析に基づくより良い意思決定の実践)の近年のブームで、新たにアナリティクス活用に踏み出し、ようやくビジネスに直結する使い方をするようになった企業・組織があらためてデータマネージメントの重要性に気付き始めたからだろうと推察します。 また一方で、クラウドシフトに伴いクラウドストレージの活用とともに、これまで蓄積していなかったデータを蓄積し始めたり、これまでのデータウェアハウスを一新する形で、データレイク/データウェアハウスを再構築するなど、従来からアナリティクスを活用していた企業もまた同様に、データマネージメントについて改めて考えているようです。 20年以上前からアナリティクスを競争優位の源泉としていた企業では、データマネージメントが大きな一つの関心ごとでした。その後、テクノロジーの進化によって、ソースデータのビッグデータ化(Volume, Variety and Velocity)や、ストレージ技術の進化、そしてアナリティクス・プラットフォームの進化によってITシステムに対するビジネスニーズも変化しました。また、消費者市場の変化や、データサイエンス人材の爆発的な増加といった市場の変化も目覚ましいものがあります。このような変化の中、近年あらたにアナリティクスの活用に踏み出しはじめた多くの企業だけでなく、従来、競争優位の源泉にしてきた高成熟度企業においても、データマネージメントの課題への遭遇と解決にむけて取り組んでいます。 いきなりですが、もっとも頻繁にお伺いする課題について 過去も今もお客様から聞く課題で最も多いのは、「作ったけど使われないデータウェアハウスやデータマート」です。そもそも、使われる/使われないというクライテリアそのものをもう少し注意深く定義する必要はあるとは思いますが、ITシステム部門主導で利用目的をないがしろにしたデータ基盤構築プロジェクトは往々にしてそのような結果になるようです。例えば、ITシステムサイドの都合で蓄積データの種類・期間や粒度を決めてしまうことで、データ分析要件を満たさないという結果になったり、データの出自や性質・品質や使い方のガイドがないために、データはそこにちゃんとあるのにユーザーから利用を敬遠され、別の独自のデータが作り出されたり、作成の要求が来たりしてしまいます。本ブログでは、このような結果に陥らないために意識すると良いと思われることをお伝えしていきます。 もっとも簡略化したデータマネージメントの歴史 アナリティクスに特化したデータマネージメント考察の第一期ーHadoopの到来 2015年以前はダッシュボードや定型レポート、一部の大規模なデータ分析処理用にRDBMSやデータベースアプライアンスが構えられるのみで、アナリティクス用途としてはSASデータセットやフラットファイルでの運用が主でした。これはアナリティクス的なデータ加工および統計解析・機械学習ワークロードに適したテクノロジーが世のなかにはあまりなかったからです。Hadoopの登場により、アナリティクス用途でのデータ活用が一気に拡大し、パフォーマンスやスケーラビリティの制約から解放されました。一方で、従来のように目的を先に決めてデータマートを先に設計してという方法では、アナリティクスによる効果創出が最大化されないという課題も見えてきました。このHadoopの登場は、アナリティクスのためのデータマネージメントの変革の最初のタイミングだったと思います。詳しくは2015の筆者のブログをご興味があればご参照ください。 アナリティクスの効果を最大化するデータマネージメント勘所 Hadoopだからこそ必要なセルフサービス-そしてアダプティブ・データマネジメントの時代へ データマネージメント第二期ークラウドデータベースへのシフト 2015年以降のAIブームによりアナリティクス市場が一気に拡大するとともに、アナリティクスをビジネス上の収益向上、コスト削減、リスク管理に役立てている企業では、データマネージメントの話題が再熱しています。不思議なのは、いや、多くの企業の機能別組織構造では仕方ないのですが、アナリティクスのために良かれと思って取り組んでいるデータマネージメントの課題は、多くのケースで、最終的にアナリティクスを活用して企業の経営に役立てるという目的が忘れ去られてしまいます。 そもそも、アナリティクスのためのデータマネージメントの目的 ともすると手段が目的化しがちなのがITシステムのプロジェクトです。まず、アナリティクスのためのデータマネージメントに何が求められているかを改めて掲げてみますが、そのまえに、そもそもデータマネージメントが課題になるのは、なぜでしょうか? ここでは昔も今もその構図が変わっていない世のなかの状況について共有します。 なぜ、データマネージメントタスクに80%も費やしていのでしょうか。ビジネスにおけるデータ分析の多くは、そもそも実験計画やマーケティング調査とは異なり目的に対してデータを生成・収集しているわけではありません。多くのケースでは、目的に対してそもそもその目的用に計画したわけではないが入手可能なデータを無理やり当てはめています。この目的と手段のギャップを埋める作業が非常に多くの時間とコストを要します。たとえば以下の例で考えてみてください。 製造業において生産設備の中の状態を正確に理解したいが、技術的・コスト的な制約で限定的な精度のセンサーを限定的な場所に設置して、状態の一部を前提条件付きで収集したデータを使うしかない 顧客の購買ニーズを知りたいのだが、店舗ごとの実験は難しいので、欠品情報や潜在的なニーズが表現されていない、過去の活動の結果というバイアス付きのPOSデータを使うしかない このように目的外で収集されたデータを、ある特定の目的のために使えるように評価・加工しなければいけないので、多くの時間をこのデータ準備に割く必要が生じてきます。 では、データマネージメントの取り組みはどこを目指せば良いでしょうか?データ分析者のため、を考えると必然的に以下のポイントが浮かび上がります。 目的に沿ったデータを準備すること データ分析による意思決定において、社会的責任とビジネス上の意思決定の精度を高めるため、品質を担保し、バイアスを理解し、データの生成過程(入力バイアスや基幹システム仕様と業務ルール)を理解し、適切な利用方法を確認する SQLだけでは非生産的な自由自在なデータ加工 データはその利用手法すなわち、統計解析、機械学習、ディープラーニング、自然言語解析、画像解析などによって、手法や使用ツールの仕様に応じて、また、処理パフォーマンスの観点も含めて、自由自在に加工する必要がある ビジネススピードを阻害しないパフォーマンスや処理時間 アナリティクスを競争優位に活用している企業では、24/365常に様々なデータ加工処理が、バッチ、リアルタイム、オンラインで実行されている。これら様々なワークロードを優先度とコスト効率よく、ITシステム部門が特別なチューニングやスケジューリングや、エラーによる再実行をしなくとも、業務スピードに合わせたパフォーマンスで、安定して実行可能な基盤が不可欠 データマネージメントの取り組みで失敗に陥りやすい行動 前述の目的を簡単に言い換えると、データ分析者が何か課題を解決したいと思ってからがスタートで、そこからいかに短時間で正しいデータを特定し、評価し、加工して目的の形に持っていくかが大事であるということになります。つまり、データを物理的にどこに配置されているかに関わらず、データへのアクセス性、評価や加工の俊敏性などが需要であることになります。また、その理解に基づくと、以下のような取り組みはデータマネージメントの目的に沿っておらず、俊敏性や正確性、拡張性を損なう「硬直化」の原因になっていることが多く見うけられます。 「データ統合」を目的化してしまう 1つのデータベースに格納するデータの範囲を決めようとする 汎用的なデータモデルを設計しようとする 変化を前提としないマスタデータ統合をしようとする 変化し続けるビジネス状況のなか、管理対象のデータは常に変化し続けるため、これが「完成」というゴール設定での取り組みは、破綻します。ある大手製造業では何十年にもわたり「ある一つの固定的なゴール」を目指したマスタデータの整備を続けた結果ようやく「マスタデータは時代とビジネスに合わせて常に変化する」と気づき、当初のプロジェクトをストップさせた、という事例もあります。また、取得可能なデータはテクノロジーの進化によって変わります。後で使うかもしれないからと「念のため」蓄積を開始したデータであっても、5年後には使い物にならないデータかもしれません。 「データマートを整備」しようとする スナップショット的なニーズに対応するデータマートを作ろうとする 目的別データマートは目的ごとに存在するにもかかわらず、データマートが多数あることを問題視してしまう データマートの品質(正確性、一貫性、説明性)を気にしていない データマートを固定化するということは目的を固定化することに他なりません。一方でデータ分析を広めるということは、より多くの異なる目的に対してデータ分析を実践することで、矛盾しています。データマートが散在しているという課題感は、本質的にはデータマートがたくさんあることが問題なのではなく、そこでどのようなデータ分析が行われているのか、その品質すなわち、正確性・一貫性・説明性のガバナンスが効いてないことにあります。この本質的な課題解決は別の手段で解決すべきです。 「データ・ディクショナリを整備」しようとする データ分析者にとって良かれと思いITシステム側でスナップショット的なメタデータを定義する データ基盤開発初期にのみ、データ分析者からヒアリングしてメタデータを定義する データの出自、仕様、生成元の情報、使い方、品質、評価などの情報が管理されていない データ・ディクショナリを作ったけどデータ分析者にとって有用な情報が定義されていなかったり、継続的なメンテナンスがされなかったりすることがほとんどです。データ・ディクショナリの目的は、データ分析者により迅速にデータを特定・評価・利用してもらうことなので、その目的達成のためには、より有用な情報を異なる方法で蓄積・管理するべきです。 データマネージメント課題の解決の視点は、自由と統制 原理・原則および、網羅的な知識体系はDMBOKに体系的にまとめられているのでそれは頭に入れてください。そのうえで、データ分析によるビジネス価値創出のための、筆者の経験に基づくデータマネージメント課題の解決のためには、自由と統制のバランスをとることだと考えます。これにより、従来、繰り返しているデータマネージメントの失敗を乗り越え、自己組織的に育つ企業・組織のデータ分析文化の醸成にようやく一歩を踏み出せることになります。 データ分析者の自由度を最大化する(ITシステム部門がボトルネックにならないようにする) あらゆるデータソースに自由にアクセスできるようにする。データの種類や利用目的によって最適なデータ格納方法は変わる。どのような形式でデータが格納されていてもデータ分析ツールから自由にアクセスできるようにすることが重要

Analytics | Data Management | Fraud & Security Intelligence
Yuri Rueda 0
Crimen organizado, narco y remesas, principales fuentes de crímenes financieros en México: SAS

Los crímenes financieros, dentro de los que se ubica el lavado de dinero, provienen en su mayoría de fenómenos como el crimen organizado y el narcotráfico en México. Y una de sus manifestaciones más complejas es el envío de remesas, en las que se dificulta hacer un análisis de riesgo,

Data Management | Innovation | Predictions
Vrushali Sawant 0
3 industries set to benefit from ethical synthetic data generation in 2024

In 2024, we will witness the proliferation of synthetic data across industries. In 2023, companies experimented with foundational models, and this trend will continue. Organizations see it as an emerging force to reshape industries and change lives. However, the ethical implications can't be overlooked. Let’s explore some industries I think

Advanced Analytics | Analytics | Artificial Intelligence | Data Management | Risk Management
Luis Barrientos 0
¿Cuáles son los retos de las entidades financieras de Guatemala para la Administración del Riesgo de Crédito?

Desde el pasado 1 de enero del 2023, en Guatemala entró en vigor la resolución JM-47-2022 de la Junta Monetaria. Esta, explicaron expertos, constituye el nuevo reglamento para la Administración del Riesgo de Crédito que las entidades financieras reguladas deberán utilizar en el país. Específicamente, el objetivo principal de esta

Analytics | Data Management
小林 泉 0
ガウディとサグラダ・ファミリアに学ぶデータ分析基盤アーキテクチャのための原則

前回の筆者ブログ「STEAM教育の進化にみるAI活用に必要な芸術家的思考」において、AI/アナリティクス時代に芸術家的思考が必要だという話をしました。今回はその派生で、AI/アナリティクス時代に作られるデータ分析基盤の作り方について、「時間をかけて大規模に創造する」という点で類似している建築物、そのなかでも、自然摂理・数学・幾何学と芸術を融合された象徴としてのサグラダ・ファミリアとその大部分の設計を担ったガウディの考え方に学んでみようと思います。 ガウディとサグラダ・ファミリアの特徴 終わりがなく常にその時代の人によって継承され・作り続けられる ガウディは、サグラダ・ファミリアを完成という終わりを目指さないものとして考えていたそうです。教会という性質や、建築費を寄付で賄うという性質もあり、またガウディが世の中に残したかった、「象徴」として、建築物の完成・利用されるというアウトカムではなく、時代時代の人々が建築に携わり続けることで象徴としての役割をもたらすことをアウトカムとしたということだと私は個人的に解釈します。これは、誰かが作ったものを使うという一方的な関係性を超え、インクルージョンすなわち関与するという関係性をもたらします。 サグラダ・ファミリアの建設はゆっくりと進む。 なぜなら、私のクライアント(神)は完成をお急ぎではないからだ by ガウディ 自然摂理と数学・幾何学に基づく美しさ サグラダ・ファミリアの棟の形は放物線です。ネックレスを想像してみてください。長さや幅を変えると様々な放物線になることが分かると思いますが、そのような「逆さ実験」を繰り返しそれをさかさまにしてあの様々な棟の形になっています。これは、ガウディが何事も自然法則に基づくべきという考えに基づいています。 放物面は幾何学すべての父 by ガウディ 継続のための象徴性の維持 サグラダ・ファミリアは建築費を寄付に依存しています。そのため継続的に人々・社会の関心を惹き続ける必要があります。 サグラダ・ファミリアの思想に学ぶ、活用されるデータ分析基盤アーキテクチャに役立つ原則 原則①レジリエンスー蓄積するデータは常に変化する 「どのようなデータを蓄積しておいたらいいですか?SASさんの経験に基づいて教えてください」 「いま取得できるデータを全部蓄積しようと思うんです。あとでどれが必要になるかわからないから」 このようなお話をよくお聞きします。データ活用ニーズはマーケットの変化、競合他社の変化などによって刻々と変化していくため、利用データのニーズを気にすることは浸透していますが、一方で見落としがちなのは以下の2点です。 過去のデータは過去しか表していない。たとえば売上データ一つとっても、それは過去の自社の行動・意思決定の結果でしかなく、役に立つときもあれば、目的によっては全く役に立たない場合もある。 今得られているデータや分析に利用できそうなデータは今のテクノロジーで得られうるデータ、今のテクノロジーで分析しうるというデータにすぎない。将来テクノロジーの進化によって、新しいデータ、新しいデータ粒度が取得できるようになったり、また分析テクノロジーの進化によって想定してなかったデータが利用価値を生み出したりする可能性もある。 この2つの前提にたつと、どのようなデータをためるべきかという議論が意味がないわけではありませんが、「それほど」意味がないということが分かると思います。それよりは、システムアーキテクチャの原則として、将来、データのVolume, Velocity, Veriety に対応できるように硬直化しないことに、より注意を払うことが重要です。また、蓄積しておいたデータが結果的に使われないということもあるかもしれませんが、そのこと自体を失敗としてシステムの価値評価としては用いるべきではありません。重要なことはそのような重要でないデータが認識されたときに素早くストレージコストを低減するようなアクションができるという俊敏性なのです。それは最近のはやり言葉でいうと、レジリエンスと言ってもいいかもしれません。 原則②アーキテクト担当は芸術家的思考が大事 筆者自身、これまでデータ分析基盤システムのアーキテクチャを何度も担当してきました。そしてアーキテクトを育てる際にいつも言っていた言葉があります。「アーキテクチャは機械的に決まるものではないよ。意思だよ意思。あなたがやりたいように決めていいんだよ」いま思うと、STEAM教育に新たに加えられた芸術家的思考を唱えていたことになります。もちろん基本的な知識や経験に基づいたうえでですが、なかなか自分勝手にアーキテクチャを決めていいと思っているアーキテクト担当者も多くなく、結果として、様々な過去のしがらみに忖度したスパゲッティ状態の新システムが出来上がることも少なくありません。そのような結果にならないためには、その企業・自分たちの組織・自分自身ととことん向き合って、全体アーキテクチャにその思いを込める、ということが重要になってきます。もちろんコーチとしてはこのアドバイスの仕方では不足でして、もっと言語化してアクショナブルにしないといけないとは思いますが。 0から独創性は生まれない by ガウディ 原則③アーキテクチャ図は美しく 図やダイアグラムで人に何かを伝えるためには、見る際にそれを阻害する雑音となる不要な情報を削り本当に必要な情報のみに研ぎ澄ますという最低限のことだけではなく、見たいという気持ちにさせたり、見てみようと思わせたり、ちゃんと見ようと思わせたり、あるいは言語的な情報理解だけではない、感情を引き起こさせることで正しく記憶されます。幾何学的な対称性などのバランスを整えることは、「本日はお集まりいただきありがとうございます」に匹敵する挨拶レベルの基本行動規範です。さらには、複雑なアーキテクチャと向き合う場合には、数学的・幾何学的な視点で眺めなおすことで、構成要素が変わらなくても、アーキテクチャ図としてのエントロピーを低減し、構造の整理をすることで、オーディエンスの正しい理解・伝達コストを低減することが可能です。また、そのようにできる限り美しさを追求することで、逆に多くの部分が視覚情報として自然なものとなる、すなわち無の情報となることで、本質的に最も注目すべきポイントにオーディエンスの目を向けさせることができます。 原則④アーキテクチャの思想定義が重要 これは、上述の芸術家的思考と関連しますが、いわゆる芸術作品を評価した文章のような、背景・アーキテクトの思いなどをシステム設計思想として言語化し文書化して受け継いでいくことが重要です。芸術作品と同じように、作品=システムだけでは、作者がどのように自己と向き合い、世の中を見て、どのような思想で創造したのかを把握することは難しいです。サグラダ・ファミリアは未完成部分のガウディによる設計書が失われたため、現在の関係者たちはガウディの思想に基づきながら設計をしています。同様に、データ分析基盤システムが変化し続ける中担当者は変わっていきますが、システムの変更・改修の際にその「思想」に基づくことで、一貫性・効率性・投資対効果・透明性を高めることができるでしょう。 原則⑤アーキテクチャの思想定義の象徴化が重要 象徴化というと小難しい印象になりますが、データ分析基盤の「モットー」や「ビジョン」を常に発信していくということです。最近筆者が耳にした良いなぁと思った例を2つほどご紹介します。この2つの例では、情報システム部門のトップが常にこのワードを取引先ベンダーにもユーザーサイドにも宣伝していることが重要です。あらゆるステークホルダーがこのモットー、ビジョン、象徴に軸足を置くことで、そこからさまざまな提案・理解が派生するものの、このシステムに対する取り組みを将来に向けて継続・推進することに大きく役立っています。 「システム部門がボトルネックにならないセルフサービス化」 昨今、セルフサービスばやりですが、このフレーズにはユーザー部門からの並々ならぬプレッシャーと、それにこたえることがIT部門の使命だという企業としての一体となったデータ活用戦略が表現されており、様々な提案活動・意思決定の原則として非常によく機能しています。これによってステークホルダーが一丸となって、同じ世界を目指し続けることを可能としています。 「バッチ処理だけではなく真のリアルタイム処理にも同時に対応したシステム」 ビジネスにおいては、常に新しい技術・知識を関連付けて新しい商品やサービス、ビジネスプロセス、市場を創造していく必要がありますが、ITやAI/アナリティクスが主役の昨今、情報システム部門がそのような新しい技術・知識をユーザー部門に提案することが、外部ベンダーに頼らず自社内でスピーディーにイノベーション・トランスフォーメーションしていくうえで重要になってきます。ITの観点でいち早く世界中の情報を収集し、新しい技術を試し、ユーザー部門からのリクエストにリアクティブに備えるというよりは、プロアクティブに提案していく、こうすることで、データ分析基盤の位置づけや価値を確固たるものにし、継続的な進化をするものとして、持続的な成長をしていくことが可能になります。 原則⑥走りながらの変化を前提とする 筆者は、芸術の創作活動に詳しくありませんが、想像するに芸術作品の多くは、ウォーターフォール型ではなくアジャイル型ではないでしょうか。下書きを何度も繰り返したり、小さな単位の作品を小出しにしたりしながら、最終的にそれらの集大成として一つの大きな創造物が作られることが多いように見受けられます。場合によっては、その時代時代のトレンドに左右されながら、その一連の創造活動が行われる場合もあります。何事もそうですが、アイディアはエクスポーズしてフィードバックを得ながらブラッシュアップすることが最短経路での最大効果を生み出すことが多いです。データ分析基盤も同様です。まずデータを蓄積してそれが完了したら使ってみるというのをシーケンシャルに行おうとするケースがいまだ散見されます。蓄積してみた直後に、「使いたいデータがなかった」という事件は実際に起きています。なので、これはお勧めしません。データの価値は蓄積ではなく活用して始めて判明するからです。使ってもらって修正して、というフィードバックループを早く回して軌道修正をこまめに繰り返しながら進むことが重要です。 あらためて、Think Big, Start Small アナリティクスの世界では古くからある使い古された原則です。以前は、データ活用成熟度が高い企業のみがアナリティクスへの投資に踏み出していたため、他に参考にする企業もあまりなく、弊社がグローバルの知見や海外の先進事例や経験に基づいてお手伝いをしながらも、お客様自身でとことん考えビジョンを掲げ、少しずつ成果を出しながら投資を継続しながら、適用ビジネス、人材、組織共に、徐々に規模を拡大していくというやり方が主流でした。つまり芸術家的思考がやはりその根底にあったと言えます。 一方で、昨今AIブームの中AI市場が急速に拡大し、多くの企業がデータ活用に踏み出しています。そのため巷では、成功例・失敗例があふれ、それを参考にすることで、データ分析のビジネス活用に、組織的・人材育成的、IT投資的に、何か初めから答えがあるかのような錯覚をし、自社をとことん見つめたうえでのビジョンがないままに、手段が目的化し、組織化や人材育成あるいはデータ統合基盤の構築からスタートしようとしているケースをよく見かけます。その結果、人材育成は出来たはずなのにデータ活用によるビジネスの成果につながっていなかったり、データ統合基盤は出来たのに使われていない、データサイエンス組織に人材は集めたが具体的なビジネス適用につながらないといった結果に陥っているケースも見られます。会社の戦略が、自社のXXXというコアコンピテンスに基づき、XXXのようにビジネスを変革する、というものではなく、単に「データドリブン組織になる」「データドリブン経営をしていく」という手段が目的化しているときに、そのような思わしくない状況になるようです。 データ分析基盤のアーキテクチャもそうですが、今一度終わりのないこのデータ活用の取り組みに、ガウディがサグラダ・ファミリアに込めた戦略=芸術家的思考を参考にし、企業・組織の血となり骨となるデータ活用の取り組みの位置づけを考えてみるのはいかがでしょうか。

1 2 3 33

Back to Top