Data Management

Understand why managing your data is essential for analytics

Advanced Analytics | Analytics | Artificial Intelligence | Customer Intelligence | Data Management | Machine Learning | SAS Events | Students & Educators
0
SAS Innovate on Tour Tokyo 2025 開催のご報告

2025年7月24日(木)に開催された「SAS Innovate on Tour Tokyo 2025」は、大盛況のうちに無事閉幕いたしました。ご来場いただいた皆さまに、心より御礼申し上げます。また、スポンサーの皆さま、そして運営・制作・広報をはじめとする関係各位の多大なるご支援とご尽力に、深く感謝申し上げます。 開催報告として、弊社代表 手島 主税からの基調貢献に関するメッセージを以下に投稿させていただきます。   SASジャパン創立40周年を迎える節目の年に開催致しました「SAS Innovate on Tour Tokyo 2025」ですが、私が代表を担当させていただいてから3度目となりました。この3年間、毎年ご来場いただく規模が増えておりまして、今年は過去最大の規模で終えることができました。改めまして皆様に心から感謝申し上げます。 意志決定と人との関係性の力をデータ&AIで紐付ける、「人中心型イノベーション」のビジョンのもと、意志決定に携わる経営者とフロントラインワーカー(営業、マーケティング、工場長、主計など)が求める具体的なテーマでお届けしました。 SASは「データはそれ自体では価値を生まない。価値を生むのは意志決定である」という信念のもと、多様化したAIのモデルを統計的な手法と機械・強化学習の組み合わせを実行できる高度なアナリティクス技術を進化させてきました。重要なのは、データをいかに意志決定に結びつけ、行動変容を促すかという「プロセス」です。 私たちが提唱する「意志決定のデータパイプライン」は、ビジネス部門の課題提起から逆算して必要なデータを整備するアプローチです。システム先行ではなく、人の知見や問いを起点にすることで、真に活用されるデータ基盤を構築できます。SASは、意味付けされたデータを各部門に合わせて提供し、お客様の意志決定を支援しています。 今年の基調講演では、日本を代表する経営者、DX推進リーダー、アカデミアのリーダーの皆様とスペシャルゲストとしてお迎えし、示唆に富んだパネルディスカッションを実施しました。 最初のパネルでは、ソニー銀行様、中国銀行様、東京海上ホールディングス様の経営リーダーがご登壇。 益々過去に無い規模でデータが生成されていく時代になり、企業の価値を創り出す宝探しである。またこれから現場への権限移譲とデータリテラシーの底上げを進めながら、最終的な価値を生むのは人のシナリオ、判断力であることが改めて強調されました。特に印象的だったのは、金融商品に“共感価値”を織り込むという発想の転換。金融を単なる機能価値から、人の感性に響く体験へと昇華させる挑戦が語られました。 [パネルディスカッションご登壇者(※登壇順)] ソニー銀行株式会社 南 啓二様 株式会社中国銀行 山縣 正和様 東京海上ホールディングス株式会社 生田目 雅史様 株式会社ソウジョウデータ 西内 啓様 未来の学びの探求’Future Ready’のパネルでは、統計学で多くの著書、大学での教えも推進されてきている西内先生をお迎えし、「問いを立てる力」がAI活用の出発点であること、そして経営から現場まで“問い→仮説→検証”のリズムを組織全体で回すことの重要性が共有されました。 また、アストラゼネカ堀江様、NSW竹村様にもご登壇頂きました。 堀江様には最新のSASのテクノロジー、AIを活用いただいたモダイナイゼーションによるコスト最適化とフロントワーカーの効率性アップの具体的な事例をご紹介いただき、多くの方に反響を頂きました。 [関連記事] アストラゼネカが目指す医療・創薬の新たなステージ──実現に不可欠なデータサイエンス部の役割とは? 竹村様には、新たなSASとの製造業界向けの戦略的パートナーアライアンスの発表をご披露いただき、昨今の製造業界における課題へのソリューション(工場と経営DX)をご紹介頂きました。これからの両社によるパートナーシップに弊社も大きく期待しております。 [関連記事] NSW株式会社様との協業の発表について - SAS Japan 私個人的にも、日本を牽引する各業界のリーダー皆様の志、視座の高さ、人間力に感銘致しました!!改めまして、南様、山縣様、生田目様、堀江様、竹村様に感謝申し上げます。皆様のビジョンの具現化の力になるべく、引続きSASジャパンも社を挙げて果敢に挑戦してまいります。 これからのSASジャパンに乞うご期待ください。 SAS Institute Japan株式会社

Advanced Analytics | Analytics | Artificial Intelligence | Customer Intelligence | Data for Good | Data Management | Data Visualization | Fraud & Security Intelligence | Internet of Things | Learn SAS | Machine Learning | Programming Tips | Risk Management | SAS Administrators | SAS Culture | SAS Events | Students & Educators
小林 泉 0
📣SAS Hackathon 2025 まもなく開幕(応募〆切8/31)📣

SAS Hackathon 2025が間もなく開幕 公式サイトはこちら☞ https://www.sas.com/sas/events/hackathon.html はじめに 課題、テーマや使用データ 課題やテーマ、使用データは参加者ご自身で準備いただきます 2023年の日本からの参加チームは、オープンデータを使用したチーム、普段の自社内の取り組みプロジェクトのデータを使用したチームなどがありました 分析環境や、専門スキルの支援などはSAS側で用意されます コミュニケーションに使用する言語 日本からの参加者をサポートするメンターはSAS Japanから日本語を話す社員が担当する予定ですが、エキスパートや他の参加者との交流は英語になります 成果物に使用する言語 成果物(プレゼン動画やプレゼン資料、アプリケーションなど)は英語になります。昨年の日本からの参加チームはそれぞれ、英語でのプレゼン、無音声英語文字のみのプレゼン、英語機械音声など様々な方法で対応されました 作業場所 オンラインでの約1か月間の作業なので、作業場所は、参加チームそれぞれで確保いただきます 2025 キックオフイベントの様子 ソーシャル メディア プラットフォーム経由で視聴する LinkedIn☞https://www.linkedin.com/events/7333469635326984193/ Youtube☞https://www.youtube.com/live/yp008_MVfF4 SAS Hackathonとは 好奇心は私たちの規範です 素晴らしいアイデアは、どこからでも誰からでも生まれます。さまざまな地域から、さまざまな背景やスキルレベルを持つデータ愛好家が集まると、驚くべきことが起こります。これらの優れた頭脳は、私たちの日常生活、ビジネスのやり方、人道的活動への取り組み方を変えるような新しいものを発明するでしょう。好奇心旺盛な頭脳が協力し合うと、世界が勝利するからです。 特長 仲間のプログラマーと協力する  経験豊富なデータ サイエンティストから初心者の技術者、パートナー、SAS エキスパートまで、誰もがクラウド上の SAS® Viya でオープン ソースを使用します。 無料の学習リソースを活用する トレーニング コースや仮想学習ラボを利用して、AI、クラウド環境、業界に関するコーチングを活用できます。 新しいテクノロジーを簡単に試すことができる SAS ハッカソンは、SAS ユーザーだけでなく、初心者や新規参入者の好奇心を刺激します。Python と R の専門知識を持つオープンソース プログラマーでも、そのスキルを SAS Viya

Advanced Analytics | Analytics | Artificial Intelligence | Data Management
小林 泉 0
自由と統制:変化しながらもガバナンスを担保するための唯一無二のデータ分析プラットフォームとは

競争に勝つためのData & AI プラットフォームに完成はない 「ガウディとサグラダ・ファミリアに学ぶデータ分析基盤アーキテクチャのための原則」で考察したように、変化し続ける市場や消費者、経済環境において、企業・組織が意志決定する対象やその内容は刻々と変化していきます。また、よりよい意志決定のためのData & AI活用のためのテクノロジーも日々変化していきます。そのような環境においては、従来のようなある一時点のユーザー要件に基づいてData & AI環境を準備することは、企業・組織の俊敏性を損ない、まだ見ぬ将来への変化対応力(レジリエンシー)を弱め、結果として常に世の中のトレンドから大きく遅れた後追いのData & AI活用になってしまいます。例えば以下のような状況に陥っているとすると、それはその企業・組織の戦略がそのような常に後追いにしかならない方法論で進めていることになります。 「データ統合基盤」の過ち:あらたに「データ統合基盤」(*1) を構築しようとするが蓄積するデータが決まらずプロジェクトが開始できない、あるいは完了しない。また完了したと思ったのに使われない。 「Data Lakehouseツール」の過ち:アジャイル型を標榜して、クラウド型の「Data Lakehouse用」のデータベースを安価に採用したが、ユーザーの利用が進むにつれてより多くのデータが必要になってきたときに、そのデータベースのコストが指数関数的に膨れ上がる価格モデルであったため、必要なデータが結局蓄積できないという結果になった 「簡易なデータ分析ツール」の過ち:上記と同様にクラウドプラットフォームにほぼ無償でついてくるAI/機械学習機能でデータ分析をスタートする企業も多いです。しかし多くの企業が「データ分析始めました」の域を出ることができず、真にビジネス課題を解決するための機能が足らないことに気づかないまま、データ分析とはこの程度のものだと思い込み、結果として「始めましたプレゼンテーション」を最後に、真にビジネス価値を創出した事例発表に至ってない。 「AIガードレールツール」の過ち:生成AIのテクノロジーを活用して、自社のビジネスを成長させたいが生成AIを安全に使うためのAIガードレールツールを選定したが、いざ導入してみると、そもそも生成AIを活用してビジネス価値を出す案件がなかったり、あるいはテクノロジーの進化が速いために、必要なガバナンス機能がすぐに変わってしまい、当初の投資金額だけでなく、その投資にかかった時間や人的リソースが無駄になってしまった 「データモデル」の過ち:過去の経験のベストプラクティスとしてのデータモデルを導入したが、ある時点のデータモデルとして完成しすぎていて、新たな市場の要件に対応するために新たなデータを追加しようとした際に、対応できなかった 「機能特化型パッケージツール」の過ち:たとえば、金融不正対策アプリケーションにおいては、不正の手法が常に変化する中対策に必要なデータやアルゴリズム・手法をどんどん変化させていく必要があるが、限定的なデータモデル、限定的なアルゴリズムしか持たないツールを採用してしまったために、不正対策をスピード感をもって進化させられていない *1) データ統合基盤の過ち補足:そもそも日本市場・日本語でよく聞く、この「データ統合基盤」という言葉が過ちを生み出している元凶でもあります。データ・マネージメントの目的は、「欲しいときに」、「欲しい形で」、「欲しい品質で」、「欲しい人が」特定のビジネス課題を解決するという目的を達成するためにデータを活用できることです。必ずしも一か所にデータが蓄積されている必要はありませんし、データは膨大なため利用頻度や重要度に応じて格納の仕方を変える必要もありますし、目的に応じて必要なデータやその結合の仕方も変わるため、「あらかじめ統合」しておくことにもあまり意味がありません。もちろん、過去データウェアハウスの時代には、一時的に企業の構造化データを一貫性をもってER図的に定義・実装したデータモデル・データベースが非常に役立った時代もあります。特にそれはアドバンスト・アナリティクスというよりは、レポーティングやOLAPによるデータ探索目的に役立ちました。一方で、機械学習や最適化などアルゴリズム的に高度なデータ分析や、昨今のように非構造化データを扱う場合には、常に新しいデータを使いたくなることが多く、あらかじめデータモデルで定義しておくことの価値は低くなります。 なぜ常に時代遅れになりがちで、AIの取り組みの役に立たないData & AIプラットフォームを構築してしまうのか? 上記のような様々な過ちに企業陥ってしまうのはなぜでしょうか? 20年ほど前は一部のアナリティクス成熟度が高い(例えばこちらを参照ください データリテラシーが経営者の嘆きを救う)企業だけが、解決したいビジネス課題とそれを解決した時の期待効果の試算に基づいてあるいは野心的に大規模にData & AIプラットフォームへの投資を、ユーザー部門が主に自分たちの予算で企画・導入していました。 その後、テクノロジーの進化と共に、プログラマーニーズ、あるいはプログラミングを主たる作業とするデータサイエンティストニーズの高まりにより、データ分析、データサイエンスの取り組みのオーナーがあたかもIT部門やアプリケーションデベロッパーかのような時代になり、Data & AIプラットフォーム投資の意志決定のオーナーがITサイドに移動しました。 手段であるIT、データサイエンス、機械学習やプログラミングの底力が高まるのは良いことなのですが、それにより、「ビジネス課題解決(収益向上・コスト削減・リスクの管理)」というData & AIプラットフォームの目的定義がおざなりになり、あたかもERPを導入するかのような要件定義の仕方でData & AIプラットフォームへの投資の仕方に代わってしまいました。従来は目的ありきで作っていたものが、流行にのって作ってしまってから、後から使い方を考えるという世界に変わってしまったのです。データ統合基盤を作ったのに使われないという嘆き(前述の別ブログを参照のこと)はまさにその象徴です。 一方で、昨今の責任あるAIの視点から、ビジネスニーズに沿ってなんでもかんでも自由にやっていいわけではない 少し前までは、AIは、「人間の特定のタスクを置き換えるもの」という定義でしたが、昨今は違います。AIは人間とは異なる方法で知性を身につけており、ときにそれは人間の能力をはるかに超える能力を発揮します。言い換えると、AIは人間の理解ややり方が及ばない方法で、知的なアクションを行えるようになっています。これは次のようなことを意味しています。 人間の仕事が奪われるという視点は近視眼的:AIはすでに人間とは異なる方法で知性を身につけているので、従来の人間のタスクをそのまま置き換えるわけではありません。もちろんAIの能力を過小に使用して人間の従来のタスクをやらせても良いかもしれませんが、それはAIの潜在能力を生かし切っていません。これまで人間にはできなかったことができるAIを、これまで人間がやってこなかった仕事の量や質に当てはめて、仕事の仕方を効率化するのではなく、「変革」することができるという視点が重要です。 我々は人間社会をより良くする必要がある:一方で、人間の能力を超えた知性を人間の社会活動に取り入れることには最新の注意が必要です。人間の能力を超えた知性を人間の知性で開発されたテクノロジーだけで統制することは不可能です。かつて人間は様々な人間の能力を超えたものを開発してきました。例えば自動車です。自動車の利用を統制するには法律やルールが必要だったように、AIの利用を統制するためにはテクノロジーだけではなくルールや法律が必要になってきます。 人間中心のAI活用には人間のインクルージョンが不可欠:教育機関が生徒不在で「生徒はこれが欲しいはずだ」という取り組みを実施して失敗したり、イベントやマーケティングにおいて企画フェーズに実際のオーディエンスを参加させずに(実際の声を反映させずに)企画者が勝手に良かれと思った企画が失敗に終わるケースは後を絶ちません。オーディエンスが画一的ではなく多様化している今の時代「インクルージョン」が非常に大事になってきています。これは、SAS社が提供する責任あるイノベーションのためのリテラシートレーニング(Responsible Innovation and Trustworthy AI)で学ぶ内容です。AIにはデータが必要なため適切なリテラシーがないと現実世界を切り取っただけのバイアスだらけのデータだけを真実と見なしたAIアプリケーションが構築され、人間社会の倫理と公正性が危険にさらされます。AIアプリケーションの開発プロセスに人間が介在できるData & AIプラットフォームが求められます。 Data &

Advanced Analytics | Analytics | Artificial Intelligence | Customer Intelligence | Data Management
0
保険業界向けインタラクティブセッション「新しい保険ビジネス創造に向けた事例と成功要因」を開催!【SAS Institute Japan】

2024年5月31日(金)、SAS Institute Japanは、「保険業界向けインタラクティブセッション 新しい保険ビジネス創造に向けた事例と成功要因」 を六本木ヒルズ森タワー11階のSAS Institute Japan本社で開催した。 開会挨拶 保険業界においても顧客ニーズは多様化、高度化している。たとえば、生保ではウェルビーイングのような包括的な顧客ニーズを充足することが求められている。そして、顧客ニーズを充足するためのエコシステムが台頭し、保険商品がエコシステムに組み込まれ、顧客の生活の中でフリクションレスに保険や関連サービスが提供されるようになっている。今、保険会社はどのように新しい商品・サービスを開発し、マーケティングを実行すべきなのか。本イベントでは、保険業界で実際に多数のイノベーションやCX変革に関わっている有識者をゲストに迎え、今取り組むべき課題やその実際を議論していく(SAS Institute Japan カスタマアドバイザリ事業本部 原島 淳氏)。 セッション1:保険業界におけるビジネスアーキテクチャの転換  まず、福島 渉氏(デロイトトーマツコンサルティング 執行役員 保険インダストリリーダー)が「保険業界におけるビジネスアーキテクチャの転換」について話した。  「これまで世界の保険業界において、ランキング上位企業の顔触れは大きく変わってこなかった。100年以上の歴史を持つ保険会社がランキング上位を占めている。それは従来の保険会社はバリューチェーンの各機能を内製化しており、それぞれの知見や能力が競争優位性の源泉であり、また参入障壁になっていたからだ。大手企業は、潤沢な資本を背景とした価格形成力を持ち、販売網を張り巡らせ、そして高い引受・査定能力により収益を維持してきた。 しかし、今日ではバリューチェーン各機能の分立と共有化が進んだことで、この構造が崩れ始めている。保険会社のビジネスモデルは多様化しており、また水平横断的機能提供を狙うプラットフォーマーが出現している。各保険会社は自らの強みを活かしながら、フィナンシャル&ヘルスマネジメント型、経済活動のあらゆるリスクをカバーするフルスペック型、ドメインフォーカス型、もしくはプダクトファクトリー型といったビジネスモデルを選択していくことになると予測する。また、機能特化/集約型プラットフォーマーとして、データアナリティクス、カスタマーエンゲージメント、キャピタル&インベストマネジメント、ITテクノロジーのプラットフォーマーが出現してくるだろう。たとえば、資産運用プラットフォームBlackRock、”Technology as a Service”のOneConnectといった企業はそれに当たる。保険会社はこういったプラットフォーマーを活用することも重要だ。  このような潮流を受けて、保険業界のビジネスアーキテクチャは変化している。これまでは、単一の商品を効率的に販売する”代理店モデル”が主流だった。しかし、これからは商品・サービスとチャネルをターゲット顧客に応じて最適な形で組み立てていくことが重要だろう。前述のような機能プラットフォーマーが提供する”モジュール化”された機能を自社の商品・サービスやチャネルと組み合わせることで新しいビジネスモデルを定義し、多数の顧客セグメントに効率よく価値提供することも可能だ。たとえば、よく知られるエンビデッド保険や、シンガポールIncomeのSNACKの革新的なサービスもその一例だ。  今日の保険業界ではスピーディーなイノベーションが強く求められている。イノベーションを加速させるには、モジュール化された機能を組み合わせることで、商品・サービスをスピーディーにプロデュースする能力が重要と言える。これからの保険会社に求められるのは、ブランド価値とビジネスケースの仮説構築力と、それをもとに商品・サービスをアジャイルで構築できる新しいテクノロジー基盤、そこで仮説検証を高速で廻せる業務プロセスである。今日の保険会社には、商品・サービス開発、マーケティング、テクノロジー、そして全体のガバナンスの各領域で、”モジュール”を活用したスピーディーな競争優位性の創造が求められている。」 セッション2:三井住友海上におけるCXマーケティングとデータ活用の取り組みについて  では、保険会社では実際にどのように商品・サービスを開発し、マーケティングを行っているのだろうか。続いて、佐藤 祐規氏(三井住友海上 CXマーケティング戦略部 データマーケティングチーム長)が「三井住友海上におけるCXマーケティングとデータ活用の取り組みについて」と題して、実際の取組みを紹介した。  「言うまでも無く、保険業界を取り巻く環境は大きく変化した。お客さまが自ら必要な情報を選択する時代では、事故補償時だけの関係性から脱却しなければならない。CXマーケティング戦略部では、お客様ロイヤルティ大手損保No.1を目指している。このためには、顧客接点を増強すること、そして、データ分析やリサーチを通してお客様の解像度を高め、お客さまごとのコミュニケーションを実施することで、新規獲得手法を高度化し、またお客さまの期待を超える体験価値を提供することが重要だ。そして、そのためにはデータ分析やデータ活用が欠かせない。  当社ではマーケティング領域のデータ活用を強化しているが、いくつかの取組事例を紹介する。まず、ドラレコ付き自動車保険のクリエイティブ開発の事例だ。従来、クリエイティブ開発は商品所管部門が担当しており、モノの視点(機能的価値)からの価値訴求が多かった。しかし、実際にお客さまへの訴求を行っている代理店への調査を行ってみると、お客さまは加入後の体験とそれによる安心に価値を感じていることがわかった。そういった体験価値の視点からプロトタイプを作成し、ターゲット層にアンケート調査を行うことでブラッシュアップを行い、より評価の高いクリエイティブを作成することができた。 この事例のように、消費者調査を行なうことで顧客のニーズや求められる価値を理解した上で、商品・サービス開発を進めている。お客さまに選んでいただくためには、良い商品を開発するだけでなく、当社の認知度や好感度、さらに契約体験や事故体験も重要な要因となる。それぞれの体験や認知が契約にどの程度寄与するのかも分析を行っている。 こういった分析を通してマーケティングミックスを最適化するために、弊社ではCDP(Customer Data Platform)を構築し、お客様起点で属性、契約、行動、調査、事故の情報を統合、活用している。この情報は代理店にも還元していて、代理店向け営業支援システムにNBA(Next Best Action)情報を配信している。  今後の方向性として、保険会社はプロダクト中心の発想から抜け出し、カスタマージャーニーにおける価値を中心に考える必要がある。顧客との接触頻度を拡大すべきだが、無意味な拡大は逆効果で、適度な距離感を持って、有用なコミュニケーションを行っていくことが重要だ。そのためにはお客さまの文脈を押さえた(”ジョブ理論”にもとづく)コミュニケーションが欠かせない。現在、ChatGPTを活用しながら、ジョブ理論にもとづくクリエイティブ開発を進めているが、こういった施策を通してCX向上を目指したい。保険会社の商品・サービスは今後拡大していくだろうが、差別化の最大のポイントはCXだと考えている。」 セッション3:保険イノベーションをサポートする新しいSASテクノロジと事例  こういった保険業界のイノベーションやCX高度化に求められるテクノロジーとは何か。原島 淳氏(SAS Institute Japan カスタマアドバイザリ事業本部)が「保険イノベーションをサポートする新しいSAS」と題して、SASが提供するテクノロジーと海外でのその活用事例を話した。  「保険会社は今、新しい商品・サービスとそのマーケティングモデルをスピーディーに創造していくことが求められている。競争力の源泉としてデータとAIを活用し、また新しいマーケットプレイスやテクノロジー企業が提供する”モジュール”との連携も重要だ。 SASはデータから価値実現のプロセスをEnd-to-Endでサポートし、アジャイルにも対応している。また、あらゆるシステム/モジュールとリアルタイムで統合可能なオープン性を持つ。SASを活用することで、データ・AIを活用した判断をカスタマージャーニーに組み込み、顧客体験を最適化できる。たとえば、外部ウェブサイトの顧客行動をリアルタイムで捕捉・分析し、最適な保険・サービスを最適な保険料で提案。申込があれば本人確認を行い、自動引受査定を行い、スピーディーに契約のご案内を行う、といった形で、業務横断のデータ・AI活用が可能だ 保険業界においてもSASを活用した事例は拡大している。その中から、(1)新しい商品・サービスをスピーディーに創造している事例、(2)優れたCXを提供する顧客接点を構築している事例、(3)業務横断の高度なデータ・AI活用を実施している事例を紹介したい。 まず、(1)海外ダイレクト保険プラットフォーマーでは、多数の外部パートナーに対し、APIを通して豊富な商品とSASで開発されたカスタマーエンゲージメントプラットフォームを”モジュール”として提供する。このプラットフォームはスケーラブルで、かつスピーディーに拡張できる点が特徴であり、多数の外部パートナー向けのエンベデッドの保険の提供や、金融・小売といった多数の販売パートナーとの提携によるマーケティングモデルの展開をサポートしている。次に、(2)カナダSun Lifeでは、デジタルアドバイザ”Ella”がアマゾンエコーなどのインターフェースを通して顧客のライフスタイルをサポートしながら、各種データにもとづいて健康や資産運用のための様々なナッジを提供している。(3)海外保険会社の中小企業向け保険のアンダーライティングでは、引受リスクだけでなく、保険+予防予後サービスを含むトータルの顧客LTVを加味して最適な提案(NBO=Next

Advanced Analytics | Analytics | Artificial Intelligence | Data Management | Data Visualization | Machine Learning | SAS Administrators
小林 泉 0
データ分析プロセス全体を管理~自己組織的に育てるナレッジのカタログ化とは

自己組織化とは、自然界において個体が全体を見渡すことなく個々の自律的なふるまいをした結果、秩序だった全体を作り出すこと 2010年から存在した解決アイディアがついに実現可能に 今から遡ること十数年前の2010年頃、支援をしていた大手製造業の会社ではすでにデータ分析スキルの社員間でのばらつきと組織全体のスキルの向上、データ分析作業の生産性の向上、人材のモビリティへの耐性としてのデータ分析業務の標準化が課題となっていました。 当時ご相談をいただいた私を含むSASの提案チームは、SASが提供するアナリティクス•ライフサイクル•プラットフォームを活用することで、その問題を支援できることがすぐにわかりました。つまり、ビジネス課題から始まり、利用データ、データ探索による洞察、データ加工プロセス、予測モデリングプロセス、モデル、そしてそれをアプリケーションに組み込むディシジョンプロセスという、一連のアナリティクス•ライフサイクルにまたがるすべての作業を電子的に記録し、全体のプロセスそのものをモデリングし、利活用することで、自己組織的にナレッジが蓄積され、且つ活用されるということです。 しかし、当時のSASだけではない周辺のIT環境、すなわちPCやアプリケーションアーキテクチャなどのインフラ、データの所在、セキュリティ管理などがサイロ化していること、またSAS以外のModelOps環境もシステムごとにアーキテクチャがバラバラすぎたこと、また、お客様社内のデータリテラシーそのものもまだ課題が多かったため、SASを中心としても、実現にはあまりにも周辺の開発コストがかかりすぎたために、提案を断念しました。 時代は変わり昨今、クラウド技術の採用およびそれに伴うビジネスプロセスの変革と標準化が急速に進んでいます。それに歩調を合わせるように、SASの製品も、上記の当時から市場をリードしてきたMLOpsフレームワークをDecisionOpsへと昇華させ、クラウド技術を最大活用すべく、クラウドネイティブなアーキテクチャおよび、プラットフォームとしての一貫性と俊敏性を高めてきました。そしてついに最新版のSAS Viyaでは、アナリティクスライフサイクル全体にわたり、データからデータ分析プロセス全体の作業を電子的に記録し、管理し、活用することが可能となりました。 自己組織的にナレッジを蓄積活用するデータ分析資産のガバナンス 昨今のデータマネージメントの取り組みの課題 詳しくはこちらのブログをご参照いただきたいのですが、多くのケースで過去と同じ過ちを繰り返しています。要約すると、データ分析文化を醸成したい、セルフサービス化を広めたいという目的に対しては、ある1時点のスナップショットでの完成を目的としたデータカタログやDWH/DMのデータモデル設計は問題の解決にはならないということです。必ず5年後にまた別の担当者やプロジェクトが「これではデータ分析しようにもどのデータを使えばわからない、問題だ、整備しよう」となります。 では解決策はなんでしょうか。 静的な情報を管理したり整備するのではなく、日々変わりゆく、どんどん蓄積され、評価され、改善、進化し続ける、データ分析業務に関わるすべての情報を記録統制することです。つまり、以下の三つのポイントを実現することです。各ポイントの詳細は後段でご紹介しています。 ポイント①あらゆるデータ分析資産(ナレッジ)を管理 ポイント②データ品質管理の自動化・省力化とガバナンス ポイント③社内ソーシャルの力による自己組織的情報の蓄積 まずは、それぞれが何を意味しているかを説明する前に、これらを実現するとどのような世界になるのかをユーザーの声によって示してみたいと思います。   個々の自由にデータ分析をしているユーザーによる行動を記録することで、全体を見渡している誰かがヒアリングや調査をして情報を管理することなく、データ分析がどのように行われているかを管理・共有・再利用が可能となるのです。 誰が、どのような目的で、どのデータを、どのように使用したのか、そしてその結果はどうだったのか? このアプリケーションの出した判定結果の説明をする必要がある。このモデルは誰が作ったのか?どのような学習データを使用したのか?どのようなモデリングプロセスだったのか? よく使用されるデータはどれか? そのデータはどのように使用すれば良いのか?注意事項はなにか? データ分析に長けた人は誰か?誰が助けになってくれそうか? 企業全体のデータ品質はどのようになっているか? データ品質と利用パターンのバランスは適切か?誤った使い方をしているユーザーはいないか? など従来、社内勉強会を開催したり、詳しい人を探し出してノウハウを聞いたり、正しくないことも多い仕様書をひっくり返してみたり、そのようにして時間と労力をかけて得られていたデータ分析を自律的に行う際に重要となる社内ナレッジが、自己組織的に形成されるということです。 「情報資産カタログ」とは~一般的な「データカタログ」との違い このような世界を実現する機能をSASでは、「情報資産カタログ」と呼んでいます。データ分析プロセス全体を管理・検索・関連付け・レポートできるようにするテクノロジーです。一般的に言われる、また多くの失敗の原因になる、「データカタログ」と対比するとその大きな違いが見えてきます。 こちらのブログでも述べましたが、データ分析者がセルフサービスでデータ分析を実践したり、初学者がなるべく自分自身で情報収集して、まずは標準的なデータ分析作業をマスターしたりするためには、既存ナレッジを活用する必要があります。一方で、そのようなナレッジは従来一部の優秀なデータ分析者に聞かないとわからなかったり、あるいはITシステム部門に質問して回答までに長い時間を要してビジネス機会を逸してしまう、という結果を招いていました。 既存ナレッジとは、どのようなデータを、どのような意図で、どのような目的で、どのように使い、どのようなアウトプットを得たかという一連の「考え方とやり方」であり、これは管理者が一時的にデータ分析者にヒアリングして「データカタログ」を整備して終わり、というものではなく、日々データ分析者たちの中で自律的に情報が作られていくものです。 ポイント①あらゆるデータ分析資産(ナレッジ)を管理 SAS Viyaでは、上述のアナリティクスライフサイクル各ステップのオブジェクトがすべて一元的に記録・管理されます。日々、新しく作られるレポート、データ加工プロセス、作成されるデータマートの情報が、自動的に管理され検索対象になっていきます。このようにアナリティクス・ライフサイクルの各ステップをすべて管理することで、データ、そのデータを使用しているレポート、そのデータを使用しているデータ加工フロー、その出力データ、さらにはそれを学習データとして使用している予測モデリングプロセスと作成されたモデル、これらを関連付けて見ることが可能となります。それにより例えば、ある目的に使用するデータを探している場合、参考にする業務名やプロジェクト名で検索をすることで、関連するレポートや、データ加工プロセスにたどり着き、そこから使用データやそのデータの使い方にたどり着くという効率的な情報の探し方が可能となります。 もちろん、この機能は昔からあるインパクト・アナリシス機能として、ITシステム部門が、データへの変更の影響調査ツールとして使用することも可能です。 ポイント②データ品質管理の自動化・省力化とガバナンス データ分析を組織的に行う際に気にすべきポイントの一つは、その正確性です。正しいマスターデータを使用しているか、適切な品質のデータを使用しているかは、最終的なアクションや意思決定の精度すなわち収益に影響します。また、結果に対する説明責任を果たすうえでもアクションに使用したデータの品質は属人的ではなく、組織的に管理されている必要があります。またデータ品質を組織的に管理することにより、データ分析の最初に行っていた品質確認という作業が省力化できます。また、属人的に行っていた品質確認作業も標準化されるため、組織全体のデータ分析作業の品質が向上します。 あるお客様では、DWHに格納するデータのETL処理において施すべき処理が実施されていないというミスがあるものの、データの数やETL処理があまりにも多いためそのミスを発見することが困難であるという状況にありました。網羅的な品質管理および品質レポートによってそのようなミスの発見が容易になります。 ポイント③社内ソーシャルの力による自己組織的情報の蓄積 前述のポイント①により基本的にはデータ分析者個人個人の自律的な活動が自動的に記録され、自己組織的に組織全体のナレッジとて蓄積され共有・再利用可能な状態が作られます。これは、データ分析者個人個人が特に意識しなくても自動的に実現できます。それに加えて、さらに意識的にこのプラットフォームを利用することで、蓄積されるナレッジに深みが増します。 例えば、あるビジネス課題をデータ分析で解決使用する場合のスタートは、「問い」です。上述のアナリティクス・ライフサイクルの一番左のスタートにあるものです。その際には、仮説設定をするためや仮説を検証する目的で、様々な角度から「データ探索」を行います。この初期のデータ探索プロセスは、その後のデータ加工やモデリングの根拠になっているため、ナレッジとしてまた説明責任の材料としてはとても重要になります。必ずしも最終的に使用したデータと同じデータを使うとも限らないので、自動的には他のデータ分析資産とは関連づきません。そのような探索プロセスも下記の図のように、同じプロジェクトフォルダに保存しておくことで、関連オブジェクトとして活用することが可能となります。また、プロアクティブに自信が使用したデータやレポートにコメントや評価を付与することで、より価値の高いナレッジへと育つことになります。 昨今企業内SNSなどで、オフィスツールの使い方などノウハウを共有をされている企業・組織もあるかと思います。それを全社規模のアナリティクス・プラットフォームで行うことで、データ分析に関わるナレッジをユーザー同士で培っていくイメージです。 まとめ 「このデータはこの目的に使えますか?」「あ、それはこの情報がないので使えないんですよ。こちらのデータを私は使ってますよ」データ分析者の間でよく交わされる会話です。この問いにいかに迅速に答えられるかが、データ分析の効率性と正確性を高めます。「情報資産カタログ」はまさにこの問いに答えるための機能なのです。

Analytics | Data Management
小林 泉 0
ようこそ古くて新しいデータマネージメントの世界へ~カギは自由と統制

ようこそ古くて新しいデータマネージメントの世界へ 2023年、DMBOK(データマネージメントの知識体系を網羅的にまとめたもの)という用語を改めて聞く機会が多くなりました。おそらくこれはアナリティクス(データ分析に基づくより良い意思決定の実践)の近年のブームで、新たにアナリティクス活用に踏み出し、ようやくビジネスに直結する使い方をするようになった企業・組織があらためてデータマネージメントの重要性に気付き始めたからだろうと推察します。 また一方で、クラウドシフトに伴いクラウドストレージの活用とともに、これまで蓄積していなかったデータを蓄積し始めたり、これまでのデータウェアハウスを一新する形で、データレイク/データウェアハウスを再構築するなど、従来からアナリティクスを活用していた企業もまた同様に、データマネージメントについて改めて考えているようです。 20年以上前からアナリティクスを競争優位の源泉としていた企業では、データマネージメントが大きな一つの関心ごとでした。その後、テクノロジーの進化によって、ソースデータのビッグデータ化(Volume, Variety and Velocity)や、ストレージ技術の進化、そしてアナリティクス・プラットフォームの進化によってITシステムに対するビジネスニーズも変化しました。また、消費者市場の変化や、データサイエンス人材の爆発的な増加といった市場の変化も目覚ましいものがあります。このような変化の中、近年あらたにアナリティクスの活用に踏み出しはじめた多くの企業だけでなく、従来、競争優位の源泉にしてきた高成熟度企業においても、データマネージメントの課題への遭遇と解決にむけて取り組んでいます。 いきなりですが、もっとも頻繁にお伺いする課題について 過去も今もお客様から聞く課題で最も多いのは、「作ったけど使われないデータウェアハウスやデータマート」です。そもそも、使われる/使われないというクライテリアそのものをもう少し注意深く定義する必要はあるとは思いますが、ITシステム部門主導で利用目的をないがしろにしたデータ基盤構築プロジェクトは往々にしてそのような結果になるようです。例えば、ITシステムサイドの都合で蓄積データの種類・期間や粒度を決めてしまうことで、データ分析要件を満たさないという結果になったり、データの出自や性質・品質や使い方のガイドがないために、データはそこにちゃんとあるのにユーザーから利用を敬遠され、別の独自のデータが作り出されたり、作成の要求が来たりしてしまいます。本ブログでは、このような結果に陥らないために意識すると良いと思われることをお伝えしていきます。 もっとも簡略化したデータマネージメントの歴史 アナリティクスに特化したデータマネージメント考察の第一期ーHadoopの到来 2015年以前はダッシュボードや定型レポート、一部の大規模なデータ分析処理用にRDBMSやデータベースアプライアンスが構えられるのみで、アナリティクス用途としてはSASデータセットやフラットファイルでの運用が主でした。これはアナリティクス的なデータ加工および統計解析・機械学習ワークロードに適したテクノロジーが世のなかにはあまりなかったからです。Hadoopの登場により、アナリティクス用途でのデータ活用が一気に拡大し、パフォーマンスやスケーラビリティの制約から解放されました。一方で、従来のように目的を先に決めてデータマートを先に設計してという方法では、アナリティクスによる効果創出が最大化されないという課題も見えてきました。このHadoopの登場は、アナリティクスのためのデータマネージメントの変革の最初のタイミングだったと思います。詳しくは2015の筆者のブログをご興味があればご参照ください。 アナリティクスの効果を最大化するデータマネージメント勘所 Hadoopだからこそ必要なセルフサービス-そしてアダプティブ・データマネジメントの時代へ データマネージメント第二期ークラウドデータベースへのシフト 2015年以降のAIブームによりアナリティクス市場が一気に拡大するとともに、アナリティクスをビジネス上の収益向上、コスト削減、リスク管理に役立てている企業では、データマネージメントの話題が再熱しています。不思議なのは、いや、多くの企業の機能別組織構造では仕方ないのですが、アナリティクスのために良かれと思って取り組んでいるデータマネージメントの課題は、多くのケースで、最終的にアナリティクスを活用して企業の経営に役立てるという目的が忘れ去られてしまいます。 そもそも、アナリティクスのためのデータマネージメントの目的 ともすると手段が目的化しがちなのがITシステムのプロジェクトです。まず、アナリティクスのためのデータマネージメントに何が求められているかを改めて掲げてみますが、そのまえに、そもそもデータマネージメントが課題になるのは、なぜでしょうか? ここでは昔も今もその構図が変わっていない世のなかの状況について共有します。 なぜ、データマネージメントタスクに80%も費やしていのでしょうか。ビジネスにおけるデータ分析の多くは、そもそも実験計画やマーケティング調査とは異なり目的に対してデータを生成・収集しているわけではありません。多くのケースでは、目的に対してそもそもその目的用に計画したわけではないが入手可能なデータを無理やり当てはめています。この目的と手段のギャップを埋める作業が非常に多くの時間とコストを要します。たとえば以下の例で考えてみてください。 製造業において生産設備の中の状態を正確に理解したいが、技術的・コスト的な制約で限定的な精度のセンサーを限定的な場所に設置して、状態の一部を前提条件付きで収集したデータを使うしかない 顧客の購買ニーズを知りたいのだが、店舗ごとの実験は難しいので、欠品情報や潜在的なニーズが表現されていない、過去の活動の結果というバイアス付きのPOSデータを使うしかない このように目的外で収集されたデータを、ある特定の目的のために使えるように評価・加工しなければいけないので、多くの時間をこのデータ準備に割く必要が生じてきます。 では、データマネージメントの取り組みはどこを目指せば良いでしょうか?データ分析者のため、を考えると必然的に以下のポイントが浮かび上がります。 目的に沿ったデータを準備すること データ分析による意思決定において、社会的責任とビジネス上の意思決定の精度を高めるため、品質を担保し、バイアスを理解し、データの生成過程(入力バイアスや基幹システム仕様と業務ルール)を理解し、適切な利用方法を確認する SQLだけでは非生産的な自由自在なデータ加工 データはその利用手法すなわち、統計解析、機械学習、ディープラーニング、自然言語解析、画像解析などによって、手法や使用ツールの仕様に応じて、また、処理パフォーマンスの観点も含めて、自由自在に加工する必要がある ビジネススピードを阻害しないパフォーマンスや処理時間 アナリティクスを競争優位に活用している企業では、24/365常に様々なデータ加工処理が、バッチ、リアルタイム、オンラインで実行されている。これら様々なワークロードを優先度とコスト効率よく、ITシステム部門が特別なチューニングやスケジューリングや、エラーによる再実行をしなくとも、業務スピードに合わせたパフォーマンスで、安定して実行可能な基盤が不可欠 データマネージメントの取り組みで失敗に陥りやすい行動 前述の目的を簡単に言い換えると、データ分析者が何か課題を解決したいと思ってからがスタートで、そこからいかに短時間で正しいデータを特定し、評価し、加工して目的の形に持っていくかが大事であるということになります。つまり、データを物理的にどこに配置されているかに関わらず、データへのアクセス性、評価や加工の俊敏性などが需要であることになります。また、その理解に基づくと、以下のような取り組みはデータマネージメントの目的に沿っておらず、俊敏性や正確性、拡張性を損なう「硬直化」の原因になっていることが多く見うけられます。 「データ統合」を目的化してしまう 1つのデータベースに格納するデータの範囲を決めようとする 汎用的なデータモデルを設計しようとする 変化を前提としないマスタデータ統合をしようとする 変化し続けるビジネス状況のなか、管理対象のデータは常に変化し続けるため、これが「完成」というゴール設定での取り組みは、破綻します。ある大手製造業では何十年にもわたり「ある一つの固定的なゴール」を目指したマスタデータの整備を続けた結果ようやく「マスタデータは時代とビジネスに合わせて常に変化する」と気づき、当初のプロジェクトをストップさせた、という事例もあります。また、取得可能なデータはテクノロジーの進化によって変わります。後で使うかもしれないからと「念のため」蓄積を開始したデータであっても、5年後には使い物にならないデータかもしれません。 「データマートを整備」しようとする スナップショット的なニーズに対応するデータマートを作ろうとする 目的別データマートは目的ごとに存在するにもかかわらず、データマートが多数あることを問題視してしまう データマートの品質(正確性、一貫性、説明性)を気にしていない データマートを固定化するということは目的を固定化することに他なりません。一方でデータ分析を広めるということは、より多くの異なる目的に対してデータ分析を実践することで、矛盾しています。データマートが散在しているという課題感は、本質的にはデータマートがたくさんあることが問題なのではなく、そこでどのようなデータ分析が行われているのか、その品質すなわち、正確性・一貫性・説明性のガバナンスが効いてないことにあります。この本質的な課題解決は別の手段で解決すべきです。 「データ・ディクショナリを整備」しようとする データ分析者にとって良かれと思いITシステム側でスナップショット的なメタデータを定義する データ基盤開発初期にのみ、データ分析者からヒアリングしてメタデータを定義する データの出自、仕様、生成元の情報、使い方、品質、評価などの情報が管理されていない データ・ディクショナリを作ったけどデータ分析者にとって有用な情報が定義されていなかったり、継続的なメンテナンスがされなかったりすることがほとんどです。データ・ディクショナリの目的は、データ分析者により迅速にデータを特定・評価・利用してもらうことなので、その目的達成のためには、より有用な情報を異なる方法で蓄積・管理するべきです。 データマネージメント課題の解決の視点は、自由と統制 原理・原則および、網羅的な知識体系はDMBOKに体系的にまとめられているのでそれは頭に入れてください。そのうえで、データ分析によるビジネス価値創出のための、筆者の経験に基づくデータマネージメント課題の解決のためには、自由と統制のバランスをとることだと考えます。これにより、従来、繰り返しているデータマネージメントの失敗を乗り越え、自己組織的に育つ企業・組織のデータ分析文化の醸成にようやく一歩を踏み出せることになります。 データ分析者の自由度を最大化する(ITシステム部門がボトルネックにならないようにする) あらゆるデータソースに自由にアクセスできるようにする。データの種類や利用目的によって最適なデータ格納方法は変わる。どのような形式でデータが格納されていてもデータ分析ツールから自由にアクセスできるようにすることが重要

Analytics | Data Management
小林 泉 0
ガウディとサグラダ・ファミリアに学ぶデータ分析基盤アーキテクチャのための原則

前回の筆者ブログ「STEAM教育の進化にみるAI活用に必要な芸術家的思考」において、AI/アナリティクス時代に芸術家的思考が必要だという話をしました。今回はその派生で、AI/アナリティクス時代に作られるデータ分析基盤の作り方について、「時間をかけて大規模に創造する」という点で類似している建築物、そのなかでも、自然摂理・数学・幾何学と芸術を融合された象徴としてのサグラダ・ファミリアとその大部分の設計を担ったガウディの考え方に学んでみようと思います。 ガウディとサグラダ・ファミリアの特徴 終わりがなく常にその時代の人によって継承され・作り続けられる ガウディは、サグラダ・ファミリアを完成という終わりを目指さないものとして考えていたそうです。教会という性質や、建築費を寄付で賄うという性質もあり、またガウディが世の中に残したかった、「象徴」として、建築物の完成・利用されるというアウトカムではなく、時代時代の人々が建築に携わり続けることで象徴としての役割をもたらすことをアウトカムとしたということだと私は個人的に解釈します。これは、誰かが作ったものを使うという一方的な関係性を超え、インクルージョンすなわち関与するという関係性をもたらします。 サグラダ・ファミリアの建設はゆっくりと進む。 なぜなら、私のクライアント(神)は完成をお急ぎではないからだ by ガウディ 自然摂理と数学・幾何学に基づく美しさ サグラダ・ファミリアの棟の形は放物線です。ネックレスを想像してみてください。長さや幅を変えると様々な放物線になることが分かると思いますが、そのような「逆さ実験」を繰り返しそれをさかさまにしてあの様々な棟の形になっています。これは、ガウディが何事も自然法則に基づくべきという考えに基づいています。 放物面は幾何学すべての父 by ガウディ 継続のための象徴性の維持 サグラダ・ファミリアは建築費を寄付に依存しています。そのため継続的に人々・社会の関心を惹き続ける必要があります。 サグラダ・ファミリアの思想に学ぶ、活用されるデータ分析基盤アーキテクチャに役立つ原則 原則①レジリエンスー蓄積するデータは常に変化する 「どのようなデータを蓄積しておいたらいいですか?SASさんの経験に基づいて教えてください」 「いま取得できるデータを全部蓄積しようと思うんです。あとでどれが必要になるかわからないから」 このようなお話をよくお聞きします。データ活用ニーズはマーケットの変化、競合他社の変化などによって刻々と変化していくため、利用データのニーズを気にすることは浸透していますが、一方で見落としがちなのは以下の2点です。 過去のデータは過去しか表していない。たとえば売上データ一つとっても、それは過去の自社の行動・意思決定の結果でしかなく、役に立つときもあれば、目的によっては全く役に立たない場合もある。 今得られているデータや分析に利用できそうなデータは今のテクノロジーで得られうるデータ、今のテクノロジーで分析しうるというデータにすぎない。将来テクノロジーの進化によって、新しいデータ、新しいデータ粒度が取得できるようになったり、また分析テクノロジーの進化によって想定してなかったデータが利用価値を生み出したりする可能性もある。 この2つの前提にたつと、どのようなデータをためるべきかという議論が意味がないわけではありませんが、「それほど」意味がないということが分かると思います。それよりは、システムアーキテクチャの原則として、将来、データのVolume, Velocity, Veriety に対応できるように硬直化しないことに、より注意を払うことが重要です。また、蓄積しておいたデータが結果的に使われないということもあるかもしれませんが、そのこと自体を失敗としてシステムの価値評価としては用いるべきではありません。重要なことはそのような重要でないデータが認識されたときに素早くストレージコストを低減するようなアクションができるという俊敏性なのです。それは最近のはやり言葉でいうと、レジリエンスと言ってもいいかもしれません。 原則②アーキテクト担当は芸術家的思考が大事 筆者自身、これまでデータ分析基盤システムのアーキテクチャを何度も担当してきました。そしてアーキテクトを育てる際にいつも言っていた言葉があります。「アーキテクチャは機械的に決まるものではないよ。意思だよ意思。あなたがやりたいように決めていいんだよ」いま思うと、STEAM教育に新たに加えられた芸術家的思考を唱えていたことになります。もちろん基本的な知識や経験に基づいたうえでですが、なかなか自分勝手にアーキテクチャを決めていいと思っているアーキテクト担当者も多くなく、結果として、様々な過去のしがらみに忖度したスパゲッティ状態の新システムが出来上がることも少なくありません。そのような結果にならないためには、その企業・自分たちの組織・自分自身ととことん向き合って、全体アーキテクチャにその思いを込める、ということが重要になってきます。もちろんコーチとしてはこのアドバイスの仕方では不足でして、もっと言語化してアクショナブルにしないといけないとは思いますが。 0から独創性は生まれない by ガウディ 原則③アーキテクチャ図は美しく 図やダイアグラムで人に何かを伝えるためには、見る際にそれを阻害する雑音となる不要な情報を削り本当に必要な情報のみに研ぎ澄ますという最低限のことだけではなく、見たいという気持ちにさせたり、見てみようと思わせたり、ちゃんと見ようと思わせたり、あるいは言語的な情報理解だけではない、感情を引き起こさせることで正しく記憶されます。幾何学的な対称性などのバランスを整えることは、「本日はお集まりいただきありがとうございます」に匹敵する挨拶レベルの基本行動規範です。さらには、複雑なアーキテクチャと向き合う場合には、数学的・幾何学的な視点で眺めなおすことで、構成要素が変わらなくても、アーキテクチャ図としてのエントロピーを低減し、構造の整理をすることで、オーディエンスの正しい理解・伝達コストを低減することが可能です。また、そのようにできる限り美しさを追求することで、逆に多くの部分が視覚情報として自然なものとなる、すなわち無の情報となることで、本質的に最も注目すべきポイントにオーディエンスの目を向けさせることができます。 原則④アーキテクチャの思想定義が重要 これは、上述の芸術家的思考と関連しますが、いわゆる芸術作品を評価した文章のような、背景・アーキテクトの思いなどをシステム設計思想として言語化し文書化して受け継いでいくことが重要です。芸術作品と同じように、作品=システムだけでは、作者がどのように自己と向き合い、世の中を見て、どのような思想で創造したのかを把握することは難しいです。サグラダ・ファミリアは未完成部分のガウディによる設計書が失われたため、現在の関係者たちはガウディの思想に基づきながら設計をしています。同様に、データ分析基盤システムが変化し続ける中担当者は変わっていきますが、システムの変更・改修の際にその「思想」に基づくことで、一貫性・効率性・投資対効果・透明性を高めることができるでしょう。 原則⑤アーキテクチャの思想定義の象徴化が重要 象徴化というと小難しい印象になりますが、データ分析基盤の「モットー」や「ビジョン」を常に発信していくということです。最近筆者が耳にした良いなぁと思った例を2つほどご紹介します。この2つの例では、情報システム部門のトップが常にこのワードを取引先ベンダーにもユーザーサイドにも宣伝していることが重要です。あらゆるステークホルダーがこのモットー、ビジョン、象徴に軸足を置くことで、そこからさまざまな提案・理解が派生するものの、このシステムに対する取り組みを将来に向けて継続・推進することに大きく役立っています。 「システム部門がボトルネックにならないセルフサービス化」 昨今、セルフサービスばやりですが、このフレーズにはユーザー部門からの並々ならぬプレッシャーと、それにこたえることがIT部門の使命だという企業としての一体となったデータ活用戦略が表現されており、様々な提案活動・意思決定の原則として非常によく機能しています。これによってステークホルダーが一丸となって、同じ世界を目指し続けることを可能としています。 「バッチ処理だけではなく真のリアルタイム処理にも同時に対応したシステム」 ビジネスにおいては、常に新しい技術・知識を関連付けて新しい商品やサービス、ビジネスプロセス、市場を創造していく必要がありますが、ITやAI/アナリティクスが主役の昨今、情報システム部門がそのような新しい技術・知識をユーザー部門に提案することが、外部ベンダーに頼らず自社内でスピーディーにイノベーション・トランスフォーメーションしていくうえで重要になってきます。ITの観点でいち早く世界中の情報を収集し、新しい技術を試し、ユーザー部門からのリクエストにリアクティブに備えるというよりは、プロアクティブに提案していく、こうすることで、データ分析基盤の位置づけや価値を確固たるものにし、継続的な進化をするものとして、持続的な成長をしていくことが可能になります。 原則⑥走りながらの変化を前提とする 筆者は、芸術の創作活動に詳しくありませんが、想像するに芸術作品の多くは、ウォーターフォール型ではなくアジャイル型ではないでしょうか。下書きを何度も繰り返したり、小さな単位の作品を小出しにしたりしながら、最終的にそれらの集大成として一つの大きな創造物が作られることが多いように見受けられます。場合によっては、その時代時代のトレンドに左右されながら、その一連の創造活動が行われる場合もあります。何事もそうですが、アイディアはエクスポーズしてフィードバックを得ながらブラッシュアップすることが最短経路での最大効果を生み出すことが多いです。データ分析基盤も同様です。まずデータを蓄積してそれが完了したら使ってみるというのをシーケンシャルに行おうとするケースがいまだ散見されます。蓄積してみた直後に、「使いたいデータがなかった」という事件は実際に起きています。なので、これはお勧めしません。データの価値は蓄積ではなく活用して始めて判明するからです。使ってもらって修正して、というフィードバックループを早く回して軌道修正をこまめに繰り返しながら進むことが重要です。 あらためて、Think Big, Start Small アナリティクスの世界では古くからある使い古された原則です。以前は、データ活用成熟度が高い企業のみがアナリティクスへの投資に踏み出していたため、他に参考にする企業もあまりなく、弊社がグローバルの知見や海外の先進事例や経験に基づいてお手伝いをしながらも、お客様自身でとことん考えビジョンを掲げ、少しずつ成果を出しながら投資を継続しながら、適用ビジネス、人材、組織共に、徐々に規模を拡大していくというやり方が主流でした。つまり芸術家的思考がやはりその根底にあったと言えます。 一方で、昨今AIブームの中AI市場が急速に拡大し、多くの企業がデータ活用に踏み出しています。そのため巷では、成功例・失敗例があふれ、それを参考にすることで、データ分析のビジネス活用に、組織的・人材育成的、IT投資的に、何か初めから答えがあるかのような錯覚をし、自社をとことん見つめたうえでのビジョンがないままに、手段が目的化し、組織化や人材育成あるいはデータ統合基盤の構築からスタートしようとしているケースをよく見かけます。その結果、人材育成は出来たはずなのにデータ活用によるビジネスの成果につながっていなかったり、データ統合基盤は出来たのに使われていない、データサイエンス組織に人材は集めたが具体的なビジネス適用につながらないといった結果に陥っているケースも見られます。会社の戦略が、自社のXXXというコアコンピテンスに基づき、XXXのようにビジネスを変革する、というものではなく、単に「データドリブン組織になる」「データドリブン経営をしていく」という手段が目的化しているときに、そのような思わしくない状況になるようです。 データ分析基盤のアーキテクチャもそうですが、今一度終わりのないこのデータ活用の取り組みに、ガウディがサグラダ・ファミリアに込めた戦略=芸術家的思考を参考にし、企業・組織の血となり骨となるデータ活用の取り組みの位置づけを考えてみるのはいかがでしょうか。

Advanced Analytics | Data Management | SAS Administrators
SAS Viya Blog ~Azure Fileを利用したWindowsとSAS Viya間のデータ共有方法の紹介~

背景の紹介 これまでのSAS製品は、SAS 9でもSAS Viya 3.5でも、ほとんどがWindowsやLinuxのプラットフォームで動作していました。 そのため、Windowsクライアントを持つユーザーは、SMBサービスやWindowsのファイル共有機能を介して、これらのプラットフォームに保存されたファイルに簡単にアクセスすることができていたのです。 SASが開発した最新のクラウドネイティブ・データアナリティクス・プラットフォーム「SAS Viya」は、WindowsやLinuxなどのOS上で直接動作するのではなく、コンテナ/ポッドの形でKubernetes(以下、K8s)上で動作し、従来の製品とはアーキテクチャが大きく変わっています。K8s上で動作するサービスのコンテナ内のデータは一時的なものなので消えてしまう特徴があります。この点に対して、お客様は最新の製品を使用する際に、K8sに保存したデータをローカルのWindowsシステムからどのようにアクセスするのか、SASで作成したレポートなどのデータをどこに保存するのかという疑問を持つことが多いようです。 今回は、下記の図の構造のような、K8sに保存されているファイルを、比較的簡単な方法でWindowsクライアントと共有する方法をご紹介したいと思います。 本記事の内容は、Microsoft Azure上にデプロイされたSAS Viya Stable 2021.2.3に基づいています。centos 7.9上で、kubectl、kustomization、azure cliなどのコマンドラインツールを利用する作業が含まれているので、Linux、Kubernetes、SAS ViyaのデプロイメントとAzureに関する一定の知識が必要です。また、お使いのクラウドベンダーや製品のバージョンによって、設定方法が異なる場合もありますので、詳細は各ドキュメントをご確認ください。 SAS Viya on Kubernetesが利用するストレージの紹介 まず、K8s上にデプロイされたSAS Viyaサービスを使用した場合のデータの保存方法について簡単に説明します。 例えば、SAS Studioを利用する場合、ユーザーがセッションを作成するたびに、SAS ViyaはK8s上に一つのコンテナを作成します。これは、ユーザーがセッションで実行したすべてのコードや操作がこのコンテナに入っているミニLinux内で実行されます。 ご存知のように、コンテナの最大の利点は、インストール作業や設定などが一切いらず、配置したらすぐに使えることです。コンテナが提供するサービスや機能を使用するために設定を行う必要はありませんが、同時に、コンテナ内のデータに加えた変更も保存されず、新しいセッションを作成するたびに、まったく同じ設定を持つまったく新しいコンテナが作成されます。 そのため、SAS Studioで作成した新しいデータを保存したい場合は、コンテナの外部にあるストレージに保存する必要があります。K8sではこの外部ストレージは永続ボリュームと呼びます。 永続ボリュームを利用することにより、SAS Studioのセッションが終了しても、作業中にユーザーが作成した新しいデータはちゃんと保存されています。次にユーザーが新しいセッションを作成する時、以前使用していた永続ボリュームが新しいセッションに自動的にマウントされ、ユーザーが永続ボリュームに保存されていたデータを使って引き続き作業できます。この記事で紹介するデータ共有方法も、こちらの永続ボリュームを利用しています。 データ共有するための設定方法 次に、K8sで作成したファイルをWindowsと共有する方法を紹介します。前述したように、作業中に発生したデータを永続ボリュームに保存することができるので、永続ボリュームをWindowsにマウントするだけで、作業用PCとK8sの間でデータを共有することができますが、実現方法は使用する永続ボリュームの外部ストレージの種類によって異なります。 AzureのK8sサービス上でSAS Viyaを利用する場合、使用する外部ストレージは、大体以下の3種類です。Azure Fileを共有ストレージとして使用する場合、追加のサーバは必要なく、使い方も比較的簡単なので、本記事ではAzure Fileを外部ストレージとして使用する場合の共有方法を紹介します。 - ネットワークファイルシステム(以下NFS) - Azure Disk - Azure File(本記事で紹介する方法) データを共有するためには、次のような手順が必要です。 これらの手順には、AzureとK8sの管理者権限と関連する知識が必要なため、一般的にはサーバ管理者やSAS Viya導入の担当者が行うことになることに注意してください。 1.ストレージクラスの作成 2.永続ボリューム要求の作成

Advanced Analytics | Analytics | Data Management | Learn SAS | Programming Tips | Students & Educators
0
SASのIn-Database機能のご紹介

1. はじめに 前回投稿しました「SAS/ACCESSのご紹介とSnowflakeとの連携デモ」はご覧になったでしょうか。SASと外部のデータストレージサービスを連携する「SAS/ACCESS」のご紹介と、実際に「Snowflake」というサービスに連携してみました。今回は、その続きとして、10年以上前からビッグデータ・アナリティクスの基本アーキテクチャである、In-Database機能の代表的な機能である、SQLパススルーという機能をご説明し、デモを準備しました。 2. SQLパススルーについて SAS/ACCESS がインストールされている場合、SQLパススルーを使用してデータストレージサービスにクエリできます。接続方法に応じてSQLパススルーは、「暗黙的パススルー」と「明示的パススルー」に分けることができます。 暗黙的パススルーの価値は、作成したSASコードが自動的にデータストレージサービスが処理できるSQLに変換され、そのSQLをデータストレージサービス側に与えることにあります。ですので、SASで実行されたSQLやSASプロシジャに指定されたWHERE句など、可能な限りデータストレージサービス側で処理を行い、結果だけをSAS側に転送することが可能です。一方、明示的パススルーの場合には、DB依存のSQLを明示的に記述することできます。暗黙的パススルーと明示的パススルーについてまとめた表を下に記載していますので、ご覧ください。今回は、暗黙的パススルーについて詳しくご紹介したいと思います。   ▲SAS CommunityでSQL Pass throughについて質問するユーザー 暗黙的パススルーを使用する方が良いか、明示的パススルーを使用するのが良いのか気になるかと思います。実はこのトピックは、SAS Communityでもよく見られ、SAS/ ACCESSを使用している全世界のユーザーにとっても気になる質問です。どちらを使用するかは、どこに基準を置くか、また、SASとデータストレージサービスの環境のスペックによって異なると思います。ですので、皆さんもこのような疑問が生じた場合は、SASに相談してみてはいかがでしょうか。   3. 暗黙的パススルーのデモ 3-1. データの紹介とデモの概要 今回のデモのために、「pets」と「owners」という名前で2つのテーブルをデータストレージサービス(今回は、Snowflake)側に事前に保存しておきました。 「pets」テーブルには、3つのカラムがあります。 Id: ペット固有のid Name: ペットの名前 Type: ペットの種類(犬、猫、その他) Id Name Type 1 オオビ 犬 2 ローザ 猫 3 ワンチャン その他 … … …   もう1つのテーブル「owners」にも3つのカラムがあります。 Id: オーナー固有のid Name: オーナーの名前

Data Management | Programming Tips
SASからMicrosoft AzureのBlobストレージ内データにアクセスする方法(第2回)

前回のブログでは、Microsoft AzureストレージサービスのブロックBlobストレージについて軽く紹介し、SASからBlobストレージ中の特定の一つのファイルにアクセスする方法を紹介しました。 第1回リンク:https://blogs.sas.com/content/sasjapan/2020/10/01/sas-azure-blob-1/ しかし、実際のビジネスシーンでは、特定の一つのファイルにだけアクセスする運用はやはり割合的には少ないと考えています。 そこで、今回のブログでは、より効率的に、複数データに同時にアクセスできる方法を紹介します。そしてこれは、Microsoft AzureのBlobストレージをファイルシステムとしてSASサーバにマウントし、SASサーバから便利にアクセスする方法です。 前回と同じように、下記の方法を使うためには、前提条件として、SAS ViyaサーバとBlobストレージがあるAzure間でネットワーク通信ができる必要がありますので、ネットワークセキュリティ条件を確認してから、下記の方法をお試しください。 方法②: BlobストレージをファイルシステムとしてSASサーバにマウントし、SASサーバからアクセスする方法。 Microsoft Azure側: 1.まず、Azureポータルに入り、「ストレージアカウント」をクリックします。(図2-1) 図2-1 2.その配下で、使用されている対象Blob用のストレージアカウントをクリックします。(図2-2) 図2-2 3.そして、表示された左ペインの中で、「アクセスキー」というメニューをクリックします。(図2-3) 図2-3 4.該当ページでは、このストレージアカウントにアクセスするためのキーの情報が含まれているので、その中の、「ストレージアカウント名」と「キー」をメモしてください。あとで接続設定情報を作る時に使用します。(図2-4) 図2-4 5.一層上に戻り、同じくストレージアカウントの左ペインで、Blobサービスの中の「コンテナー」をクリックします。(図2-5)アクセス先のコンテナー名前(例:folderfirst)をメモしてください。あとで接続設定情報を作る時に使用します。 図2-5 以上で、Azure側の準備作業が終わります。次は、SASサーバ側の準備作業を進めていきます。   SAS Viyaサーバ側: 今回、Blobストレージをファイルシステムとしてマウントするには、Blobfuseという仮想ファイルシステムドライバー機能を使います。そのため、事前にSAS ViyaがインストールされているLinuxサーバ側に、そのツールをインストールする必要があります。 このブログで使用しているSAS ViyaサーバはRHEL/CentOS 7.x系のLinuxサーバであるため、Blobfuseのインストールを含めた手順は下記となります。 6.使用するSASユーザで、SASサーバ側にMicrosoftパッケージリポジトリをインストールします。 sudo rpm -Uvh https://packages.microsoft.com/config/rhel/7/packages-microsoft-prod.rpm 7.BlobfuseをSASサーバ側にインストールします。 sudo yum install blobfuse 8.Azureでは、低いレイテンシーとパフォーマンスのため、SSDが提供され、今回はそれを使って、ディレクトリーを作成します。(SSD使わないことも可能ですので、その場合、別ディレクトリーで作成して頂いてかまいません。) sudo mkdir /mnt/resource/blobfusetmp -p sudo chown #YourUserName#:sas /mnt/resource/blobfusetmp

1 2

Back to Top