SAS Japan
活用事例からデータ分析のテクニックまで、SAS Japanが解き明かすアナリティクスの全て
データサイエンスの使いどころ・・・攻めと守りの圧倒的な違い 以前のブログで、データ活用における攻めと守りについてお話しました。今回は小売業を例に多くのデータ活用プロジェクトが陥りやすい罠と、真の目的達成のための方法についてご紹介します。 小売業の目的はもちろん他の業種企業と変わらず、収益の最大化です。昨今データ分析を武器として売り上げの最大化、コストの削減、業務プロセスの生産性向上を目指す企業が増えてきています。時には、データサイエンティストが、データサイエンスを駆使してプロジェクトを実行しているケースもあるでしょう。 ここで、今一度現在取り組んでいる、またはこれから取り組もうとしているデータサイエンスやAI活用のプロジェクトがどんな利益を自社にもたらすのかを改めて考えてみましょう。昨今、需要予測についての相談が非常に多いので、ここでは需要予測について考えてみます。 弊社にご相談いただくケースの中で、少なくない企業が、需要予測をこのブログで言うところの「守りの意思決定」としてとらえています。多くのケースで、過去の実績をベースに将来の需要を予測することで、在庫過多や欠品を減らそうというプロジェクトに投資をしていたり、しようとしています。言い換えると、過去の実績を学習データとして、将来を予測するモデルを構築し、ひとつの将来の需要予測を作成し、それを在庫を加味したうえで、発注につなげています。 手段が目的化することで見失う可能性のある本来の目的とは 非常に典型的なAI活用、データサイエンス活用かと思いますが、実は、「AIで予測」、「機械学習で予測」といった言葉で最新のデータ活用をしているかのような錯覚に陥っているケースが見受けられます。数十年前から行われており、昨今でも同様に行われている、機械学習を用いた典型的な需要予測は、「守り」です。すなわち、どんなに多くの種類のデータを使うかどうかにかかわらず、過去の傾向が未来も続くという前提のもとに予測モデルを作成している場合には、あらかじめ定義した前提・業務プロセスの制約の下で、機会損失を最小化するために予測精度をあげているにすぎません。 つまり、そのような前提での需要予測は、小売業の収益向上という観点では、期待効果が限定的であるということです。では、最終的な収益の最大化を実現するには、何をすべきでしょうか？ 収益を向上させるためにはもちろんより多くの商品を売ることにほかなりません。より多くの商品を売るためには当然、顧客の購買心理における購買機会に対して販売を最大化する必要があります。あるいは、顧客の購買心理そのものを潜在的なものから顕在化したものにすることも必要でしょう。つまり、販売機会を最大限に活用するということは、店舗中心ではなく、顧客中心に考えるということです。 小売業における攻めのデータ活用の1つは、品ぞろえの最適化 このように、顧客中心に考えることで初めて最適な品揃えの仮説検証のサイクルが可能となります。過去のデータは、単に過去の企業活動の結果であり、世の中の「真理～ここでは顧客の本当の購買思考」を表しているわけではありません。真理への到達は、仮説検証ベースの実験によってのみ可能になります。わかりやすく言うと皆さんよくご存じのABテストです。このような実験により、品ぞろえを最適化することで、販売機会を最大化することが可能なります。そのプロセスと並行して、オペレーショナルな需要予測を実践していくことが重要となります。 需要予測と品ぞろえ最適化の進化 昨今、AIブーム、データサイエンティストブーム、人手不足や働き方改革といったトレンドの中で、従来データ活用に投資してこなかった小売業においても投資が進んでいます。しかし多くのケースでこれまで述べてきたような守りのデータ活用にとどまっていたり、古くから行われている方法や手法にとどまっているケースが見受けられます。歴史から学ぶことで、無用なPOCや効率の悪い投資を避けることができます。今、自社で行っていることがこの歴史の中でどこに位置しているかを考えてみることで、投資の効率性の向上に是非役立てていただければと思います。 小売業におけるデータ活用のROI最大化にむけたフレームワーク SASでは長年、小売業や消費財メーカのお客様とともにお客様のビジネスの課題解決に取り組んできました。その過程で、小売業・消費財メーカー企業内の個々の業務プロセスを個別最適するのではなく、それら個々の業務プロセスを統合した、エンタープライズな意思決定フレームワークが重要であるとの結論に至っています。AIやデータサイエンスという手段を活用し、データドリブンな意思決定のための投資対効果を最大化するための羅針盤としてご活用いただければと思います。
はじめに 統計的因果推論における1つの達成目標として「介入を行った場合には行わなかった場合と比較してどの程度結果（アウトカム）が変わったのか」という因果的な疑問に対し、定量的に答えることが挙げられるかと思います。以前のコラムでは、こういった因果効果を数学的・統計学的に議論していくために潜在アウトカムという考え方を導入し、その値を推定していくために重要ないくつかの仮定について紹介を行いました。この因果効果の推定の手法には様々なものがありますが、次回以降のコラムで紹介をする交絡調整に基づく因果効果の推定手法 (e.g., 回帰、層別化、傾向スコアを用いた手法）では、興味のある因果効果の推定値をバイアスなく得るためには、交絡や選択バイアスの調整に必要な全ての変数が完全に特定・測定されているという仮定が成立している必要があります。この仮定はデータからその成立を検証することはできず、もしもいずれかが成立しない場合には得られる推定値にはバイアスが含まれ、いわゆる残差交絡 (redidual confounding) が存在する状況となります。現実的に仮定が全て厳密に成立するケースというのは比較的稀ですので、そのような意味では大部分の研究結果（特に観察研究）・解析結果には一定のバイアスが含まれているとみることもできるかと思います。ただし交絡調整に基づく手法がダメだと言っているわけではなく、調整が不完全ながらもバイアスを軽減することは十分に意義があり、また最終的に結果に含まれるであろうバイアスの大きさとその方向（過大評価 or 過小評価）を議論することが重要かと思います。 今回のコラムでは、操作変数法（instrumental variable methods, IV methods）という因果効果の推定手法について紹介と解説を行っていきます。この推定手法は、操作変数 (instrumental variable, instrument) と呼ばれるいくつかの条件を満たす特殊な変数を利用することで因果効果の推定を行う手法になります。医学分野では、先行研究の結果（e.g., 医学的な知見）から交絡因子となりうる変数の特定・測定が比較的容易であることから先ほど言及した交絡調整に基づく推定手法が用いられるケースが比較的多いですが、経済学や社会科学といった分野ではそもそもの特定が出来なかったり、仮に交絡因子であろうと見込んだ場合であってもそれを測定することができないケースが非常に多く存在します。そのため交絡調整に基づかない手法である操作変数法というのは経済学や社会科学において、特にその理論が発展してきたという歴史的な背景があります。なお詳細については後述しますが、操作変数法は交絡因子の測定を必要としないというメリットもある一方、いくつかの検証不可能な仮定に基づく手法です。したがって、解析を行う研究・データにおいて因果効果の推定のために要求される仮定の成立を認めることがどの程度妥当であるかの議論が他の手法と同様に必要であることにご注意ください。 操作変数の3条件 操作変数法では、ある介入AのアウトカムYに対する因果効果を推定するために以下の3つの条件を満たす変数Zを利用します。この変数Zは操作変数 (instrumental variable, instrument) と呼ばれます。 操作変数の3条件 (Theree instrumental conditions) Z is associated with A ZはAと関連する Z does not affect Y except through its potential effect on Y ZはYに対してAを介した以外の効果を持たない Z
社会におけるデータ活用の拡大に伴い、データ活用人材の需要はますます大きくなってきています。東京理科大学データサイエンスセンターとSAS Institute Japan 株式会社は、データサイエンス人材の教育とキャリアについての知見を深めるため、2022年12月21日（水）に合同でシンポジウムを開催しました。本記事では、このイベントの様子をご紹介したいと思います。 シンポジウムの開会にあたり、東京理科大学 副学長 坂田 英明 様、SAS Institute Japan 株式会社 営業統括本部長 宇野 林之からご挨拶がありました。坂田副学長は、2031年に150周年を迎える東京理科大学が掲げるTUS Vision 150のなかで、データサイエンス教育に重点を置いていることに触れ、2019年に設置された東京理科大学データサイエンスセンターが、データサイエンスの応用分野創造と人材育成を進めていることを紹介しました。SASの宇野からは、40年以上の間、アナリティクスを専業としてきたSASの歴史に触れながら、リソース不足で実りが少なかった第二次AIブームと違い、昨今の第三次AIブームは豊富な計算リソースを背景に社会に浸透しており、特にビジネスの世界では、データドリブン経営から業務のディシジョンのサポートまで、データサイエンスが幅広く活用されていることを紹介しました。両者ともにデータ活用人材の不足を課題に挙げ、本シンポジウムでの議論に期待を寄せました。 第1部：東京理科大学におけるデータサイエンス教育 第1部では、東京理科大学のデータサイエンス教育の紹介と、そこで学んだ学生からの研究発表が行われました。 まず、データサイエンスセンター長 矢部 博 様から、データサイエンス教育の取り組みについて紹介がありました。理系の総合大学である東京理科大学では、各学部でデータを活用した研究・教育がされてきましたが、学長直下の組織として設置されたデータサイエンスセンターが横串となり、各学部や教育推進機構、研究推進機構、産学連携機構と連携しながら、データサイエンス教育・研究のハブとしての役割を果たしています。 政府はAI戦略2019のなかで年間50万人のリテラシーレベルの人材と年間25万人の応用基礎レベルの人材の育成を目標に掲げていますが、東京理科大学では、既に2019 年度から独自の教育プログラムを展開しています。まず、全学部生が対象のデータサイエンス教育プログラム[基礎]は、数学、統計学、情報学、データサイエンス、その他の授業から20単位をB評価以上で取得することで、認証書が授与されます。大学院生が対象のデータサイエンス教育プログラム[専門]では、数理コース、ビジネスコース、人工知能コース、医薬コース、機械学習コース、医療統計コース、Informaticsコースの各コースが設定する科目から8単位をB評価以上で取得することを要件としており、高度な知識と技能を持った学生を認証しています。 また、SASとの共同認定プログラムであるSAS Academic Specializationでは、SASを活用したデータ分析を実践する授業の6単位を取得することで、SASスキルと統計解析の知識を認定します。特に、SASソフトウェアを用いた研究課題や実践課題に取り組み、論文を提出し、審査に合格することが条件となっています。このような教育プログラムをデータサイエンスセンターが提供することで、各学部での一般・専門教育と並行してデータサイエンス人材の育成を推進しています。 次に、理学部第二部数学科 教授 伊藤 弘道 様から、社会人履修証明プログラムについて紹介がありました。東京理科大学の理学部第二部は、日本唯一の夜間理学部として、特に理科・数学を中心とした学び直しの機会を提供してきました。現在、社会人学生の割合は1割程度で、教員免許の取得を目指す学生も多く在籍しています。学部の課程と並行して履修証明プログラムを2020年度から開始しています。コースの種類としては、SAS認定コース、データサイエンスコース、数理情報コース、統計学入門コース、数理モデリングコース、数学リテラシーコース、微分幾何入門コースがあり、さまざまなスキルや知識を持って社会で活躍できる人材を育成しようとしています。 続いて、SAS教育の実践を含む教育の一つとして、大学院講義「カテゴリカルデータ解析」に関し、工学部情報工学科 教授 寒水 孝司 様より紹介がありました。この授業は理論と演習から構成されます。演習パートについて、企業で活躍する専門家が講師として招聘され、担当しています。講師の統計解析への知見、SASプログラミングの専門的な知識や技術を吸収しようと、学生は理論の学習と演習課題に交互に取り組んでいます。特にこの授業では、クロス集計とその指標の推定から、交絡のあるデータを扱うための技術を習得します。 学生の研究発表 第1部の最後に、4組の学生からデータ分析を活用した研究発表がありました。独自に設定した課題について、大学のプログラムで提供されているデータや自身で収集したデータを用いた分析結果を発表しました。みなさん、基礎分析をしっかり行い、データの傾向を掴もうとしていたことが印象的でした。将来の夢の発表もあり、スキルを磨いて夢を実現されることを期待しています。 第2部：ビジネスにおけるデータサイエンス人材の活用 第2部では、ビジネスにおけるデータ活用事例およびデータ活用人材のニーズやキャリアについて、講演がありました。 採用市場におけるデータ活用人材のニーズ まず、株式会社マイナビ 就職情報事業本部 マイナビ編集長 高橋 誠人 様より、データ活用人材の採用市場におけるニーズについて紹介されました。株式会社マイナビは、就職活動支援サービスの提供のみではなく、大学や企業と連携してデータ活用人材の育成の支援を行っています。特に、2024年卒業学生向けの新卒就職活動サイト「マイナビ2024」からは、「DX（デジタル・トランスフォーメーション）がわかる超基礎講座」というe-learningを提供し、IT人材のキャリア形成を支援しています。 講演では、経済産業省の「新産業構造ビジョン」や情報処理推進機構の「DX白書2021」などからデータを引用しながら、IT人材のニーズについて論じました。ほぼすべての分野においてIT技術を核とした革新が期待されているなか、IT人材の需要は高まることが予測されています。米国ではIT人材不足が解消されてきている一方、日本国内のIT人材は質・量ともにまだまだ不足感があります。プロダクトマネージャー、ビジネスデザイナー、テックリード、データサイエンティストと、さまざまな側面のデータ活用人材が不足していると感じている企業が半数以上です。（一方で、「自社には必要ない」と考えている企業も2割程度あるのも問題かもしれません。）2030年には、中位シナリオで45万人のIT人材が不足すると予測されています。マイナビ社の調査結果を見ると、新卒の就職市場は全体的に堅調であるなかで、情報系学生の就職先が製造・ソフトウェア・通信分野に偏っていることが問題であるように思われます。転職市場では、全体と比較してIT・通信・インターネットの分野において、転職による給与の上昇が期待できるようです。最近では、経験者を募集する割合が減ってきていることも人材不足を反映しているかもしれません。
ビジネスにおけるデータ活用のゴールとは？ データ活用はもちろん手段ですのでビジネス上の様々な目的が考えられます。今回はSASが長年ソフトウェアとサービスをご提供している領域である「アナリティクス」すなわち「ビジネス課題を解決するためにデータ分析によって洞察を獲得し、よりよい意思決定をすること」を、ゴールとして話を進めたいと思います。 ビジネスにおける様々な意思決定とその分類 ビジネスにおける意思決定にはどのようなものがあるでしょうか。無数にあるので網羅的には無理ですが、例えば以下のようなものがあると思います。ビジネスにおける業務はいわゆるバックオフィス・フロントオフィスに大別できますが、ここではフロントオフィスすなわち企業・組織外部とのやりとりをする部門・役割における意思決定にフォーカスします。 さて、ビジネスにおける意思決定は大きく以下の３つに分類されると考えます。 先ほど例として挙げたものをこの定義を使って分類すると以下のようになるかと思います。 このような意思決定をよりよくするために使われるデータ活用のパターンをさらに右に記載してみます。皆さんもよく見かける、アナリティクス・ソリューションが並びますね。実は、これらのソリューションも守りの意思決定のためのものと、攻めの意思決定を目的としたものが混在していることがわかります。それぞれ、目的と、妥当な投資コストと、期待する価値の考え方が異なってくるので、検討の際にこれからご紹介する攻めか守りかを考慮に入れることが重要になってきます。 攻めの意思決定と、守りの意思決定 守りと書くと少し後ろ向きなイメージがあるのですが、ここでは攻めの反対語として使っています。意思決定には大きく、攻めの意思決定と守りの意思決定があります。それぞれ、次のような定義をしています。 守りの意思決定 決められた計画通りに業務を精度よく実行する。言い換えると事前に計画した期待収益を過不足なく実現するための業務遂行です。たとえばあらかじめ毎日平均100個売れると計画した商品を決められた平均欠品率を保つために、毎日110個発注するなどです。あるいは、期待反応率が一定以上の顧客に営業・マーケティング活動をする、などがあげられます。 あらかじめ業務プロセスを計画し、従来人間が行っていたような意思決定を自動化します。 つまり、計画した業務プロセスを実行した結果の過去のデータを使用して、それがそのまま未来も起きるであろうという予測モデルを活用することで実現できます。 あらかじめ期待収益の計画を立てているので、自然なバラツキ以上にはその期待収益を上回ることはありません。言い換えると過去に起きたこと以上のことは起きません。 こちらにおいて考慮すべき不確実性は「予測可能な不確実性」です。（参考：過去のブログ） 攻めの意思決定 一方攻めの意思決定は、過去に起きたことをそのまま延長するのではなく、過去の傾向を変え、将来の期待収益を最大化するための計画をすることです。 これは、仮説検証のプロセスーすなわち実験を繰り返すことでしかなしえません。 例えば、顧客の購買行動を理解・推定し、より多くのものを買ってもらうためには、どのような品ぞろえにすればよいかを常にテストしながら実装していく必要があります。あるいは、将来起こりうるシナリオを様々な前提で予測をし、備えることです。 こちらにおいて考慮すべき不確実性は「予測不可能な不確実性」です。（参考：過去のブログ） ポイントをまとめると以下のようになるでしょうか。 攻めの意思決定と守りの意思決定のどちらが大事か？ 企業における意思決定において、守りの意思決定は無数に行われていることと思います。例えば、SASのユーザー企業で数千人が利用している環境が結構あるのですが、もうこれだけで、数千の意思決定のための活動がデータに基づいて行われていることがわかります。これらは一つ一つは小さいながらも、積み上げると企業全体の売り上げのほとんどを構成しています。そのために、アナリティクスによる自動化を進めていくと、一つ一つの予測モデルの精度や、意思決定フロー（ディシジョンと呼びます）そのものが収益に直結しますし、そのディシジョンが外部社会とのインターフェースとなるため、顧客の信用や社会的責任についても考慮する必要があり、この守りの意思決定に関しては、そういった「ディシジョン」の精度とガバナンスが非常に重要になってきており、優先度の高い投資領域となっています。 ということで、守りの意思決定すなわちデータ活用は、制度とガバナンスの観点で非常に重要です。 一方で、簡単に言い換えると、守りの意思決定は単なる既存プロセスの効率化と言えなくもありません。RPAなどの単なる作業の自動化ではなく、収益に直結する意思決定の自動化ではありますが、過去に起きたことをそのまま将来に延長しているだけでは、効率化の域を出ず、企業の成長の源泉にはなれど、ドライバーにはなりません。例えば、製造業において熟練エンジニアによる品質のチェックを標準化し自動化することも同様です。俗人化を排除し標準化し自動化することは重要ですが、それ以上でも以下でもありません。企業が持続的な成長するためには、成長のための仮説を立て、実験をして市場の潜在ニーズを掘り起こしていく必要があります。また、将来の成長機会を最大化するためには、予測不可能な未来に対しての備えをすることで、対応力を身に着けておく必要があります。そのためには、”予測モデル”や"AIモデル"を単に既存の業務プロセスに埋め込むだけではなく、後にに少しご紹介する「アナリティクス・レベル」の最終章としての活用を意識する必要があります。 つまり、攻めの意思決定およびそのためのデータ活用は、過去だけではなく未知の未来の推定とシミュレーションに基づいて、企業・組織が持続的な成長のために進むべき方向を根拠をもって決めていくという重要な使命があります。 そのデジタルトランスフォーメーション(DX)は攻め？守り？ 文字通りとるとDXはプロセスを変革して新たな企業価値を創出することなので攻めの取り組みのはずです。一方でその定義とはかけ離れてDXと称されている単なるITやAIによる既存プロセスや意思決定の自動化などはDXの文字通りの定義からすると、DXではない気がします。しかし、そもそも意思決定が標準化されてない状態からデータに基づいて標準化され自動化された意思決定に変えるような場合には、「変革」に近いと言えると思うので、それがDXかどうかではなく、そのDXと称している取り組みが今回定義した攻めか守りかを意識して投資や計画をすると、投資検討がしやすかったり評価がしやすくなるのではないかと筆者は考えます。 （おまけ）アナリティクス・レベルの最終章の再考 アナリティクスにおいては、従来から以下の８のレベルで創出価値が変わってくると言われています。昨今のAIブームはこの段階の中のPredictiveにフォーカスがあたっています。本当はその手前のDescriptiveをちゃんとやらないといけないのでそちらの方が大事だったりします。そして、その二つが適切に実施されたうえで到達できる、この８つ目のレベルが実はとても重要です。 Prescriptiveは、あまりいい日本語訳が見つからないのですが、指示的・処方的という意味です。これは、守りの意思決定においては、生産スケジューリングなどの最適化や、マーケティング最適化のソリューションが当てはまります。個々の生産品質の予測やキャンペーンの反応率を予測するだけでなく、様々な関連するものを組み合わせたときに、最良のアクションが何か？ということを決める手法です。この段階にならないと、既存プロセスの最適化が実現できません。また、攻めの意思決定においては、あらゆる予測のシナリオを考慮したうえで、将来の期待収益機会を最大化するためのアクションを決めるということになります。その場合には、Descirptiveのフェーズでの洞察、適切なPredictiveモデリングに基づいた、シナリオ分析やシミュレーションといった手法表現がとられます。 このように、意思決定の種類すなわち、そのデータ分析を何のために行っているかを意識することで、そのインパクトを考慮しやすくなり、アナリティクスやDXへの投資、その際にどのような人材を育成・獲得する必要があるのかが見えてくるのではないでしょうか。