SAS Japan
活用事例からデータ分析のテクニックまで、SAS Japanが解き明かすアナリティクスの全て
はじめに 統計的因果推論における1つの達成目標として「介入を行った場合には行わなかった場合と比較してどの程度結果（アウトカム）が変わったのか」という因果的な疑問に対し、定量的に答えることが挙げられるかと思います。以前のコラムでは、こういった因果効果を数学的・統計学的に議論していくために潜在アウトカムという考え方を導入し、その値を推定していくために重要ないくつかの仮定について紹介を行いました。この因果効果の推定の手法には様々なものがありますが、次回以降のコラムで紹介をする交絡調整に基づく因果効果の推定手法 (e.g., 回帰、層別化、傾向スコアを用いた手法）では、興味のある因果効果の推定値をバイアスなく得るためには、交絡や選択バイアスの調整に必要な全ての変数が完全に特定・測定されているという仮定が成立している必要があります。この仮定はデータからその成立を検証することはできず、もしもいずれかが成立しない場合には得られる推定値にはバイアスが含まれ、いわゆる残差交絡 (redidual confounding) が存在する状況となります。現実的に仮定が全て厳密に成立するケースというのは比較的稀ですので、そのような意味では大部分の研究結果（特に観察研究）・解析結果には一定のバイアスが含まれているとみることもできるかと思います。ただし交絡調整に基づく手法がダメだと言っているわけではなく、調整が不完全ながらもバイアスを軽減することは十分に意義があり、また最終的に結果に含まれるであろうバイアスの大きさとその方向（過大評価 or 過小評価）を議論することが重要かと思います。 今回のコラムでは、操作変数法（instrumental variable methods, IV methods）という因果効果の推定手法について紹介と解説を行っていきます。この推定手法は、操作変数 (instrumental variable, instrument) と呼ばれるいくつかの条件を満たす特殊な変数を利用することで因果効果の推定を行う手法になります。医学分野では、先行研究の結果（e.g., 医学的な知見）から交絡因子となりうる変数の特定・測定が比較的容易であることから先ほど言及した交絡調整に基づく推定手法が用いられるケースが比較的多いですが、経済学や社会科学といった分野ではそもそもの特定が出来なかったり、仮に交絡因子であろうと見込んだ場合であってもそれを測定することができないケースが非常に多く存在します。そのため交絡調整に基づかない手法である操作変数法というのは経済学や社会科学において、特にその理論が発展してきたという歴史的な背景があります。なお詳細については後述しますが、操作変数法は交絡因子の測定を必要としないというメリットもある一方、いくつかの検証不可能な仮定に基づく手法です。したがって、解析を行う研究・データにおいて因果効果の推定のために要求される仮定の成立を認めることがどの程度妥当であるかの議論が他の手法と同様に必要であることにご注意ください。 操作変数の3条件 操作変数法では、ある介入AのアウトカムYに対する因果効果を推定するために以下の3つの条件を満たす変数Zを利用します。この変数Zは操作変数 (instrumental variable, instrument) と呼ばれます。 操作変数の3条件 (Theree instrumental conditions) Z is associated with A ZはAと関連する Z does not affect Y except through its potential effect on Y ZはYに対してAを介した以外の効果を持たない Z
社会におけるデータ活用の拡大に伴い、データ活用人材の需要はますます大きくなってきています。東京理科大学データサイエンスセンターとSAS Institute Japan 株式会社は、データサイエンス人材の教育とキャリアについての知見を深めるため、2022年12月21日（水）に合同でシンポジウムを開催しました。本記事では、このイベントの様子をご紹介したいと思います。 シンポジウムの開会にあたり、東京理科大学 副学長 坂田 英明 様、SAS Institute Japan 株式会社 営業統括本部長 宇野 林之からご挨拶がありました。坂田副学長は、2031年に150周年を迎える東京理科大学が掲げるTUS Vision 150のなかで、データサイエンス教育に重点を置いていることに触れ、2019年に設置された東京理科大学データサイエンスセンターが、データサイエンスの応用分野創造と人材育成を進めていることを紹介しました。SASの宇野からは、40年以上の間、アナリティクスを専業としてきたSASの歴史に触れながら、リソース不足で実りが少なかった第二次AIブームと違い、昨今の第三次AIブームは豊富な計算リソースを背景に社会に浸透しており、特にビジネスの世界では、データドリブン経営から業務のディシジョンのサポートまで、データサイエンスが幅広く活用されていることを紹介しました。両者ともにデータ活用人材の不足を課題に挙げ、本シンポジウムでの議論に期待を寄せました。 第1部：東京理科大学におけるデータサイエンス教育 第1部では、東京理科大学のデータサイエンス教育の紹介と、そこで学んだ学生からの研究発表が行われました。 まず、データサイエンスセンター長 矢部 博 様から、データサイエンス教育の取り組みについて紹介がありました。理系の総合大学である東京理科大学では、各学部でデータを活用した研究・教育がされてきましたが、学長直下の組織として設置されたデータサイエンスセンターが横串となり、各学部や教育推進機構、研究推進機構、産学連携機構と連携しながら、データサイエンス教育・研究のハブとしての役割を果たしています。 政府はAI戦略2019のなかで年間50万人のリテラシーレベルの人材と年間25万人の応用基礎レベルの人材の育成を目標に掲げていますが、東京理科大学では、既に2019 年度から独自の教育プログラムを展開しています。まず、全学部生が対象のデータサイエンス教育プログラム[基礎]は、数学、統計学、情報学、データサイエンス、その他の授業から20単位をB評価以上で取得することで、認証書が授与されます。大学院生が対象のデータサイエンス教育プログラム[専門]では、数理コース、ビジネスコース、人工知能コース、医薬コース、機械学習コース、医療統計コース、Informaticsコースの各コースが設定する科目から8単位をB評価以上で取得することを要件としており、高度な知識と技能を持った学生を認証しています。 また、SASとの共同認定プログラムであるSAS Academic Specializationでは、SASを活用したデータ分析を実践する授業の6単位を取得することで、SASスキルと統計解析の知識を認定します。特に、SASソフトウェアを用いた研究課題や実践課題に取り組み、論文を提出し、審査に合格することが条件となっています。このような教育プログラムをデータサイエンスセンターが提供することで、各学部での一般・専門教育と並行してデータサイエンス人材の育成を推進しています。 次に、理学部第二部数学科 教授 伊藤 弘道 様から、社会人履修証明プログラムについて紹介がありました。東京理科大学の理学部第二部は、日本唯一の夜間理学部として、特に理科・数学を中心とした学び直しの機会を提供してきました。現在、社会人学生の割合は1割程度で、教員免許の取得を目指す学生も多く在籍しています。学部の課程と並行して履修証明プログラムを2020年度から開始しています。コースの種類としては、SAS認定コース、データサイエンスコース、数理情報コース、統計学入門コース、数理モデリングコース、数学リテラシーコース、微分幾何入門コースがあり、さまざまなスキルや知識を持って社会で活躍できる人材を育成しようとしています。 続いて、SAS教育の実践を含む教育の一つとして、大学院講義「カテゴリカルデータ解析」に関し、工学部情報工学科 教授 寒水 孝司 様より紹介がありました。この授業は理論と演習から構成されます。演習パートについて、企業で活躍する専門家が講師として招聘され、担当しています。講師の統計解析への知見、SASプログラミングの専門的な知識や技術を吸収しようと、学生は理論の学習と演習課題に交互に取り組んでいます。特にこの授業では、クロス集計とその指標の推定から、交絡のあるデータを扱うための技術を習得します。 学生の研究発表 第1部の最後に、4組の学生からデータ分析を活用した研究発表がありました。独自に設定した課題について、大学のプログラムで提供されているデータや自身で収集したデータを用いた分析結果を発表しました。みなさん、基礎分析をしっかり行い、データの傾向を掴もうとしていたことが印象的でした。将来の夢の発表もあり、スキルを磨いて夢を実現されることを期待しています。 第2部：ビジネスにおけるデータサイエンス人材の活用 第2部では、ビジネスにおけるデータ活用事例およびデータ活用人材のニーズやキャリアについて、講演がありました。 採用市場におけるデータ活用人材のニーズ まず、株式会社マイナビ 就職情報事業本部 マイナビ編集長 高橋 誠人 様より、データ活用人材の採用市場におけるニーズについて紹介されました。株式会社マイナビは、就職活動支援サービスの提供のみではなく、大学や企業と連携してデータ活用人材の育成の支援を行っています。特に、2024年卒業学生向けの新卒就職活動サイト「マイナビ2024」からは、「DX（デジタル・トランスフォーメーション）がわかる超基礎講座」というe-learningを提供し、IT人材のキャリア形成を支援しています。 講演では、経済産業省の「新産業構造ビジョン」や情報処理推進機構の「DX白書2021」などからデータを引用しながら、IT人材のニーズについて論じました。ほぼすべての分野においてIT技術を核とした革新が期待されているなか、IT人材の需要は高まることが予測されています。米国ではIT人材不足が解消されてきている一方、日本国内のIT人材は質・量ともにまだまだ不足感があります。プロダクトマネージャー、ビジネスデザイナー、テックリード、データサイエンティストと、さまざまな側面のデータ活用人材が不足していると感じている企業が半数以上です。（一方で、「自社には必要ない」と考えている企業も2割程度あるのも問題かもしれません。）2030年には、中位シナリオで45万人のIT人材が不足すると予測されています。マイナビ社の調査結果を見ると、新卒の就職市場は全体的に堅調であるなかで、情報系学生の就職先が製造・ソフトウェア・通信分野に偏っていることが問題であるように思われます。転職市場では、全体と比較してIT・通信・インターネットの分野において、転職による給与の上昇が期待できるようです。最近では、経験者を募集する割合が減ってきていることも人材不足を反映しているかもしれません。
ビジネスにおけるデータ活用のゴールとは？ データ活用はもちろん手段ですのでビジネス上の様々な目的が考えられます。今回はSASが長年ソフトウェアとサービスをご提供している領域である「アナリティクス」すなわち「ビジネス課題を解決するためにデータ分析によって洞察を獲得し、よりよい意思決定をすること」を、ゴールとして話を進めたいと思います。 ビジネスにおける様々な意思決定とその分類 ビジネスにおける意思決定にはどのようなものがあるでしょうか。無数にあるので網羅的には無理ですが、例えば以下のようなものがあると思います。ビジネスにおける業務はいわゆるバックオフィス・フロントオフィスに大別できますが、ここではフロントオフィスすなわち企業・組織外部とのやりとりをする部門・役割における意思決定にフォーカスします。 さて、ビジネスにおける意思決定は大きく以下の３つに分類されると考えます。 先ほど例として挙げたものをこの定義を使って分類すると以下のようになるかと思います。 このような意思決定をよりよくするために使われるデータ活用のパターンをさらに右に記載してみます。皆さんもよく見かける、アナリティクス・ソリューションが並びますね。実は、これらのソリューションも守りの意思決定のためのものと、攻めの意思決定を目的としたものが混在していることがわかります。それぞれ、目的と、妥当な投資コストと、期待する価値の考え方が異なってくるので、検討の際にこれからご紹介する攻めか守りかを考慮に入れることが重要になってきます。 攻めの意思決定と、守りの意思決定 守りと書くと少し後ろ向きなイメージがあるのですが、ここでは攻めの反対語として使っています。意思決定には大きく、攻めの意思決定と守りの意思決定があります。それぞれ、次のような定義をしています。 守りの意思決定 決められた計画通りに業務を精度よく実行する。言い換えると事前に計画した期待収益を過不足なく実現するための業務遂行です。たとえばあらかじめ毎日平均100個売れると計画した商品を決められた平均欠品率を保つために、毎日110個発注するなどです。あるいは、期待反応率が一定以上の顧客に営業・マーケティング活動をする、などがあげられます。 あらかじめ業務プロセスを計画し、従来人間が行っていたような意思決定を自動化します。 つまり、計画した業務プロセスを実行した結果の過去のデータを使用して、それがそのまま未来も起きるであろうという予測モデルを活用することで実現できます。 あらかじめ期待収益の計画を立てているので、自然なバラツキ以上にはその期待収益を上回ることはありません。言い換えると過去に起きたこと以上のことは起きません。 こちらにおいて考慮すべき不確実性は「予測可能な不確実性」です。（参考：過去のブログ） 攻めの意思決定 一方攻めの意思決定は、過去に起きたことをそのまま延長するのではなく、過去の傾向を変え、将来の期待収益を最大化するための計画をすることです。 これは、仮説検証のプロセスーすなわち実験を繰り返すことでしかなしえません。 例えば、顧客の購買行動を理解・推定し、より多くのものを買ってもらうためには、どのような品ぞろえにすればよいかを常にテストしながら実装していく必要があります。あるいは、将来起こりうるシナリオを様々な前提で予測をし、備えることです。 こちらにおいて考慮すべき不確実性は「予測不可能な不確実性」です。（参考：過去のブログ） ポイントをまとめると以下のようになるでしょうか。 攻めの意思決定と守りの意思決定のどちらが大事か？ 企業における意思決定において、守りの意思決定は無数に行われていることと思います。例えば、SASのユーザー企業で数千人が利用している環境が結構あるのですが、もうこれだけで、数千の意思決定のための活動がデータに基づいて行われていることがわかります。これらは一つ一つは小さいながらも、積み上げると企業全体の売り上げのほとんどを構成しています。そのために、アナリティクスによる自動化を進めていくと、一つ一つの予測モデルの精度や、意思決定フロー（ディシジョンと呼びます）そのものが収益に直結しますし、そのディシジョンが外部社会とのインターフェースとなるため、顧客の信用や社会的責任についても考慮する必要があり、この守りの意思決定に関しては、そういった「ディシジョン」の精度とガバナンスが非常に重要になってきており、優先度の高い投資領域となっています。 ということで、守りの意思決定すなわちデータ活用は、制度とガバナンスの観点で非常に重要です。 一方で、簡単に言い換えると、守りの意思決定は単なる既存プロセスの効率化と言えなくもありません。RPAなどの単なる作業の自動化ではなく、収益に直結する意思決定の自動化ではありますが、過去に起きたことをそのまま将来に延長しているだけでは、効率化の域を出ず、企業の成長の源泉にはなれど、ドライバーにはなりません。例えば、製造業において熟練エンジニアによる品質のチェックを標準化し自動化することも同様です。俗人化を排除し標準化し自動化することは重要ですが、それ以上でも以下でもありません。企業が持続的な成長するためには、成長のための仮説を立て、実験をして市場の潜在ニーズを掘り起こしていく必要があります。また、将来の成長機会を最大化するためには、予測不可能な未来に対しての備えをすることで、対応力を身に着けておく必要があります。そのためには、”予測モデル”や"AIモデル"を単に既存の業務プロセスに埋め込むだけではなく、後にに少しご紹介する「アナリティクス・レベル」の最終章としての活用を意識する必要があります。 つまり、攻めの意思決定およびそのためのデータ活用は、過去だけではなく未知の未来の推定とシミュレーションに基づいて、企業・組織が持続的な成長のために進むべき方向を根拠をもって決めていくという重要な使命があります。 そのデジタルトランスフォーメーション(DX)は攻め？守り？ 文字通りとるとDXはプロセスを変革して新たな企業価値を創出することなので攻めの取り組みのはずです。一方でその定義とはかけ離れてDXと称されている単なるITやAIによる既存プロセスや意思決定の自動化などはDXの文字通りの定義からすると、DXではない気がします。しかし、そもそも意思決定が標準化されてない状態からデータに基づいて標準化され自動化された意思決定に変えるような場合には、「変革」に近いと言えると思うので、それがDXかどうかではなく、そのDXと称している取り組みが今回定義した攻めか守りかを意識して投資や計画をすると、投資検討がしやすかったり評価がしやすくなるのではないかと筆者は考えます。 （おまけ）アナリティクス・レベルの最終章の再考 アナリティクスにおいては、従来から以下の８のレベルで創出価値が変わってくると言われています。昨今のAIブームはこの段階の中のPredictiveにフォーカスがあたっています。本当はその手前のDescriptiveをちゃんとやらないといけないのでそちらの方が大事だったりします。そして、その二つが適切に実施されたうえで到達できる、この８つ目のレベルが実はとても重要です。 Prescriptiveは、あまりいい日本語訳が見つからないのですが、指示的・処方的という意味です。これは、守りの意思決定においては、生産スケジューリングなどの最適化や、マーケティング最適化のソリューションが当てはまります。個々の生産品質の予測やキャンペーンの反応率を予測するだけでなく、様々な関連するものを組み合わせたときに、最良のアクションが何か？ということを決める手法です。この段階にならないと、既存プロセスの最適化が実現できません。また、攻めの意思決定においては、あらゆる予測のシナリオを考慮したうえで、将来の期待収益機会を最大化するためのアクションを決めるということになります。その場合には、Descirptiveのフェーズでの洞察、適切なPredictiveモデリングに基づいた、シナリオ分析やシミュレーションといった手法表現がとられます。 このように、意思決定の種類すなわち、そのデータ分析を何のために行っているかを意識することで、そのインパクトを考慮しやすくなり、アナリティクスやDXへの投資、その際にどのような人材を育成・獲得する必要があるのかが見えてくるのではないでしょうか。
近年、AI/アナリティクス市場に巨大ITベンダーが参入してきたことと、データサイエンティストがその存在感を高めようとしてきたことがあいまって、「予測」、「予測モデル」あるいは「AI予測」、「AIモデル」という言葉が、この市場で一般的になってきました。ビジネスにおいて、データ分析による洞察に基づいてよりよい意思決定と自動化を行うことーこれを「アナリティクス」と言いますーは、筆者がこの世界に足を踏み入れた２０年以上前よりもっと前から、一部の「データを武器とする企業」において行われていました。それがより多くの企業に広まってきたということです。 今回は、より多くの方が「予測」について理解を深めてきているところで、その「予測」をもう少し深く理解し、近年の世界情勢において、大きく変化が求められている業界の1つである、流通小売業や製造業のサプライチェーン課題にフォーカスしたいと思います。まさにいま、サプライチェーンの大きな課題はレジリエンス強化です。そのための解決ソリューションとしてデジタルツインが注目されていますが、デジタルツインで何をすべきかを適切に見極めるために必要なおさらいとして、そもそも不確実性とは？について頭の中を整理したいと思います。 アナリティクスとは将来の不確実性に対して勇気を出して踏み出すーつまり行動するーことである。 「予測」という概念が広まることで、「予測」が確率的であるという認知も正しく広まってきました。需要予測値は確率的なものであるため、予測値そのものだけではなく安全在庫を計算するためにその確率を活用し、解約予兆、商品のレコメンデーションへの反応、不正検知、異常検知や歩留まりなど、アナリティクスつまり予測モデルを意思決定に適用するほとんどの意思決定は、すべて確率的なものです。よく見る予測モデル以外でも同様です。最適化も多くの場合その入力となる情報が確率的にばらついているケースが多いですし、近年、古典的な最適化手法が当てはまりずらいビジネス課題、例えばサプライチェーンの最適化、リアルタイムの配送スケジューリングなどの課題やカスタマージャーニーの最適化課題に対して適用される強化学習のアプローチにおいても、将来の報酬を確率的に計算して、目の前の一手を決めているといえます。 ここで唐突に余談ですが、リスクという言葉は日本語だとネガティブな意味に使われることが多いですが、本来はポジティブでもネガティブでもなく、単に確率的なバラツキを意味しています。なのでリスクを管理するということは、単に将来に対して確率的なバラツキを特定し意思決定の要因に組み込むということです。つまりこれはアナリティクスと同義です。なので、アナリティクスとアナリシスは語感は似ていますが、意味はだいぶ異なるということになります。 不確実性の1つは過去の経験から得られる確率 これは、上述した「リスク」です。どのような事象が起きたか？それが起こる確率はどれくらいか？そのインパクトはどの程度か？などについて過去の経験に基づいて洞察が得られるものです。例えば、輸送の遅れ、需要のバラツキ、ITシステムの障害、消費者の購買行動におけるバラツキ、設備などの停止、部品の故障率や製造品質などです。このような不確実性は過去のデータを分析することで予測可能です。このタイプの不確実性を今回は、「予測可能な不確実性」と呼ぶことにします。この「予測可能な不確実性」への対処に関しては、長年の経験から、多くのケースにおいて理論が確立してアナリティクスのベストプラクティスにすでに組み込まれています。 近年ニーズが増えてきたもう一つの不確実性への対応 こちらはずばり、過去に起きてないために予測することが困難な事象です。例えば、COVID-19、自然災害、特定地域での紛争や各国の政治情勢の変化などです。海洋の変化が予測とは大きく異なり漁獲高が計画と大きく乖離して輸出の計画が崩れて困っているという事例も該当します。特にサプライチェーン管理が必要な多くの企業は、近年特にこのような事象により、サプライチェーンが突如として混乱に見舞われるという経験をされているでしょう。このような不確実性は、過去に起きてない事象であっても、あらゆる情報を収集することで将来の起こる可能性についての洞察をある程度得ることができることもあります。ソーシャルメディアを分析することで、その国の経済の先行指標としての洞察を得たり、政治的な変化の予兆につなげるという活用方法も実際にされてきています。しかし、自社のサプライチェーンに関わる世界中のあらゆる状況に対して調べつくすということは、ほとんどの企業にとっては投資対効果的に見合わないと思います。したがって、サプライチェーンにおいては、そのような事象によって混乱した状態からなるべく早く回復するために、自社のサプライチェーンの脆弱性を理解し、起こりうるシナリオを想定して、それに備えることに投資の目を向けます。このようなタイプの不確実性を今回は、「予測困難な不確実性」と呼ぶことにします。 デジタルツインでは二つの不確実性への対応が価値をもたらす デジタルツインですが、そもそもビジネスをデータに基づいた意思決定にしている世界は部分的には47年前からデジタルツインだと言えます（ちょっと強引すぎますかね）。SASは1976年に穀物の収穫高の予測を電子的統計手法で行ったのがスタートです。ITの進化、IOT技術の進化に伴いより多くのデータが観測・収集できるようになり、ビジネスの一部だけでなくより全体がデータの世界で表現できる様になりました。近年ではそれを「デジタルツイン」と呼んでいます。サプライチェーンのデジタルツインを実現して、皆様はどんな課題を解決したいでしょうか？今回取り上げた「予測可能な不確実性」と「予測不可能な不確実性」を理解することで、デジタルツインを活用した「現実世界のよりよい理解」、「その理解に基づく意思決定」、「シナリオ分析」や「シミュレーション」を適切に行うことができるようになり、将来起こりうることに対して、よりよい対処が可能となるでしょう。 この話の続きが気になる方へ SASのデジタルツインの最新の取り組みについてはまずはこちらのプレスリリースをご覧ください。 また、デジタルツインやシミュレーションについて他のユースケースなどご興味ある方は、こちらのCosmo Tech社の（英語）もお役に立つと思います。