Japanese

Analytics | Students & Educators
アナリティクス入門講義:イントロダクション

SASのビジョンは「データがあふれる世界をインテリジェンスに満たされる世界に変える」ですが、そのためにはデータの活用について知っている人材が世の中でさまざまな役割を担うことが重要だと考えています。そこで、SASはグローバルで教育・アウトリーチ活動を実施しています。 SAS Japanでは、アナリティクスを学習するための入門編として、同志社大学や上智大学で講義を提供しています。この講義では、SAS社員が講師となり、アナリティクスの基本的な考え方や各業界での活用事例、アナリティクスを実現するためのテクノロジーなどを紹介します。SASソフトウェアを活用した実際のデータ分析に取り組む前に、アナリティクスがどこで活用されているのか、何のために使われているのかについて、データサイエンティストを目指す学生以外にも知ってほしいと考えて講義を構成しました。実際は90分×15回程度の講義なのですが、このブログ・シリーズでは講義の内容をまとめて紹介します。 アナリティクスとは 「アナリティクス(analytics)」はanalysisから派生した言葉ですが、analysisの語源としては、「ばらばらにする」という意味があるそうです。analysisの日本語訳である「分析」も、「分ける」「析(さ)く」という意味の漢字から成り立っていますから、analysisと同じ意味合いですね。近代以降の還元主義的な考え方によれば、「分ける」ことはすなわち「理解する」ことにつながります。分解することにより、ものごとを理解しようというのがanalysisの言葉的な意味になります。 近代の科学では、対象の理解のために観察や実験といった方法が採られてきました。そこには、データが必須です。対象を分解し、データを比較することがスタートです。比較対象をできるだけシンプルにすることが研究の基本的な態度ですが、対象が複雑になったり大規模になったりすると、多くのデータが必要になります。そのため、複雑で多様なデータから情報を引き出し、ものごとを理解するための技術が発展しました。それがアナリティクスです。analyticsを直訳すると「分析学」であり、analysisに関する知識や技術の総称になります。SASのWebページには次のように書いています。 アナリティクスは包括的かつ多面的な分野であり、記録されたデータに潜む有意義なパターンや知識を発見するために、数学、統計学、予測モデリング、機械学習などの手法を活用します。 SASはアナリティクスのソフトウェアとサービスを提供している企業ですが、単なる「技術」を売っているとは考えていません。人間が対象を理解しようとしているのは、その理解から利益を得たいからです。今日、世界中の組織でアナリティクスやデータサイエンスが活用されているのは、それが組織の役に立つからです。SASにはこんな言葉があります。 Data doesn’t drive your organization, Decisions do. データは組織を駆動しない。意識決定が駆動する。 アナリティクスはデータを分析し、インサイトを得るための技術ですが、それが人間の意思決定につながらない限りは組織の利益にはなりません。 意思決定をしてみよう 「意思決定」と言っても、べつに特別なことではありません。我々は日常的に意思決定をしています。少し例を上げてみましょう。 今日、傘を持っていくか? 週末のイベントに参加するか?(コロナ禍) ワクチンを接種するか? 運動会のリレーのクラス代表を誰にするか? どの授業に登録するか? みなさんは、これらの課題に対し、どのように意思決定をしますか? 傘を持っていくかどうかの判断は、天気予報を見て決めるでしょう。天気予報は、気象庁や気象予報士が過去のデータと現在の観測データ(衛星や気象観測所、各種センサーなど)を用いて未来の天気を予測しています。週末のイベントに参加するかどうかは、新型コロナウイルスの感染者の動向を見て決めるでしょう。ニュースやWebサイトでは、感染者の遷移がわかりやすく可視化されています。ワクチンを接種するかどうかは、ワクチンに効果があるかどうか、副反応が許容できる範囲かどうかを考慮して決めるでしょう。ワクチンの効果は、厳密にデータと統計学によって検証されます。運動会のリレーのクラス代表は、体育の授業の50m走のタイムを見て決めると納得しやすいです。1回だけだと「たまたま」かもしれないので、何回かの平均タイムを比較するかもしれません。どの授業に登録するかは、学部・学科の履修ガイドラインもさることながら、過去にその授業を受けた先輩が残したデータを参考にするでしょう(筆者の学生時代は、単位の取りやすさがA-Dにランク付けされたリストが出回っていました)。このように、みなさんは日常的に意思決定をしていますし、そこではデータを役立てていることが多いことがわかります。 みなさんのなかには、データサイエンティストを目指している人もいるかもしれません。組織のなかでアナリティクスを活用するには、この意思決定をどのように支援するかを考えることが重要です。データを取得し、分析し、その結果を意思決定者であるユーザーに提示するサービスを設計する必要があります。この「ユーザー」はアナリティクス・ソフトウェアのユーザーではなく、意思決定サービスのユーザーという意味です。データサイエンティストは、データがあるからとりあえず分析してみるのではなく、ユーザーが意思決定をする際の課題をいかにデータ分析により手助けするかをプランすることも役割の一つになります。 4つのアナリティクス ガートナーによると、アナリティクスは、データ分析をしてから意思決定にいたるまで、どの程度人間が介在するかによって4つのレベルに分けられます。 記述的アナリティクス … 過去に何が起こったか、いま何が起こっているかを知る。データの集計や平均値などの統計量の計算、グラフを用いた可視化など。 診断的アナリティクス … 事象なぜ起こったかを分析する。要因分析・効果検証・統計的因果推論など。 予測的アナリティクス … 未知の事象を過去のデータや入手できる情報から予測する。統計モデル・機械学習モデルを活用。 指示的アナリティクス … 次に何をすべきかを指し示す。数理最適化の手法を活用。 例えば、上記の意思決定の例であれば、イベントへの参加を検討するためにコロナ感染者の推移をグラフで見たり、リレーのクラス代表者を50m走のタイムで決めたりするのは、記述的アナリティクスに該当します。情報を解釈して判断する大部分を意思決定者自身が担います。ワクチンの効果を検証するのは診断的アナリティクスです。ランダム化比較実験や統計的因果推論の手法を用います(次回以降で解説します)。天気予報は、予測的アナリティクスに当たります。過去のデータと現在の観測情報から未来の天気を予測します。指示的アナリティクスでは、例えば最適な配送経路を計算するのに数理最適化の手法を用います。 次回以降は、これら4つのアナリティクスを詳しく見ていきましょう。

Analytics
0
SAS ViyaでのSASプログラム実行用リソース管理(一):計算リソース上限の設定方法

一、背景の紹介 "データアナリストのようなヘビーユーザと利用頻度が低いユーザや参照系のユーザなど、さまざまなユーザがおり、SASプログラムを実行する際に利用するCPUとメモリなどの計算リソースを、ユーザタイプごとに割り当てる設定をしたい"。これは、多くのViyaユーザ様が持つ課題です。これを実現するためには、次の2つのステップが必要です 1.異なるタイプのユーザごとに利用できる計算リソースを設定します。 2.異なるタイプのユーザに対して、権限を個別に割り当てる必要があります。 本記事では、まずViyaのシステム管理者に向けて、ユーザが利用できる計算リソースの上限値の変更方法を紹介していきます。 二、準備 設定方法を紹介する前に、まずViyaでSASプログラムを実行時に計算リソースを調達する方法を説明します。ここでは、viyaのアーキテクチャとk8sの知識が必要になるので、なるべくわかりやすく解説していきたいと思います。 まず、ユーザがSAS Studioを使用する際、Viyaはそのユーザのみが使用できるセッションを作成します。 ユーザは、実行が必要なSASアプリケーションごとに個別のセッションを作成することができ、各セッションはバックグラウンドでk8sクラスタ上に対応するポッドを持ちます。 各ポッドには使用できるCPUとメモリの上限があり、デフォルトでは2vcpusと2Giのメモリが使用できます。Viyaがユーザのセッションのためにポッドを生成するとき、ポッドテンプレート(podTemplate)と呼ばれるものを参照します。ポッドテンプレートはviyaがデプロイされるときにyamlファイルで定義されるものです。そのため、ユーザセッションが利用できる計算リソースを変更したい場合は、viyaのデプロイに使用するポッドテンプレートのyamlファイルを変更する必要があります。また、ユーザの種類によって異なる計算リソースの制限を設定したい場合は、既存のポッドテンプレートをコピーして、名前と数値を変更するだけです。 デプロイメントファイルとK8sクラスターに変更を加える必要があるため、以下を準備する必要があります。基本的にViyaをデプロイ時に必要なものと同じですので、もし下記に対して不明なところがある場合、ご利用のViya環境のデプロイ担当者にお問い合わせください。 ・k8sクラスターのAPIサーバーに接続できる作業用のサーバー、OSはLinux系がおすすめです。 ・k8sクラスターに接続用コンフィグファイル(管理者権限が必要)。~/.kube/configとして保存します。 ・k8sのコマンドラインツール:kubectl ・Viyaデプロイメントアセットのコンパイル用ツール:kutomize ・Viyaをデプロイ時に使ったkustomization.yamlやsite-configフォルダを含めたファイルアセット 三、計算リソース上限値の修正方法 計算リソースの調達方法を簡単に紹介した後、次は、そのリソースを変更する方法について説明します。ここでは、主に以下の2つの方式を採用しています。以下はLinux OSを使用することを前提に説明します。 以下はこの章の項目の一覧です。読者は以下のリンクを使って興味のあるセクションに直接ジャンプすることができます。 1.デプロイ用ポッドテンプレートファイルを修正し、再デプロイでリソースの設定を更新する方法 2.K8sクラスター内にデプロイされたポッドテンプレートをそのまま修正する方法 3.設定後の検証方法 1.デプロイ用ポッドテンプレートファイルを修正し、再デプロイでリソースの設定を更新する方法 この方法のメリットは、デプロイメントファイルに対して変更を加えるため、後にViya環境のバージョンアップや設定変更があった場合でも、計算リソースの設定の変更が保持されることです。 デメリットは、設定時にデプロイメント手順を再実行する必要があるため、比較的面倒ではあるが、長期的には管理しやすいので、おすすめです。 ①まず、Viya のデプロイメントアセットを含むパスの一番下に移動する必要があります。 このパスを/opt/viyainstallと仮定して、以下のコマンドを実行する必要があります。 deploy=/opt/viyainstall cd $deploy パス$deployの下の構造は、おおよそ次のようになっているはずです。下記のファイルやフォルダが含まれていない場合、パスが正しいか、Viyaのデプロイに使用するファイルが欠落していないかを確認することが重要です。 ②次に、ポッドテンプレート内で定義されているcpuとmemoryの制限を変更するために、site-configフォルダに以下のファイルを作成する必要があります。実際には、設定したいCPUやメモリの上限値に合わせて、下記のコマンド内のvalueの値を変更する必要があります。下記のコマンドの例では、ユーザが利用できる計算リソースの上限を31vcpu/240Giに設定しました。 cat <<EOF > $deploy/site-config/modify-podtemplate.yaml #メモリの上限値を修正 - op: add path: "/metadata/annotations/launcher.sas.com~1default-memory-limit" value: 240Gi #利用できるメモリの上限値 - op:

Analytics | Learn SAS | Students & Educators
まず「データリテラシー」からはじめよう

社会でのデータ活用が進むにつれ、それを推進する人材の必要性が増しています。データ活用人材、アナリティクス人材、データサイエンティスト、呼び方や役割はさまざまですが、そのスキルの根底にあるのは、「データリテラシー」です。データリテラシーとは、世界で起こっているさまざまなことを理解するために、データと対話できることを指します。データの有用性を見極め、信頼性を問い、意味を見出し、その洞察を意思決定に役立て、洞察を他者に伝えることができる一連のスキルです。内閣府、文部科学省、経済産業省は、大学における「リテラシーレベル」の数理・データサイエンス・AI教育プログラムについて、認定制度をはじめようとしています。 SASは、学生向けにデータサイエンスを学べる SAS Skill Builder for Students を無料で提供しています。Skill Builder for Students の e-Learning のなかに、データサイエンスを学ぶ最初のコースとして、Data Literacy Essential があります。このコースでは、身近な例を取り上げ、段階を踏んでわかりやすくデータリテラシーについて学ぶことができます。 SASは、アナリティクスが個人や組織の意思決定のために活用されるものであることを意識し、製品やサービスを展開しています。この Data Literacy Essential のコースでも、意思決定の際にデータとどう向き合えばよいのか、その理解のためのファースト・ステップを提供します。よく統計学の初級コースで、「まず平均や分散を計算してみましょう」という教材がありますが、実は、それ以前に理解すべきことがあります。なぜデータを見る必要があるのか、どのようにデータを集めるのか、そのデータはどういう性質を持っているのか、という疑問と、それらを知ろうとする姿勢が必要です。 このコースは6つのモジュールで構成されます。 Why Data Literacy Matters ... WebやSNSなどで出会うさまざまなデータを例にデータリテラシーの重要性を学びます。 Data Literacy Practices ... 商品の購入を例にデータリテラシーの実践を学びます。 Identifying Reliable Data ... ある家族の新型コロナ感染予防の取り組みを例に信頼できるデータの収集について学びます。 Discovering the Meaning of Data ... 新型コロナの影響を受けたビジネスを例にデータから知見をどのように得られるのかを学びます。 Making Data-informed Decisions ...

Analytics
0
SAS ViyaでSASプログラムをバッチで実行する方法の紹介

一、背景の紹介 SAS Viyaに搭載されているSAS StudioはSASプログラムの作成と実行のツールとしてよくユーザーさんたちに利用されています。また、実際のビジネスの中では、SASプログラムのバッチ実行が必要となる場面もたくさん存在しています。しかし、多くのSAS9を活用している既存のユーザーは、Viyaでのバッチ実行方式に対してまだ詳しくないかもしれませんので、本ブログを通してViyaでバッチ方式でのSASプログラムの実行方法を紹介したいと思います。 以下は本記事内容の一覧です。読者は以下のリンクをで興味のあるセクションに直接ジャンプすることができます。 二、sas-viya CLIツールの紹介 1.sas-viya CLIとは 2.インストール方法の紹介 三、SASプログラムをバッチで実行する方法の紹介 1.バッチでSASプログラムの実行 2.実行されたバッチジョブの確認とログの取得方法 3.バッチジョブの削除と停止方法 二、sas-viya CLIツールの紹介 1.sas-viya CLIとは SAS Viyaのコマンドラインインターフェース(以下はsas-viya CLI)は、コマンドライン上で、SAS ViyaのRESTサービスを利用することによって、SAS Viyaの設定や機能を利用するためのツールです。CLIは、グラフィカル・ユーザー・インターフェース(GUI)を使用する代わりに、プログラム的にSAS Viyaを操作するために使用することができます。 sas-viya CLIのbatchプラグインは、SAS Viya環境にコマンドラインからSASプログラムやコマンドをアップロードし、バッチ処理することを可能にします。プログラムをアップロードした後は、サーバ側でバッチ処理を実施するので、処理中にViyaのサーバとの接続を維持する必要はありません。 2.インストール方法の紹介 従来SAS9を利用しているユーザーは、sas.exeなどでSASプログラムをバッチで実行していたと思いますが、Viyaの場合はsas-viyaというコマンドラインツールを利用します。別途でインストールは必要ですが、Viyaのサービスへ接続できるところであれば、WindowsでもLinuxでも、任意のマシン上から遠隔でViya上でSASジョブの実行ができます。以下ではsas-viyaコマンドラインツールのインストールとセットアップ方法を紹介します。 まずは下記のサイトからお使いのOS(Linux, Window, OSX)に応じて、インストールファイルをダウンロードします。 https://support.sas.com/downloads/package.htm?pid=2512/ ① Windowsをご利用の場合の手順は以下となります。Linuxユーザーの方は、こちらを参照ください。 (1)ダウンロードしたzipファイルを解凍し、sas-viya.exeのフォルダの下にshift+右クリックし、「PowelShellウィンドウをここで開く」をクリックします。 (2)利用開始の前に、接続先のViyaサーバ情報の初期登録が必要ですので、下記のコマンドを実行します。聞かれた内容を下記のように入力し、アクセス先を定義します。 .sas-viya.exe profile init こちらのステップは初めて利用する際に、一回だけ実施します。Service Endpointは繋ぎ先のURLを入力し、それ以外の”Output type”と”Enable ANSI colored output”については、画面に出力されたメッセージのフォーマットを指定するものですので、お好みの設定で構いません。もしわからない場合は、それぞれにtextとyにすれば良いです。 (3)接続先の情報を設定し終わったら、次はサーバへのログインです。下記のコマンドを実行して、IDとPWを入力し、ログインします。 .sas-viya auth login

Analytics
自然言語処理とSAS (3)

こんにちは!SAS Institute Japanの堀内です。今回も自然言語処理について紹介いたします。 前回の投稿では、実際にSASを使って日本語の文章を扱う自然言語処理の例を解説しました。 最終回の本投稿ではその応用編として、自然言語処理の代表的なタスクとSASによる実装方法を紹介します。なお、ここでいうタスクとは「定式化され一般に共有された課題」といった意味になります。自然言語処理には複数のタスクがあり、タスクごとに、共通する部分はあるとはいえ、問題解決のアプローチ方法は基本的に大きく異なります。SASには各タスクごとに専用のアクションセット1が容易されています。 要約タスク その名の通り文章を要約するタスクです。SASではtextSummarizeアクションセットで対応可能です。 ここでは、NHKのニュース解説記事「気になる頭痛・めまい 天気が影響?対処法は?」(https://www.nhk.or.jp/kaisetsu-blog/700/471220.html) の本文を5センテンスで要約してみましょう。 import swat conn = swat.CAS('mycashost.com', 5570, 'username', 'password') conn.builtins.loadActionSet(actionSet='textSummarization') conn.textSummarization.textSummarize(addEllipses=False, corpusSummaries=dict(name='corpusSummaries', compress=False, replace=True), documentSummaries=dict(name='documentSummaries', compress=False, replace=True), id='Id', numberOfSentences=5, table={'name':CFG.in_cas_table_name}, text='text', useTerms=True, language='JAPANESE') conn.table.fetch(table={'name': 'corpusSummaries'}) numberOfSentencesで要約文のセンテンス数を指定しています。結果は以下の通りです。 'まず体調の変化や天気、気温・湿度・気圧などの日記をつけ、本当に天気が影響しているのか、どういうときに不調になるのかパターンを把握すると役立ちます。 気温・湿度以外にも、気圧が、体調の悪化や、ときに病気の引き金になることもあります。 私たちの体は、いつも耳の奥にある内耳にあると言われている気圧センサーで、気圧の変化を調整しています。 ただ、天気の体への影響を研究している愛知医科大学佐藤客員教授にお話ししを伺ったところ、「台風最接近の前、つまり、気圧が大きく低下する前に、頭が痛いなど体調が悪くなる人は多い」ということです。 内耳が敏感な人は、わずかな気圧の変化で過剰に反応し、脳にその情報を伝えるので、脳がストレスを感じ、体のバランスを整える自律神経が乱れ、血管が収縮したり、筋肉が緊張するなどして、その結果、頭痛・めまいなどの体に様々な不調につながっているのです。' 重要なセンテンスが抽出されていることが分かります。   テキスト分類タスク 文章をいくつかのカテゴリに分類するタスクです。その内、文章の印象がポジティブなのかネガティブなのか分類するものをセンチメント分析と呼びます。ここでは日本語の有価証券報告書の文章をポジティブかネガティブか判定してみます。使用するデータセットは以下になります。 https://github.com/chakki-works/chABSA-dataset (なお、こちらのデータセットには文章ごとにポジティブかネガティブかを示す教師ラベルは元々付与されておりませんが、文章内の特定のフレーズごとに付与されているスコアを合算することで教師ラベルを合成しております。その結果、ポジティブ文章は1670文章、ネガティブ文章は1143文章、合計2813文章になりました。教師ラベルの合成方法詳細はこちらのブログをご覧ください。) pandasデータフレームにデータを格納した状態を確認してみましょう。 df = pd.read_csv(CFG.local_input_file_path) display(df)

Analytics
自然言語処理とSAS (2)

こんにちは!SAS Institute Japanの堀内です。今回も自然言語処理について紹介いたします。 第1回目の投稿では、最近の自然言語処理の応用例とSAS社が携わった自然言語処理関連の実案件の概要を紹介しました。 第2回目の本投稿では実際にSASを使って日本語の文章を扱う自然言語処理の例を解説していきます。 テキストデータって何? 自然言語処理を語る前に、自然言語処理が処理対象とするデータのことを知る必要があります。自然言語処理で扱われるデータはテキストデータと呼ばれています。ここからはテキストデータがどういうものか探っていきます。 テキストとは以下のようなものです。 「自然言語処理で扱われるデータはテキストデータと呼ばれています。本投稿ではテキストデータがどういうものか探っていきます。」 何の変哲もない日本語の文章です。日本語以外の言語で書かれた文章ももちろんテキストと呼ばれます。 ではテキストデータとは何でしょう?データと言うからには何らかの構造を持っていると考えます。例えば行と列が与えられたテーブルデータがわかりやすい例です。 テキストデータと呼ぶとき、テキストに何らかの構造を与えられたものを想起すると良いかと思います。上で挙げたサンプルのテキストをテキストデータに変換してみましょう。 ["自然言語処理で扱われるデータはテキストデータと呼ばれています。",  "本投稿ではテキストデータがどういうものか探っていきます。"] これは句読点でテキストを区切り、リストに格納した例です。やりかたは他にもあります、 [["自然言語処理",  "で", "扱われる", "データ", "は", "テキストデータ", "と", "呼ばれて", "います", "。"],  ["本投稿", "では", "テキストデータ", "が", "どういうもの", "か", "探って", "いきます", "。"]] これは先ほどの例で2つのテキストに区切ったうえで、それぞれのテキストを更に単語ごとに区切って別々のリストに格納した例になります。これをテーブルデータのように整えると、 ID COL1 COL2 COL3 COL4 COL5 COL6 COL7 COL8 COL9 COL10 1 自然言語処理 で 扱われる

Analytics
製造業における DX と SQC

こんにちは、SAS Japan の西井です。本ブログにアクセス頂きありがとうございます。私は 2019 年に SAS に入社しましたが、それまでは国内の自動車部品メーカーにて様々な化学素材や工業部材の基礎研究・量産化開発に 10 年以上携わって来ました。SAS 入社後は、国内の製造業のお客様へ業務課題解決のためのデータ分析のソリューション(ソフトウェアやサービス)を提供する仕事に従事しています。今回はそれらの経験を通じて感じた事をタイトルのブログ記事として記しました。製造業での DX 推進の一つのヒントになれば幸いです。 背景 近年、製造業におけるデジタルトランスフォーメーション (DX) が大きな注目を集めています。DX とは一般的に、データやデジタル技術を活用して、業務プロセスを変革し競争優位を確保していくことと定義されています (参照 1) 。 製造業で DX が求められる背景には、ビジネス環境の変化による製品競争力低下への強い危機感があると考えています。日本の製造業はこれまで、各社のコア技術を元にした高度な品質を有する製品群によって、長期にわたり競争力を維持して来ました。しかし2000年代以降、新興国の参入やサプライチェーンのグローバル化など様々なビジネス環境の変化により、その優勢性に陰りが見えるようになりました (参照 2) 。競争優位の再構築に向けて、単独の製品性能による価値だけでなく、バリューチェーンを横断する形での付加価値創出、例えばロジスティックの最適化や顧客サービスの高度化など、いわゆるビジネスモデルの変革へ向けた施策が多くの企業で試みられるようになりました。その際、重要な要素の一つがデジタル技術の活用であり、DX の概念と重なったため、最近より強く注目されるようになって来たと認識しています。 本ブログのスコープ 弊社 SAS Japan は国内の製造業のお客様へ分析ソフトやサービスの提供を行い、業務課題の解決や高度化への変革、DX 推進のサポートを進めております。その中でしばしばお客様から、このような DX の総論を聞いても、実感がわかない、自分の業務とどう関連するのかわからないというご意見をしばしば頂くことがあります。特に競争優位の中核である品質管理に関わっている技術者の方々にとっては、製造データを用いた生産・品質管理活動はかねてから実施しており、今後どのような変化が必要で具体的に何に着手して良いか理解しかねていると感じています。今回、そのような現場技術者の方や企業の DX 推進担当者の方々を対象に、一つの切り口の例として、これまで品質管理手法として長らく活用され今も活躍している SQC (Statical Quality Control: 統計的品質管理) にフォーカスを当て、どのように DX へ組み込み発展させることが可能か、提言したいと思います。 SQC とは SQC は、QC七つ道具などの可視化手法 (管理図など、参照

Analytics
自然言語処理とSAS (1)

こんにちは!SAS Institute Japanの堀内です。今回は自然言語処理について紹介いたします。 自然言語処理とは、人間が普段会話したりメールしたりする際に使う言語(日本語や英語など)を、一種の信号とみたてて、その信号を機械が理解し、機械によって意味のある出力を得られるように工夫して処理することを指します。”自然”と明記しているのは機械にとっての日常語であるプログラム言語や機械言語と区別するためです。近年のAIやディープラーニングの発展とともに、この自然言語処理の分野も驚異的な進歩が見られ、私たちの日常生活の様々な分野で実際に活用されるようになってきました。第1回目の本投稿では、その内のいくつかを紹介いたします。第2回目以降は、実際にSASを使った自然言語処理の例を解説していく予定です。最後まで読んでいただければ、自然言語処理のホットトピックの内のいくつかを実装レベルで把握することができるようになるかと思いますのでどうぞお付き合いください。 最近の自然言語処理の実務適用例 チャットボット フリーテキストを入力欄に書き込むと、それに応じてボット(プログラムされた自動応答マシン)が適切な返答をテキストで返してくれるものです。様々なウェブページやアプリケーションに内蔵されるようになってきました。 例えば、不動産検索アプリに内蔵されたチャットボットでは、希望の条件をフリーテキストで入力すると、条件に合う物件を瞬時にレコメンドしてくれます。これによりユーザーが不動産検索サイトで条件を指定したり、相談窓口に電話して担当者に希望を伝えたりする手間が省けるようになってきています。   文書検索 手元にある長文の文書(例えば小説や論文など)と類似する文書を探したいとき、皆さんはどうしていますか?検索キーワードをいくつかピックアップしてGoogleなどのサーチエンジンで検索する、というのが最もオーソドックスな方法かと思いますが、最近では文書をまるごとサーチエンジンに入力し、似ている文書を探してくる文書検索ができるようになってきました。似ている文書がどのくらい似ているのかという指標も併せて返してくれるので、大量の論文を検索しなければならないビジネスや研究分野においては、検索の手間が大幅に減り大変便利です。   自動採点 皆さんも学校の国語や英語の授業で、長文を読んで質問に対して答えを書くという長文読解問題を解いたことがあるかと思います。私はこの手の問題が大の苦手でした。なぜならまず長文を読まなければならないのと、答えも一定の長さの文章を書かなければならず、とても手間に感じていました。実はこれ、テストを受ける生徒が嫌がるだけでなく、採点をする先生も同じくらい嫌だったのではないかなと思います。生徒の書いた解答文を読み解き、模範解答とされる文章と意味的に合致しているかという判断を下さなければならないのは結構手間がかかるはずです。実は最近の自然言語処理の発展により、この採点の部分を自動化することができるようになってきています。生徒の書いた文章と模範解答文との意味的距離をモデルが計算し、意味が近ければ正解、遠ければ不正解とすることができます。 また、長文のどの部分が解答となる要素を含んでいるか、というところまで判断し、解答文を自動作成することもできるようになってきました。これはQAタスクと呼ばれる自然言語処理の代表的なタスクの直接的な応用例になります。   オートフィル機能・スペルチェック機能(ライティング支援機能) 文書をタイピングする際、先読みして候補の単語をレコメンドしてくれたり、タイプした文のスペルチェックをしてくれたりする機能を皆さんも使ったことがあるかと思いますが、最近のものは複数行のセンテンスをレコメンドしてくれるようになってきました。またプログラミングの支援機能として書きたい内容をフリーテキストで書くと、該当のコードを提案してくれる機能がGitHubに実装されるなど、世の中はますます便利になりつつあります。(今私はブログを書いているわけですが、書きたいことの概要だけを書くと実際のブログ記事が提案されるようになったらどんなに仕事が捗るかと思います。) このように、これまで人間が苦労をして行っていた言語処理を機械ができるようになってきました。上にあげた例は実務適用例のごく一部です。様々な分野で自然言語処理が適用されようとしています。では、実際にSASではどのような事例が扱われているのでしょうか?   SASによる事例紹介 ここではSASがこれまで手掛けてきた自然言語処理のプロジェクトの一部を紹介します。 MR活動最適化 フランスの製薬企業において、SNSデータを解析することでKOL (Key Opinion Leader: 製薬企業の販売促進に影響力を持つ医師などの専門家) のセグメンテーションを行い、MR活動の最適化を行いました。SNSデータの解析にVTA¹が用いられました。 紹介記事: https://www.linkedin.com/pulse/how-does-hcp-behavioral-segmentation-help-build-full-olivier-bouchard/   院内有害事象発生防止の取り組み ノルウェー北部の中規模病院にて院内有害事象発生の未然防止のため標準的なツールGTT(トリガーツール)を半自動化する改良を加えることで、同等の精度を保ちながら院内有害事象の発見に要する時間を94%削減させました。電子カルテにはフリーテキストで記載された様々な様式の文書がありますが、そこから院内有害事象のトリガーとなる事象を抽出する部分にSASの自然言語処理の技術が使われました。 紹介記事: https://www.sas.com/da_dk/customers/helse-nord-patient-safety.html   有害事象発生予測 市販後の医薬品安全性監視において、FDA(アメリカ食品医薬品局)に寄せられた患者テキストの内、対象とする有害事象の発生を真に報告しているものをディープラーニングにより自動抽出する試みがなされました。テキスト解析とそれに続くディープラーニングによる予測モデルの構築にSASの技術が使われました。 紹介記事: https://communities.sas.com/t5/SAS-Global-Forum-Proceedings/Developing-a-SAS-Deep-Learning-MedDRA-encoder-MedDRA-DeepCoder/ta-p/735360   院内感染発生状況モニタリングシステム デンマーク南部地域一体の病院における、院内感染発生状況をモニタリングするシステムの開発が行われましたが、フリーテキストで記載された電子カルテの文書の中から、院内感染が疑われる箇所を抽出するアルゴリズムにSASの自然言語処理の技術が使われました。 紹介記事: https://www.sas.com/da_dk/customers/the-region-of-southern-denmark.html   消費者安全に関する報告のテキスト解析 消費者安全を担当するアメリカの政府機関に寄せられた消費者による様々な商品の安全性に関する報告文書を、VTAで解析し, VA²で可視化することで、単なる検索では得られないインサイトを得られることが分かりました。

Analytics | Students & Educators
0
本当の原因は何か?:因果効果を求めるために必要な条件

はじめに   前回のコラムでは因果関係を統計学的に考えるために「潜在アウトカム」という概念を導入しました。そして、因果効果を異なる介入レベルの潜在アウトカムの比較によって定義しました。例えば、心臓移植という介入がその後の生存に関して因果効果を持つかどうかを考えたい場合には、各個人が心臓移植を受けたらどうなったか、もしくは受けなかったらどうなっていたかという2つのifの結果(潜在アウトカム)を考え、それぞれを比較します。これが潜在アウトカムの枠組みでの因果推論(Rubin流の因果推論)の基本的な考え方になります。   しかし、詳細については後述しますが、このifの結果である潜在アウトカムは、現実にはいずれか1つしか観測はされず、もう一方は現実には得られない結果(反事実)となるため、個人における因果効果は定義することは可能であっても、その値を求めることは一般には出来ません。しかし、平均因果効果については識別可能条件 (identifiability conditions) と呼ばれる以下の3つの仮定の下では、その値をデータから推定することが可能です。    一致性 (consistency)    交換可能性 (exchangeability)  正値性 (positivity)    今回のコラムではこれらが意図する内容について解説を行います。なお推定手法によっては追加の仮定や、ここで紹介したものとは異なる仮定が置かれる場合(e.g., 操作変数法)、暗に置かれている条件については補足資料や、各推定手法に関するコラムをご参照ください。    一致性   前述のように潜在アウトカムを用いるRubin流の因果推論においては、因果効果は異なる介入レベルの潜在アウトカムの比較によって定義されます。ここで1つ重要なことがあります。それは、潜在アウトカムと観測されるアウトカムは異なる概念であるということです。あくまで潜在アウトカムとは、〇〇という介入を「仮に受けたとしたらどのような結果となるかというifの結果」であり、観測されるアウトカムは〇〇という介入を「実際に受けた場合の結果」です。つまり、潜在アウトカムを用いて定義される因果効果をデータ(観測される結果)から考えるためには、これら2つの異なるアウトカムをリンクさせる必要があります。   そこで必要となるのが一致性 (consistency) と呼ばれる仮定です。一致性とは全ての個人に関して、ある介入A=aを受ける場合の潜在アウトカム Ya が、実際にその介入を受けた場合に観測されるアウトカムYと一致することを意味します。例えば、介入Aを心臓移植の有無、アウトカムを介入から5日後の生存の有無としたとき、ある個人に対して想定される潜在アウトカムは、介入を受けない場合と受ける場合の結果であるYia=0, Yia=1の2つです。ここで仮に、被験者は実際に介入を受けたとします。すると、手術から5日後に観察された結果Yは、手術の前に考えた潜在アウトカム Yia=1と同じであるというのが一致性が指す内容です。一見すると、大変当たり前のことを言っているように思われます。しかし、一致性は以下の2つの要素から構成され※1、これらが成立しない場合には、潜在アウトカムと観測されるアウトカムが一致しない、もしくは後述の式の様な単純な関係とはならない場面があります。 precise definition of the counterfactual outcomes  linkage of the counterfactual outcomes to the observed outcomes     1つ目の要素は、潜在アウトカムを構成する要素が十分に定義されているかどうかに関する項目です。ここまで心臓移植という介入の因果効果を考えるにあたり、介入を受ける場合の潜在アウトカム Ya=1と受けない場合の潜在アウトカムYa=0を比較しました。しかし、心臓移植を受けるといっても心臓移植を行う医師によって治療の効果は変わりうる可能性は十分考えられます(医師の手術の上手さが異なる)。このように単に介入を受けるといっても複数のバージョンがあり (multiple versions of treatment) 、かつ、それぞれの場合で介入による効果が異なる場合には、治療を受ける場合の潜在アウトカムを単にYia=1とするのではなく、どのような治療を受けるのかといった情報まで含めて、潜在アウトカムの定義をする必要があります。precise definition of the

Analytics
0
電力平準化問題に対するSASのアプローチ(2)

はじめに 前回のブログでは、電力平準化問題が数理最適化のスケジューリング問題として扱えること、SASのCLP Procedureで簡単にモデリング可能であることを紹介しました。今回は具体的にサンプル問題でCLP Procedureの使い方を見ていきます(ブログ末尾にサンプルコード記載)。 CLP Procedureの使い方 ここではプロシジャの使い方を分かりやすく示すため、図1のような3タスク、2設備の簡略化された問題のスケジューリングを例として説明します。タスクの詳細な設定は表1の通りとします。   中身の詳しい説明に入る前に、一つだけ最適化の処理で理解しておくべき概念として、Resourceというものを紹介します。Resourceとはタスクを実行するために必要な何かしらの資源で、CLP Procedureによるスケジューリングでは「ある時間帯の使用電力がXである=電力という資源をX占有する」のように読み替えることがポイントです。図1を例にとると、全体のResourceとしては電力設備M1とM2が1つずつ、電力は設定した電力上限分が用意されており、タスクA実行中は電力設備M1というResourceを1つ、電力というResourceを電力波形で表される分だけ各時間で占有する、と見なすことができます。最終的に実行可能なスケジュール(同じ時間帯に複数のタスクが同じ設備で実行されない、電力上限を超過しない)を作成することは、各タスクが上限の範囲内で上手くResourceを分け合うような割り当てを作成することに置き換えられます。 では、実際にSASコードでCLP Procedureを呼び出してスケジューリングを行う部分ですが、必要なのは以下のコードだけです。 proc clp actdata=act resdata=res schedtime=outtime schedres=outres; run; “schedtime”と”schedres”は出力先データセットの指定なので、ユーザーが用意する必要があるのは入力データの”actdata”と”resdata”のみです。では、それぞれのデータセットの内容を確認してみましょう。 “resdata”ではResourceの設定を行います。上での説明の通り、電力設備M1とM2が1つずつで、使用可能な電力総量の上限が“12”であることを表現しており非常に簡潔な設定です。 “actdata”はスケジューリングの対象となる最小要素であるActivityの設定を行います。今回の例では、タスクを図1のように分割したフェーズそれぞれを一つのActivityと考えます。こちらのデータセットは様々な要素が一行に並んでいるのでやや複雑ですが、設定項目は大まかに5種類の系統に分かれます。 まず_ACTIVITY_列では、各Activityにそれぞれ固有のIDを設定します。タスクAを例にとると、各フェーズの電力使用に当たるA01~A05と、タスク全体として設備M1を使用することを表すA00を設定しています。今回の問題では「設備M1を使用している間電力を使用する」という前提なので、A00の_DURATION_とA01~A05の合計が一致していることが確認できます。問題によっては「待ち時間などで使用電力0だが設備は占有したまま」のような状況で、両者の_DURATION_が異なる設定もあり得ます。 _SUCCESSOR_は前後関係を設定する対象のActivityを示しており、前後関係の種類と程度は_LAG_と_LAGDUR_で指定します。例えばFSは、「当該ActivityのFinishと_SUCCESSOR_で指定するActivityのStartの差が_LAGDUR_で指定する値以上」を示しています。今回の例では一つのタスクを分割したフェーズに相当するActivityは常に間を空けることなく実行されるため、_LAG_=FSE(FinishとStartが_LAGDUR_にEqual)、_LAGDUR_=0と設定しています。6行目のように、「タスクAの後3時間単位空けてタスクBを開始する」という業務的な意味での前後関係を表すのにも使用できます。また1行目のA00では、_LAG_=SSE(StartとStartが_LAGDUR_にEqual)でA01と開始が一致するように設定されていることにも注意が必要です。設定の詳細はマニュアルをご覧ください。 _ALIGNDATE_と_ALIGNTYPE_の組み合わせは_SUCCESSOR_と_LAG_の関係に似ていて、当該Activityと_ALIGNDATE_で指定した期日の間に_ALIGNTYPE_で指定する前後関係を設定します。例えば作業に着手可能になる時期や納期を表すのに使用でき、12行目では_ALIGNTYPE_=FEQ(Finishが_ALIGNDATE_=24にEqual)で「タスクB(のフェーズ5)が時刻24丁度に終了すること」を指定しています。 この設定でCLP Procedureを実行すると以下のような結果が得られ、時間に関する結果の”schedtime”とResourceに関する結果の”schedres”が出力されます。”schedtime”は各Activityをどの時間枠に割り当てるかという関心のある結果そのもの、”schedres”には例えば(今回の問題とは異なり)タスクを実行する設備にも選択肢がある場合のResourceの割り当てが出力されています。 最後に少しデータの加工が必要ですが、以下のようにガントチャートや電力波形に可視化して、諸々の条件が満たされたスケジュールになっていることが確認できます。図2 では"resdata"(表2)で指定した、「使用可能な電力総量の上限が“12”」を下回っていることが確認できます。 なお前回も記載しましたが、「ピーク値をどこまで下げることができるか?」を知りたい場合は、「使用可能な電力総量の上限」の指定値を下げて計算し、その条件を満たすスケジュールが作成可能かを調べることで下限を得ることができます。 まとめ 本ブログでは電力平準化問題を例として、CLP Procedureの使い方を見てきました。手順の中心となる入力データ準備の部分は、他のプログラミング言語で用意したものを読み込ませても良いですし、規模が小さければExcel上で作成してしまうことも可能です。SAS言語の知識も最適化の知識も最小限で、便利にスケジューリング機能が使えると感じていただけたなら幸いです。(反響があれば、設備の割り当ても考える場合など、より高度なモデリング方法についても取り上げます) サンプルコード 入力データは全てdataステップで作成しています。ganttプロシジャはclpプロシジャの結果である"schedtime"をほとんどそのまま使用できます(今回はグループ化の処理だけ追加しています)。使用電力の棒グラフについては、今回説明していないデータ加工が多少必要になるため、ソースコードからは割愛しています。 data res; input _RESOURCE_ $ _CAPACITY_; datalines; M1 1 M2 1 El 12 ;  

Analytics
0
電力平準化問題に対するSASのアプローチ(1)

はじめに 2022年も半ばを過ぎましたが、今年は何かと電力需給関係の話題を耳にすることが多くなっています。まず3月下旬には、直前に発生した福島県沖地震の影響で火力発電所が停止したことと寒波が重なり、東京電力と東北電力の管内で電力需給ひっ迫警報(予備率3%以下)が発令されました。そして6月下旬にも想定外の猛暑により、東京電力管内で電力需給ひっ迫注意報(予備率5%以下)が発令されています。事業者の皆様にとっても、政府からの節電要請など対応の必要な課題の一つではないでしょうか。 さて、本ブログでは製造業のスケジューリングを例にとって、使用電力の平準化(ピーク時間帯をシフトする、またピークそのものを下げる)問題に対するSASのアプローチをご紹介します。そもそも一般的なスケジューリング問題は数理最適化問題として扱えることが知られていますが、電力平準化問題も同様の枠組みで解決可能です。数理最適化によるスケジューリングは事例も豊富で歴史もある分野なのですが、通常の最適化エンジンを使用したスケジューリング問題のモデリングには背景にある数理最適化の理解が必要不可欠で、経験の無い方にとっては中々手を出しにくい代物というのが実情です。一方SAS Optimization(またはSAS/OR)にはスケジューリング問題専用の機能があり、CLP Procedureにフォーマットに従ったデータを与えるだけで、ほとんど数理最適化の理論を意識することなく簡単にモデリングすることができます。SASにはあまり最適化のイメージは無いかもしれませんが、本ブログをきっかけに意外と便利な機能が揃っていることを知っていただけたら幸いです。 問題設定 本ブログのスケジューリングで対象にするタスクとは、製造業における一連の生産プロセスのように、一度開始すると所定時間まで途中で中断することのできない作業のまとまりを指し、その間継続的に電力を使用するものとします(タスクごとに使用電力の推移がどうなるかは、過去の実績や予測としてデータ化されている必要があります)。 そして「使用電力を平準化する」とは、非常に単純に表現すると図1のように、使用電力の大きいタスクの時間的重なりをできるだけ解消してピークを下げることです。もちろん現実の問題では、設備の数や納期など様々な制約が存在するので、それらを考慮したスケジュールを作成する必要があります。 では次に、スケジューリング問題として扱いやすくするため現実の問題に対して行う、二つの側面からの近似を説明します。一つ目は時間軸に関する近似で、最小の時間単位を決めてその単位に粒度を丸めます。例えば30分単位で1日分のスケジュールを立てる場合、各タスクの所要時間も30分単位に切り上げて丸めて、「1日分48個の時間枠のどこからどこに割り当てるか」という処理を行うようにします。もう一つは電力波形に関する近似で、もとの波形を階段状に近似します。階段状の近似では、実際の電力波形の傾向が変わるなどキリの良い時点で分割して(フェーズに分割)、各フェーズの使用電力は常に期間中の最大値と同じとみなすような近似を行います。30分単位のスケジューリングを行う場合は、フェーズの所要時間も30分単位になるよう切り分けます。ここでは実際の電力波形を四角いブロックで覆うように近似していますが、もとの波形から多めに余裕を見て使用電力を設定している状況に該当しますので、このシミュレーションで電力ピークを削減できれば、実際にはもっと大きく削減できる可能性があるということになります。「時間軸はどれくらい細かく設定するか」や「タスクを何フェーズに分割するか」は、最終的なスケジュールの精度に影響しますので、問題の設定者が処理時間(細かくすればするほど計算の処理時間は伸びる)との兼ね合いで決定していく要素になります。電力に限定すると、電力会社の集計が30分単位なので、30分単位のスケジューリングには妥当性があります。 このような設定のタスクが複数存在してそれぞれのタスクを実行可能な設備が決まっている場合に、「各タスクをいつ開始するか」を上手く調節して、使用電力合計のピークが所定の上限を超えないようなスケジュールを作成することが今回の目的です。 本手法で行うのは与えた使用電力の上限を超えないスケジュールを作成することなので、いくらまでピーク値を下げられるかは自動的には求められません。通常は業務的に意味のある目標値を指定しますが、「ピーク値をどこまで下げることができるか?」を知りたい場合は、電力上限の指定値を変えて複数回実行することで求められます。指定値が厳しすぎて実行可能なスケジュールが無い場合は解なしと出るので、そこに至るまで少しずつ指定値を下げて再実行する、もしくはそのような処理を自動で行うシステムを実装します。 以下はある程度複雑な問題(30分単位1週間分、10設備、20タスク、上限10kW)を解いた時の結果イメージです。弊社では実際のプロジェクトでも使用電力平準化の問題に取り組んだ事例があり、階段状近似によって実際より各タスクの使用電力を過大評価している分を加味しても、最適化によって作成したスケジュールの方が実績よりピークが低くなることを示せました。 次回はサンプル問題でCLP Procedureの使い方を詳しく説明します! まとめ 最後に電力平準化問題のビジネスインパクトについてですが、この問題で行っているのは使用電力のピーク値の削減で、使用量そのものを削減している訳ではない(合計すると同じ)ことに注意が必要です。電力会社との契約はピーク値に基づいて決まるため、それを小さくすることができれば一定のコスト削減効果はあります。また契約によっては時間帯によって料金が異なるため、高い時間帯からピークをずらせればその分だけのコスト削減も見込めます。ただし事業規模にもよりますが、この両者を総合しても、電力平準化だけで十分な投資対効果を得るのは難しい可能性もあります。一方、節電要請への対応はコストだけに還元できない社会的意義もあり、今後のディマンドレスポンス進展や、既に今冬にも予想されている電力ひっ迫への対応など、昨今の不安定な情勢へのBCPの一つとして十分に検討に値するテーマであるとも考えています。また同じような考え方で、より利益に直結するスケジューリングを検討することも可能です。 SASでは既存のユーザー様に対するライセンス追加や活用方法のアドバイス、既存・新規関わらずドメイン知識の豊富なコンサルタントによるプロジェクト化の支援など幅広く受け付けておりますので、ご興味を持たれた方は是非ご連絡ください。

Analytics | Learn SAS | Students & Educators
見習いデータサイエンティストが思うキャリアの選び方 【アナリティクスを活用するキャリア: SAS Japan】

アカデミア向けにアナリティクス・データサイエンスのキャリアを紹介するイベント「SAS アナリティクス・キャリアシンポジウム」において、SAS Institute Japan 株式会社 コンサルティングサービス統括本部のクラウス 舞恵瑠 氏が講演しました。本イベントは、「データサイエンティストになりたい」と考える学生が業務内容やキャリアをイメージできるようになることを目指し、2021年12月22日(水)に開催されました。前回の記事はこちら。 「大学院のときに学会に参加し、『もっと数学をやりたい』と気づいたときには、すでに就活が終わっていました…」と振り返るクラウス氏は、大学院ではオペレーションズ・リサーチを専攻していました。「やりたいことが分からないから」という理由でコンサルティングファームに就職し、システムの導入支援の業務につきましたが、在学中に参加した学会で芽生えた「数理的な手法で問題解決をしてみたい」という思いが強くなり、SAS Japanへの転職を決意します。 クラウス氏がSASで携わっている直近のプロジェクトのテーマは、「不良債権回収業務の回収益向上」というものです。通常、債務の返済を督促するときは電話をかけますが、人によっては訴訟に発展してしまう可能性もあります。そこで、返済状況や債務者のタイプによって督促の方法を変更したり、場合によっては債務を減額する提案をするほうが長期的には回収額が向上する場合があったりします。どのような督促・回収方法を取るのがよいのか、回収担当者の意思決定を支援するために、強化学習や最適化手法といったデータ分析を活用します。 「一般的なプロジェクトには業務フローがありますが、それぞれのフェーズにおいて必要となるスキルや知識は異なります」とクラウス氏は言います。プロジェクトのフェーズは①現状分析/効果検証、②要件定義、③設計/開発/テスト、④導入支援、⑤本番稼働、の5つに分けられます。それぞれのフェーズにおいて、①分析とドメイン知識、②コミュニケーション、③エンジニアリング、④コミュニケーション、⑤エンジニアリングのスキルが重要になります。 分析スキルのベースには線形代数、微分、統計などの数学的な力があり、それを活用するためにSASやPythonなどのツールやプログラミングのスキルがあります。業界やクライアントの業務に関する知識であるドメイン知識は、クラウス氏によると「非常に重要なもの」ですが、一方で「学生の間に身につけることは難しい」ものです。コミュニケーション・スキルは、クライアントの課題を明確にするためにヒアリングを実施し、また、プランや結果をクライアントにフィードバックするための資料を作成し、わかりやすく説明するためのスキルです。エンジニアリング・スキルは、参画するプロジェクトにもよりますが、GithubやSQLなどのテクノロジーを扱う技術が求められる傾向にあります。このうち、分析スキルは大学の授業などを通して、コミュニケーション・スキルはゼミなどを通して学生のうちに身につけることができそうです。 「これらのスキルをすべて伸ばしていくことはもちろん望ましいですが、私の現在の課題としては、より高度な分析スキルを身につけることです。そのためには、独学、勉強会、YouTubeなどさまざまな勉強法がありますが、一番大切なのは実務経験だと考えています」とクラウス氏は述べます。「学生にとっては実務経験を得ることは難しいですが、就職したあとに積極的に実務に携わり、経験を通してスキルを向上させていく意欲が大切です」と学生にエールを送りました。

Analytics | Students & Educators
0
本当の原因は何か?:潜在アウトカムによる因果効果の定義

はじめに   データに基づいた意思決定が必要とされる場面が近年ますます増えており、そういった際には、データからいかに因果関係を導き出すかが非常に重要な問題です。”因果”を統計学的に捉え、いかにしてそれに迫るかは、統計的因果推論として体系化がなされています。SAS Blogでは、前回の記事からこの統計的因果推論に関する連載コラム・シリーズが始まりました。  因果関係を統計学的に導くことを目的とする統計的因果推論には、主に2つの枠組みがあります。1つは潜在アウトカムを用いるRubin流の考え方、そしてもう1つが構造的因果モデルを用いるPearl流の考え方です。これら2つの考え方は相反するものではなく、Pearl流の因果推論では、ある変数の特徴とそれらの関係を記述するために構造的因果モデル  (SCM; Structural Causal Model) が用いられています。このSCMには対応するグラフィカル因果モデルがそれぞれ存在しており、その際に使用されるのが有向非巡回グラフ (DAG; Directed Acyclic Graph)※1です。このDAGはRubin流の因果推論においても、変数間の関係を視覚的に理解するために補助的に利用がされています。本コラム・シリーズでは前者の潜在アウトカムの枠組みでの因果推論について紹介を行います。今回は特にその根底となる潜在アウトカムについて、また、それを用いた因果関係の定義について説明します。  ※1 補足資料を参照    相関関係と因果関係   相関関係とは、ある2つの変数において、一方が増加するにつれてもう一方も増加(減少)する傾向があるという双方向の関係を意味しています。これに対し因果関係とは、ある2つの変数のうち、一方の操作可能な変数(原因)の値を変化させる(介入を行う)と、もう一方(結果)の値が変化するという、原因から結果への一方向的な関係です。これらの関係の違いを理解することは社会生活を送る上で非常に重要です。例えば、相関関係がある有名な例として、年収と血圧の関係があります。この2つの変数の間には正の相関関係(年収が高くなるほど血圧が高い傾向)があります。しかし、年収を上げるために血圧を上げる(Ex, 暴飲暴食を行う)ことは妥当でしょうか。もしくは、血圧を下げるために年収を下げる(Ex, 転職をする)ことは受け入れられることでしょうか。おそらく多くの読者の方の意見は「No」であるかと思います。この例からも察することができるように、相関関係と因果関係の存在とその方向というものは必ずしも一致しません。また、これらの関係を混同することは大きな不利益につながる可能性があります。上記の例であれば、真には血圧の増加は年収増加に対して因果的な効果を持たないのにも関わらず年収を上げるために無駄に暴飲暴食を行ってしまうことで、結果として不健康につながる可能性があります。   このように興味の対象が因果関係、因果効果である場面は比較的多く存在します。統計的因果推論 (causal inference) とはこれらを形而的、哲学的にではなく、統計学的に考える学問分野です。また、単に因果推論と言われる場合もあり、コラム中で単に因果推論と呼称した場合には、統計的因果推論を意味していることにご注意ください。データから因果効果を推定するために「傾向スコア」を用いた手法など様々なものが用いられています。しかし、これらの手法は適用さえすれば因果効果を適切に推定することができるというわけではありません。因果推論を行うにあたっては因果関係を検討する集団はどういった集団であるか、考える因果効果はどのような介入の効果であるかといった因果的な疑問 (causal question) を明確にすることがまず重要です。その上でデータへの手法の適用があります。また、それぞれの手法は異なる仮定を必要とするため、無条件で因果効果を求めることはできず、その仮定が目の前にあるデータに対してどの程度成立するものであるかといった議論も必要です。 加えて、推定する対象が手法間で異なるといった点や真の関係をゆがませる要因は何が想定されるのかなど、他にも様々な事を考慮する必要があり、慎重に議論を行っていくことが大切です。本コラムでは潜在アウトカムの枠組みでの因果推論の理論(考え方)と、一部の因果効果の推定手法についてのみ取り扱いますが、現実的にはそのような総合的な議論が重要です。    本コラムにおける用語   今回のコラムでは、心臓移植とその5日後の生存の間の因果関係を具体例として考えます。すなわち、心臓移植という介入が5日間の生存というアウトカムに対して、因果効果を持つかどうかを検討します。医療の分野では原因として考える要因を介入 (intervention) や処置 (treatment) 、曝露 (exposure)、結果変数のことをアウトカム (outcome) と呼ぶことが一般的であり、このコラム・シリーズでは、具体例として主に医療関連の話題を取り上げるため、基本的にはこのような呼称を行います。経済・金融系の分野では、因果効果があるかどうか検討したい要因が施策等である場面があるかと思いますが、因果推論の理論に関して変わりはないので、本コラムの例を読者の方がそれぞれ抱えている疑問に置き換えて考えるとよいでしょう。ただ、今後紹介する因果推論に関する様々な仮定の妥当性や分析に用いられるデータの特徴は、それぞれの分野によって異なりますので、その点ご理解ください。    潜在アウトカムによる因果効果   それでは早速、例を用いて潜在アウトカムとは何か、因果関係とは何かを考えていきます。具体的には心臓移植(介入)が5日後の生存(アウトカム)に対して因果的な効果があるのかどうかを考えます。この関係を検討するために、まずゼウスとヘラというある2人に対し、ともに介入を行うことを想定し、何らかの方法で以下の結果が得られたものとします。  ゼウスは1月1日に心臓移植を受けると、その5日後には死亡している。 ヘラは1月1日に心臓移植を受けると、その5日後は生存している。   このもしもの結果(介入を行う場合の結果)が分かったとき、心臓移植はゼウスとヘラの5日間の生存に対してそれぞれ因果効果を持つと結論付けることは可能でしょうか。一見すると、ゼウスは心臓移植後に死亡し、ヘラは生存していますので、ゼウスに対してはnegativeな因果効果(心臓移植により死亡した)、ヘラに対してはpositiveな因果効果(心臓移植により生存した)があったように見えます。しかし、その結論は正しいのでしょうか。もしかすると心臓移植を受けずとも、ゼウスは5日後には亡くなり、ヘラは生きていたのかもしれません(結果は変わらなかった)。もしくは心臓移植を行わなければ、逆にゼウスは生存し、ヘラは亡くなっていたのかもしれません。つまり因果効果があるかどうかについては、この結果だけでは判断することはできません。   では、どのような状況であれば因果関係かどうかを判断することができるでしょうか。その1つのアイディアがもし介入を受けなかったらどのような結果が得られたのかを考えることです。実際にはゼウスもヘラも介入を受けるか受けないかのいずれかしか取り得ないため、必ずどちらか一方の結果は現実的には得られない(反事実)ものとなってしまいますが※2、先ほどと同様に何かしらの方法でその場合の結果を知ることができたと仮定し、それぞれの場合の結果を比較するわけです。そして、それらの値が異なるのであれば介入の因果効果があるとし、同一であるのならば因果効果がないと判断します。   ゼウスとヘラに関しては、以下のようなifの結果が得られたとします。  ゼウスは1月1日に心臓移植を受けないと、その5日後は生存している。 ヘラは1月1日に心臓移植を受けないと、その5日後は生存している。   先程の結果も含め、介入を受ける場合と受けない場合の結果をまとめたものが下図です。   介入を受けない場合の結果が得られたことにより、心臓移植はゼウスに対しては5日後の生存に対し因果効果を与えた(ネガティブな効果)、ヘラには因果効果を与えなかった(介入があってもなくても結果は同じ)と判断することができます。おそらく、この判断に関しては読者の方々も特に異論はないかと思います。この例のように、ある介入を受けた場合のifの結果のことを潜在アウトカム (potential outcomes)

Analytics | Students & Educators
0
本当の原因は何か?:コラム概要

はじめに   根拠に基づいた意思決定を行うこと (EBPM; Evidence Based Policy Making) が、近年分野を問わず重要視されるようになってきています。意思決定を行う立場としては、根拠となる事象と結果の事象の間に因果関係があるのか、それとも相関関係しかないのかは大変大きな違いです。   因果関係と相関関係を混同した1つの有名な例として、チョコレート摂取量とノーベル賞の受賞者数に関する研究があります。この研究では、「チョコレートを多く摂取するとノーベル賞受賞者数が増加する」という因果関係の存在について触れられています。この論文は、2012年に世界で最も権威のある医学雑誌の1つである New England Journal of Medicine に掲載され、世界規模で大きな論争を引き起こしました。論文では、国ごとのチョコレート消費量とノーベル賞受賞者数を調べたところ、チョコレート消費量の多い国ほどノーベル賞受賞者数が多いというデータが示されました。論争のポイントとなったのは、各国のチョコレート消費量とノーベル賞受賞者数の関係が以下のどちらの関係であるかについてです。  チョコレートを摂取すればノーベル賞受賞者は増加する(因果関係)  別の隠れた要因がそれぞれに影響を与えており、チョコレート消費量とノーベル賞受賞者数の間に見かけ上の関連性が生まれている(相関関係)   一体どちらの主張が正しいのでしょうか。読者の方には、ぜひ今の意見と、このコラム連載が終了した後の意見を比較していただきたいと考えています。   統計的因果推論 (Causal causal inference)  とは、因果関係をデータから導くための体系的な学問領域であり、2021年に David Card, Joshua Angrist, Guido Imbensの3名がノーベル経済学賞を受賞したことも相まって、現在大きな注目を集めています。しかし、その注目の程度と比べると、内容についてはあまり認知されていないように思います。そこで本ブログ・シリーズでは、統計的因果推論(または、単に因果推論)に関する連載を行います。データアナリティクスに関わる多くの方に、因果とは何か、それをデータから導くためには何が必要となるのかを理解をしていただき、適切なデータアナリティクスのために活用されることを望みます。連載コラムで取り扱う内容は以下を予定しています。  理論編 潜在アウトカムの枠組み 因果効果を求めるために必要な条件 観察研究と実験研究における交換可能性 選択バイアス (selection bias) 測定誤差 (measurement error) 手法・実装編 推定におけるモデルの必要性 層別化・回帰・標準化 傾向スコアとそれを用いた手法 操作変数法  理論編では、データから因果関係を考えるために必要となる概念、および仮定について取り扱います。また、観測される関係が真の関係と異なる要因について解説を行います。手法・実装編では、理論編で扱う潜在アウトカムの枠組みで因果効果を推定する手法についてSASでの実装方法とともに紹介を行います。SASソフトウェアでは、2016年以降のバージョンで、因果推論に特化した機能が利用できます。   なお、手法・実装編で紹介する因果効果の推定手法は、すべてを網羅しているわけではなく、回帰不連続デザインなど他にもいくつかの手法があることにご注意ください。 本コラムでは出来る限り数学的な記載は避け、直感的な表現をすることに努めますが、数理的な部分に興味がある方に向けた参考資料も準備しています。コラム中に登場する解析例で使用したプログラム・コードは著者のGithub上で公開を行う予定です。    謝辞  この連載記事では、参考文献として主に以下の2つを使用します。 Causal

Analytics | Internet of Things
0
製造業DXにおけるITとOTとの融合 (6) – センサデータの品質を向上させる7つのポイント(後編)

医者の診断に例えて学ぶ AIを用いたセンサデータ分析システムに関するよくある誤解について 製造業で盛んに導入されているセンサ。そのセンサデータを分析してビジネスインパクトのある結果を出すには、どのようにしたら良いのでしょうか? データ分析を成功させるためには、様々な要素が考えられますが、ここではセンサデータの質に注目したいと思います。いくら高度なデータ分析手法を用いても、分析対象のセンサデータが正しく取得できていない場合は、結果が出ないことは容易に想像できますが、あまり議論されることはありません。 これは、センサ計測とデータ分析の両方を視野に入れた幅広いノウハウが必要となり、Information Technology (IT) と Operational Technology (OT)との融合という課題に行き着くためです。 本ブログでは、このマニアックな話題を、医者の診断に例えながら、わかりやすく解説していきます。 記事の振り返り: 自覚症状が無いセンサデータの品質問題 これまで「自覚症状が無いセンサデータの品質問題」をテーマとし、「センサデータの品質を向上させる7つのポイント」について(前編)と(中編)の2回に分けてお話ししました。生産ラインのDXのために、センサデータを用いてデータ分析をしているのだが、思うような結果が得られていないケースが市場で発生していることをお伝えし、その原因の一つとして、分析対象となるセンサデータ自体の品質問題があることをお伝えしました。この問題は関係者が気付きにくく、対処方法も専門知識と経験が必要となります。 今回の後編では下記の⑥~⑦について御説明します。  図1. センサデータの品質を向上させる7つのポイント ⑥データレイクに蓄積すべきデータの選択(特徴量抽出) これまでの記事で、課題解決にマッチした高品質なセンサデータを収集することが重要だと述べてきましたが、他にも重要なポイントがあります。データレイクに蓄積すべきデータをどのように選択するのかが、昨今、課題となっています。  理由としては、AIモデル開発と更新のために、ある程度の生データ保存が必要となるからです。 この問題は、PoC段階では大きな問題になりません。PoCと称して大量にデータを取って専門の担当者が解析するからです。問題はPoC後の現場での運用です。 図2. 関連データ/センサ/特徴量の戦略的選択  それはなぜでしょうか? 各種センサが作り出すデータ量は非常に大きく、センサによっては毎分1 GB 以上のデータを生成してしまい、通信ネットワークの負荷の問題や、クラウド上でのデータ保存のコストといった現実的な問題が見えてくるためです。 例えば、図1の右側の表に示すように、サーモグラフィは動画像のため、1分間で1GB以上のデータを生成します。この場合、従量課金/ネットワークトラフィック減への対応が必要となります。温度センサ等のデータ量は、数個であれば小容量ですが、数百個もセンサを使用するケースですと、1分間に数MBにもなります。このようなデータをクラウドへ転送し続ける必要があるのでしょうか? また、高額なセンサを減らすために、できるだけセンサの数を絞りたいという要望も出てきます。これがいわゆるデータ選択(特徴量抽出)をどうたらいのかという課題の本質であり、データ分析上、特徴量の選定が重要だという理由とは異なります。では一体、どんなデータが本当に必要なのか、またデータ量を減らす時にどのような形でエッジコンピューティングを活用すべきなのでしょうか? この技術的な見解は、今後、ブログにて紹介させて頂きたいと思っておりますが、ITとOTの両方の視点から検討する必要があります。 キーワードとしてはプロ同士の意見交換です。 ⑦プロ同士の意見交換が鍵となる ここまで、センサデータの品質がデータ分析に与える影響について、データ分析企業の視点で述べてきましたが、どの注意点も専門知識と経験を要するものばかりです。つまり、成功の鍵は、プロ同士の意見交換だと言えます(図3)。もしくは「業界を超えたコラボレーションの必要性」、「ITとOTとの融合が鍵になる」と表現しても良いかもしれません。 特に現場の熟練者との協業は必須となります。現場の熟練者から伺いたい事としては、測定対象物の詳細、製造プロセスや作業工程、異常状態の詳細、また、どういうメカニズムで異常が起こるのか情報交換させて頂くことが重要です。そして、それがどれだけ困ることなのかをプロジェクトチーム内で意見交換をして頂くことが重要だと言えます。そして、センサデータ収集からデータ分析までを広く見渡した上で、AIを用いたセンサデータ分析システムを構築していくことが成功への近道だと筆者は考えています。難しく感じられる方もおられると思いますが、このプロ同士の意見交換に関しては、日本人エンジニアが得意とする高度な擦り合わせ文化が活かせると信じております。 図3. プロ同士の意見交換が大事  以上、センサデータの品質を向上させる7つのポイントを、3回に分けて紹介致しました。気になる点がございましたら、弊社までお問い合わせ下さい! 前回のブログ

Analytics | Internet of Things
0
製造業DXにおけるITとOTとの融合 (5) – センサデータの品質を向上させる7つのポイント(中編)

医者の診断に例えて学ぶ AIを用いたセンサデータ分析システムに関するよくある誤解について 製造業で盛んに導入されているセンサ。そのセンサデータを分析してビジネスインパクトのある結果を出すには、どのようにしたら良いのでしょうか? データ分析を成功させるためには、様々な要素が考えられますが、ここではセンサデータの質に注目したいと思います。いくら高度なデータ分析手法を用いても、分析対象のセンサデータが正しく取得できていない場合は、結果が出ないことは容易に想像できますが、あまり議論されることはありません。 これは、センサ計測とデータ分析の両方を視野に入れた幅広いノウハウが必要となり、Information Technology (IT) と Operational Technology (OT)との融合という課題に行き着くためです。 本ブログでは、このマニアックな話題を、医者の診断に例えながら、わかりやすく解説していきます。 記事の振り返り: 自覚症状が無いセンサデータの品質問題  これまで「自覚症状が無いセンサデータの品質問題」をテーマとし、前回は「センサデータの品質を向上させる7つのポイント(前編)」についてお話ししました。生産ラインのDXのために、センサデータを用いてデータ分析をしているのだが、思うような結果が得られていないケースが市場で発生していることをお伝えし、その原因の一つとして、分析対象となるセンサデータ自体の品質問題があることをお伝えしました。 この問題は関係者が気付きにくく、対処方法も専門知識と経験が必要となります。 そこで、「センサデータの品質を向上させる7つのポイント」について、今回の中編では下記の④~⑤まで御説明します。  図1. センサデータの品質を向上させる7つのポイント ④センサの設置方法  センサは種類に応じて必ずメーカが推奨する設置方法が決められています。図2は圧電型加速度センサの設置方法と注意点であり、加速度センサメーカから提供されている一般的な公開情報です。重要なのは、設置方法によっては必要なデータが得られないことです。例えば、計測可能な上限周波数は、プローブだと1 kHzが限界ですが、ネジ留めだと15 kHz近くまで測れます。これも筆者が経験した事例ですが、ユーザ様が自己流で両面テープを用いて加速度センサを貼り付けておられたために、振動が吸収されてしまい、正確な計測ができていなかったことがありました。これはさすがに、高度なデータ分析を実施する以前の問題でしたので、すぐに改善をお願いしました。 図2.  加速度センサの設置ミスによる振動データのロスト   ⑤データ収集装置の選定  データ収集装置自体の性能不足が問題になることがあります。これは盲点であり、自覚症状が出にくいものです。たとえ高精度なセンサを設置してデータ収集したとしても、適切なデータ収集装置を選定しなかったために、データの精度を低下させてしまうケースがあります。特に重要なのは、サンプリング周波数、分解能、同期計測の3つです(図3)。 図3. 適切な計測装置の使用が不可欠  サンプリング周波数に関しては、計測器の選定基準の一つとして必ずカタログ等に記載されており、また、近年はサンプリング周波数が不足しているデータ収集装置は稀なため、選定ミスの原因にはなりにくくなっています。しかし、分解能に関しては注意が必要です。例えば、加速度センサやマイクロフォンを用いた計測では、 24 bit分解能のデータ収集装置を使用するのが業界標準だが、16 bit分解能の装置を使用しているケースがあります(一般的なオシロスコープは8 bit分解能)。この場合、計測データに与える影響としては、波形再現性の悪化と微少な変化の取りこぼしが発生します。仮に機械学習を用いて異常検出をするとしたら、感度不足が起こる可能性があります(表1)。  表1. センサ計測ミスの原因とデータ分析に与える影響    極めて重要であるにもかかわらず、ほとんど意識されていないのが、同期計測です。各種センサデータ同士の時間的タイミングが取れていない場合は、厳密なデータ分析ができない場合があるからです。例えば、周期性のある回転機械や往復運動機械の異常検知を行う場合には、各種信号の立ち上がりタイミングや信号の発生サイクルが異常検知上、大きな意味を持つため、同期が取れていないデータでは異常検出が困難な場合あります(図4)。厳密には、計測装置の同期精度が、実施したいデータ分析用途に合っているかどうか判断する必要があります。高速動作をする精密機械の状態監視では、マイクロ秒レベルの同期精度が要求される場合もあり、一般的な工作機械ではミリ秒レベルで十分な場合があります。 図4.同期計測の重要性 データ収集装置の選定ミスにより、不具合の発見ができなかったという事例を、筆者は数件経験しています。例えば、高速印刷機の印刷ズレの原因分析に携わった時のことです。原因はベアリングのわずかな損傷で、それが原因で印刷ズレが発生していました。ですが、お客様のお持ちのデータ収集装置は、サンプリング周波数と分解能が低く、異常波形が検出できておりませんでした。そのため、筆者が持ち込んだデータ収集装置を使い原因分析は成功しました。加速度センサは最高のものでしたが、それを活かしきれるデータ収集装置の選定に問題があったという事例でした。 これまでの記事で、センサデータの品質を向上させる7つのポイントのうち5つを紹介してきました。 残り2つのポイントは、後編にて御説明します。 前回のブログ  次回に続く

Analytics | Internet of Things
0
製造業DXにおけるITとOTとの融合 (4) – センサデータの品質を向上させる7つのポイント(前編)

医者の診断に例えて学ぶ AIを用いたセンサデータ分析システムに関するよくある誤解について 製造業で盛んに導入されているセンサ。そのセンサデータを分析してビジネスインパクトのある結果を出すには、どのようにしたら良いのでしょうか? データ分析を成功させるためには、様々な要素が考えられますが、ここではセンサデータの質に注目したいと思います。いくら高度なデータ分析手法を用いても、分析対象のセンサデータが正しく取得できていない場合は、結果が出ないことは容易に想像できますが、あまり議論されることはありません。 これは、センサ計測とデータ分析の両方を視野に入れた幅広いノウハウが必要となり、Information Technology (IT) と Operational Technology (OT)との融合という課題に行き着くためです。 本ブログでは、このマニアックな話題を、医者の診断に例えながら、わかりやすく解説していきます。 前回の振り返り: 結果が出ないPoC(Proof of Concept:概念実証)  前回の記事では「自覚症状が無いセンサデータの品質問題」についてお話ししました。生産ラインのDXのために、センサデータを用いてデータ分析をしているのだが、思うような結果が得られていないというケースが市場で発生していることをお伝えし、その原因の一つとして、分析対象となるセンサデータ自体の品質問題があることをお伝えしました。 この問題は関係者の自覚症状もないため気付きにくく、対処方法も専門知識と経験が必要となります。 そこで、今回から前編/中編/後編の3回に分けて、「センサデータの品質を向上させる7つのポイント」について御説明します。 センサデータの品質を向上させる7つのポイント  現場では正確なセンサデータ収集(計測)を行っているつもりでも、気付かずに失敗しているケースが数多く存在していることに注意して頂きたいです。これは、計測ミスしたデータをいくら解析しても、良い結果は得られないからです。このような計測ミスを防ぐためのポイントは以下の7つだと言えます。 ※本記事では、上記の①~③まで御説明します。 ① 異常状態の発生メカニズムの理解(測定対象物の理解) この異常状態の発生メカニズムの理解は、測定対象物の理解を深めることだと言い換えることもできます。 いくつか例をあげてみます。ポンプのような回転機械の軸受けの不具合は異常振動として現れ、その結果として異音が発生します。また、音響機器はスピーカの取り付け不具合により、ビビリ音という異音が現れます。そして、プレス機のような往復運動機械の場合は、往復周期がぶれることにより、生産品の加工精度にバラツキが生じることがあります。さらに、射出成形機の場合は、材料の注入圧力の時間的変化にバラツキが生じた場合にうまく成形できない場合があります。 このように、測定対象物の異常状態が、なぜ起きるのかを物理的な観点から把握することが第1ステップとなります。 ところがこれが意外と難しいため、解決策としては、異常状態を把握している可能性の高い、現場の熟練オペレータなどからの情報収集が重要になります。 ② センサの選択(取得データの選定) よくあるミスとしては、センサの選択ミス、いわゆる取得データの選定ミスがあげられます。原因の一つは、上述の「①異常状態の発生メカニズム」が事前に理解できておらず、適切なセンサ選定ができなかったことに起因しています。例えば、回転機械の軸受けの不具合は異常振動として現れるため、異常検知のためには加速度センサを用いて振動データを取得することがベストだと言えます。また、音響機器のスピーカの取り付け不具合によるビビリ音の検出にはマイクロフォンを用いた音響計測が適切だと考えられます。 実はセンサ選定が不要な場合もあります。例えば、機械の制御信号が外部出力されているようであれば、そのままデータ収集することも可能です。 他にも原因があります。それは、システム構築を担当しているシステムインテグレータ(SIer)の得意分野が影響しているケースがあります。実際、SIerが得意としていないセンサは選定候補に上がってこないケースがあります。表1は、状態監視のために使用される代表的なセンサをまとめたものです。センサの種類によっては専門メーカや専門のSIerがいるものもあり、中には高性能な計測器が必要とされるセンサもあります。これは筆者が経験したことですが、製造装置の状態監視の際に、電流を使った異常検知の方が適切だと思われるケースがありました。ですがそこでは加速度センサが使用されていました。理由は業者が得意とするセンサ計測領域に偏りがあったことと、特に明確な理由がないまま、加速度センサが選択されていた状況でした。無論、生データには異常信号が弱く含まれており、データ分析をしても良い結果が得られていませんでした。そのため、筆者はセンサの変更を進言しました。 表1.状態監視に使用される代表的なセンサ ③ センサの取付け位置 センサの取付け位置も重要です。例として生産品の品質管理と製造装置の異常検知の例をあげてみます。機械はローラ機械である。図1左側の写真は、加速度センサを用いた軸受けのモニタリングであり、X、Y、Z軸に加速度センサが取り付けられている。この例は正しく設置されている例である。  医者の診断に例えれば、心臓の診断のために心音を聴こうとする医者は、どこに聴診器をあてるでしょうか? もちろん胸ですよね? 足に聴診器をあてて心音を聴こうとするお医者様がいたらかなり心配になりますよね? このような、あり得ない状況がセンサの取付け位置のミスとして起こっている場合があります。このような事態を防ぐには、「なぜそのセンサを設置するのですか?」とSIerに質問するなり、自問自答してみると良いと思います。また、「設置するセンサの数、取り付け方向はどうすべきか?」という問いに関しても明確な理由を持っておきたいですね。             図1.生産品の品質管理と製造装置の異常検知(ローラ機械の例) 以上、センサデータの品質を向上させる7つのポイントのうち3つを紹介しました。 次回は、④~⑤について御紹介します。 前回のブログ  次回に続く

Analytics | Data for Good | Data Visualization | Internet of Things | Learn SAS
0
サステナビリティ経営へのアナリティクス (2)

はじめに 今回は、地球環境に関する喫緊の課題であるカーボンニュートラル対策およびグリーン成長戦略におけるSASの取組みをご紹介します。 カーボンニュートラルに向けた動向 159か国・地域をカバーしたパリ協定*1に締結した日本は、2050年までにGHG(温室効果ガス)排出を全体としてゼロにする(GHGの排出量と吸収量を均衡させる)カーボンニュートラルを目指すことを宣言しています。すべてのインダストリーで多くの企業はこれをカバーするグリーンビジネス戦略の施策を展開し、マテリアリティの中核に置いたカーボンニュートラルに向けた事業を推進しています。すでにヨーロッパを中心に35の国(2021年9月時点)で炭素税が導入され、GHG排出量に応じた課税がされています。日本では地球温暖化対策税だけですが、今後より厳しい税率の炭素税の導入が検討されています。 グリーン成長戦略 温暖化への対応を成長の機会ととらえたグリーン成長戦略*2は、14の重点分野が設定されており、グローバル市場や世界の巨大なESG投資意識し国際連携を推進したゲームチェンジが始まっています。これらの重点分野での目標は、高いハードルによりイノベーションが必要と考えられています。企業はESGに係る情報開示を求められ、統合報告書やサスティナビリティレポートなどでESG情報を開示しており、カーボンニュートラルの取組みはその中核をなしています。SASにおいても長年にわたり推進しています。 サステナビリティのリーダーとしてのSAS SASは、企業のサステナビリティのリーダー*3として、従業員、サプライヤー、および顧客と緊密に連携し、省エネ、排出管理、汚染軽減、節水、グリーンビルディング、およびその他のプログラムに焦点を当てたプログラムで環境フットプリントを削減しています。スマートキャンパスプロジェクトを通じて運用を改善するためのデータのストリーミングから、ソーラーファームからのクリーンエネルギーでオフィスビルに電力を供給するまで、SAS Visual Analyticsを使用して、環境パフォーマンスを収集、管理、計算、および報告をしています。 SASの環境プログラムの成果 SASの2020年の環境プログラムの主な成果は次のとおりです。   カーボンニュートラルの取組み SASは、パリ協定の目標に引き続きコミットし、2050年のカーボンニュートラルな目標を設定しています。それによりサイエンスに基づく目標の達成に取組む最初の1,000社の1つとして認められました。 SASの主要なエネルギーおよびGHG排出削減イニシアチブには、積極的なエネルギーおよびGHG排出削減目標の設定、LEED® (建築や都市の環境性能評価システム) ガイドラインに準拠した施設の建設と維持、電気自動車充電ステーションの設置、再生可能エネルギーへの投資、オフィスビルおよびデータセンター向けのスマートなエネルギー効率の高い技術の追求、電話会議の奨励が含まれています。SASは、自社の独自のソフトウエアを使用して、世界中の施設のエネルギーと排出量の要件を収集、理解、管理するプロセスを改善し、消費傾向を報告して積極的に影響を与える能力を高めています。環境プログラムは、SASソフトウエアを使用して削減戦略を策定し、対策間の関係を分析して最大の効果を持つ施特定、決定パフォーマンス指標の開発および監視を実行しています。 次に代表的なイニシアチブを紹介します。 クリーンエネルギーシフト SDGs目標7「エネルギーをみんなにそしてクリーンに」とSDGs目標13「気候変動対策を支援するために」への施策 SASは再生可能エネルギーの導入とクリーンエネルギーの経済的および環境的利益を積極的に提唱しています。 SASは、ノースカロナイナ州ケリーにある広大なグローバル本部キャンパスに自らのSASソーラーファームを構築、グリーンエネルギー自社の電力、移動に利用するEVへの電源供給を実現しています。SASソーラーファームがノースカロライナ州知事ロイ・クーパーにクリーンエネルギー経済とパリ協定の支援のための執行命令に署名する場所として選ばれた後、SASはクリーンエネルギーと炭素政策の設計を支援するために州のクリーンエネルギー計画で推奨されているように利害関係者会議に継続的に参加ました。 スマートシティー SDGs目標11「住み続けられるまちづくりを」への施策 SASはSmart Cities Council*4、Envision America*5、Research Triangle Cleantech Cluster(RTCC)*6などの組織とも提携し、接続されたデバイス、ソーシャルメディア、モノのインターネット(IoT)から供給されるデータの爆発的な増加を利用して、自治体のスマート化(スマートシティー)を支援しています。人工知能(AI)、ブロードバンドワイヤレス、クラウドコンピューティング、IoTネットワークなどの相互依存テクノロジーの理解を深めることで、効率の向上、コストの削減、機会の特定、気候変動の影響の緩和を支援します。 スコープ別の世界のGHG排出量 サプライチェーン排出量(スコープ1からスコープ3に分類される*7)の全体像を把握し、効果的な削減対象を特定して長期的な環境負荷削減戦略や事業戦略策定のインサイトを抽出することが重要と考えています。 SASは自社ソフトウエアによりデータ収集、分析、可視化、予測を行っています。これにより現状を迅速かつ正確に把握し、統計モデルやAIモデルにより予測・最適化しゴールへの軌道や実現性を描いています。アナリティクスによる意思決定により確実な目標達成を実践しています。 *SAS Visual Analyticsによる環境ダイナミックレポート グラフ1: スコープ別GHG排出量   *SAS Visual Analyticsによる環境ダイナミックレポート グラフ2: スコープ1とスコープ2のGHG排出量トレンド その他の環境への取組み 環境におけるその他の分野でも次のように多くの取組みをSASのアナリティクスにより実施しています。詳細は割愛しますのでご興味がある方はCSRレポート*8をご覧ください。 廃棄物の転換(SDGs⽬標12)、紙の消費削減·リサイクル(SDGs⽬標12、15)、節水(SGD目標 6)、排水管理(SGD目標

Analytics | Data for Good | Learn SAS | Programming Tips
0
CData JDBC Driverを利用したSNS・ファイルストレージサービスとの連携のご紹介

SAS ViyaではCData JDBC Driverを使って下記のソーシャルメディア・ファイルストレージサービスにシームレスにかつ、素早く連結できます。 ・Facebook ・Google Analytics ・Google Drive ・Microsoft OneDrive ・Odata ・Twitter ・YouTube Analytics 本日はCData JDBCドライバーを使ってTwitterと連携し、「天気」に関するツイートを取得してみたいと思います。順番通り説明しますので、最後までお読みいただき、皆さんも是非ご活用ください。   1. Twitter API利用申請 Twitter Developer PlatformにてTwitter APIの利用申請を行います。申請にあたり、名前と住んでいる地域、利用目的などの情報を提供する必要がありますので、事前に用意しておいてください。また、利用申請の承認はTwitter側で数日かかる場合がありますのでご了承ください。 Twitter APIの利用申請が終わったら、申請完了のメールが届きます。 また、申請の検討が終わり、Twitter APIが利用できる状態になりましたら、「Account Application Approved」というメールが届きます。 2. CData Twitter JDBC Driverインストール インストールにはSASの契約とは別途、CData社との契約が必要ですが、30日間トライアルで使うことも可能ですので、ご紹介します。 まず、CData Twitter JDBC Driverインストールページにアクセスします。 次に、Downloadクリックします。 Download Trialをクリックします。 適切なOSを選択してDownloadをクリックします。今回はWindowsを選択しました。 ダウンロードされたTwitterJDBCDriver.exeファイルを開き、画面に表示されるステップに従ってインストールを完了します。   3. Connection String生成

Analytics | Internet of Things
0
製造業DXにおけるITとOTとの融合 (3) – 自覚症状が無いセンサデータの品質問題

医者の診断に例えて学ぶ AIを用いたセンサデータ分析システムに関するよくある誤解について 製造業で盛んに導入されているセンサ。そのセンサデータを分析してビジネスインパクトのある結果を出すには、どのようにしたら良いのでしょうか? データ分析を成功させるためには、様々な要素が考えられますが、ここではセンサデータの質に注目したいと思います。いくら高度なデータ分析手法を用いても、分析対象のセンサデータが正しく取得できていない場合は、結果が出ないことは容易に想像できますが、あまり議論されることはありません。 これは、センサ計測とデータ分析の両方を視野に入れた幅広いノウハウが必要となり、Information Technology (IT) と Operational Technology (OT)との融合という課題に行き着くためです。 本ブログでは、このマニアックな話題を、医者の診断に例えながら、わかりやすく解説していきます。 今回から、「自覚症状が無いセンサデータの品質問題」に関連した話題をお伝えしていきます。  結果が出ないPoC(Proof of Concept:概念実証)  SASは世界各国に支社を持ち、製造業DXの実現に向けた数多くのデータ分析案件を取り扱っています。 よく頂く御相談内容としては、生産品の品質管理と設備保全系に関連するデータ分析システムの導入検討です。(図1)    図1. 生産ライン向けDXとしてよくある御相談   ところが、PoCとしてセンサデータを用いてデータ分析をしているが、思うような結果が得られていないというケースが市場で発生しています。多くの方がデータ分析手法に問題があるのではないかと考え、データ分析のスペシャリストである弊社に御連絡を頂きます。たしかに分析手法の問題もあり、原因は様々ですが、意外と盲点になっているのが分析対象となるセンサデータ自体の品質問題です。  センサデータの品質問題とは何か?  データ分析はデータ収集から始まります。そして、そのデータの質が分析結果に影響を与えることは容易に想像できます。図2はセンサデータ分析システムの構築の流れを示しています。システム構築は、データ収集からスタートし、データ蓄積、そしてデータ分析という順番で実施され、手動でデータ分析の結果が出るようになった段階で自動化するという流れが一般的です。  図2. センサデータ分析システムの構築の流れ   図3は、センサデータの分析の際にAIの導入を意識して描いたものです。流れとしては、経営上の目標設定から始まり、データ取得、特徴量抽出/次元削減、そしてモデル作成へと進んでいきます。ここで皆様に質問させて頂きたいのは、どの工程が一番重要なのかということです。無論、どの工程も専門家の知見が必要であり、重要かつ難易度が高いのは当然ですが、最も重要なのは前半のデータ取得と特徴量抽出だと、あえて強調します。言い換えますと、モデル作成に使用されるセンサデータの品質(精度)が重要だということです。当然ではありますが、センサデータの質が悪い場合、データ分析(作成するモデルの精度)に影響が出てしまうためです。 医者の診断に例えれば、検査データが間違っていたら間違った診断を下してしまうのと一緒であり、センサデータの品質は極めて重要だと言えます。  図3. AIを用いたセンサデータ分析システムの開発の流れ 自覚症状が無いセンサデータの品質問題  この問題の恐ろしい点は、システム開発に携わっている関係者の皆様にとって自覚症状が表れない場合が多いことです。 そもそも、データ分析の結果が出ない原因が、上述のセンサデータの質に関係していることを、どうやって判断すれば良いのでしょうか? 当然、他の原因も考えられます。   先日、お医者様と健康診断の検査結果のお話をした際に気がついたのですが、お医者様は検査データの意味や限界、誤差要因をよく御存知のようでした。そして総合的に私の健康状態を判断しておられるようでした。思わず、その秘密を知りたいと思い質問してしまったのですが、お医者様の回答は「過去の事例と経験即かなぁ~~??」と、お答えいただきました。  ということで、次回以降、私の経験即に基づいたチェックポイントを御紹介していきます。  前回のブログ  次回に続く

Analytics | Data for Good | Internet of Things | Learn SAS
0
サステナビリティ経営へのアナリティクス (1)

はじめに 近年サステナビリティ経営は多くの分野で注目されています。環境・社会の変化や価値観の変革に対応しながら、長期にわたり市場から求められ、継続的に価値提供を行い、社会から信頼され続けることが企業にとって最も重要と考えられています。 最近では、気候変動、COVID-19パンデミックなどの社会環境の変動により、生活者、消費動向、企業活動、サプライチェーンなどに大きな影響を及ぼす中で、どのように対応し取り組んでいくかが喫緊の課題となっています。 今回のブログでは、これらの変化対して持続可能な世界を実現するための「サステナビリティ経営」に関してSASのアナリティクスアプローチをテーマに数回にわたり見ていきたいと思います。 SDGsとESG 地球規模の課題を踏まえた全世界共通の持続可能な成長戦略であるSDGsは、今や大企業の多くがサステナビリティ経営*1の計画にマテリアリティ(重要課題)として織り込み取り組まれています。また、環境・社会・ガバナンスの観点で企業活動を分析評価するESG*2は、企業価値を見通す上での重要性として認識されています。 アナリティクスが果たす役割 環境や社会で起こっている多くの変化は、生活者の価値観および消費活動に変化をもたらします。企業は、その変化を的確に捉え迅速に対応していくことが求められます。それらの変化を近年のデジタル・テクノロジーを用いて迅速に把握し、AIやアナリティクスによるインサイトに基づく意思決定や課題解決、商品やサービスの継続的な改善や高度化などにより新たな価値を提供することは、企業のサステナビリティと競争力を創出し、サステナビリティ経営において非常に重要となります。 中長期計画のマテリアリティとして掲げられたSDGsの達成度評価やESG評価においてもアナリティクスの手法を用いた評価手法やツールが多く用いられ、企業活動の見える化を推進するとともに、投資家などへ開示することでESG投資を促すとともに、企業価値向上や創造を進めています。SASは、AIによるESG管理とレポート作成に関するサービスを提供しています。 また、企業や組織の活動においても、AIやアナリティクスによるインサイトや予測といったデータ利活用をもとに、CO2削減、エネルギー対策、フードロス削減、水資源保全、汚染軽減など様々なサステナビリティに関する課題解決に向けて、アナリティクスが活用されています。*3*4 SASの取り組み SASは自社のCSR活動として、エネルギー節約、GHG(温室効果ガス)排出管理、汚染軽減、水保全、グリーンビルディング、およびその他のプログラムにより環境を改善などに取り組んでいます。また、サステナビリティ経営のリーダーおよび提唱者として、高度なテクノロジーと経験豊富なスタッフにより、多くのソフトウエア、ツール、サービスなどを企業や組織に提供してきています。これらは追って紹介いたします。今回はSASのCSRレポート*5から抜粋してSASの取り組みをいくつか紹介します。 アナリティクスによる人道支援/社会支援 ビッグデータアナリティクスが世界中の短期および⾧期の開発⽬標の達成に役立つという広範な証拠があります。アナリティクスの世界的リーダーとして、SASは、貧困、病気、飢餓、⾮識字などの社会の最⼤の問題のいくつかを解決するために、最先端のテクノロジーと専⾨知識を適⽤することに情熱を注いでいます。 SASは、常により良い世界を構築するためにそのテクノロジーを使⽤することを挑戦しています。国連のSDGsが不平等を減らし、健康的な⽣活を確保するために取り組んでおり、SASはそれがすべての⼈にとってより明るい未来を創造するのを助けることができる機会を探しています。 SASの社会イノベーションイニシアチブは、世界の進歩を加速させ、世界をより持続可能な未来に向けて動かす創造的な⽅法の発見を支援します。 SASがこの⽬標をサポートする⽅法の1つは、 Data for Goodを推進する運動です。貧困、健康、⼈権、教育、環境に関する⼈道問題を解決するために有意義な⽅法でデータを使⽤することを奨励します。 ⾼度なアナリティクスとIoTによる健康なミツバチの個体数の増加 World Bee Countを使用すると、ミツバチのデータをクラウドソーシングして、地球上のミツバチの個体数を視覚化し、これまでのミツバチに関する最大かつ最も有益なデータセットの1つを作成できます。 SASのデータ視覚化により、クラウドソーシングされたミツバチや他の花粉交配者の場所が表示されます。 プロジェクトの後の段階で、研究者は作物の収穫量、降水量、その他のハチの健康に寄与する要因などの重要なデータポイントを重ね合わせて、世界の花粉交配者のより包括的な理解を集めることができます。 Joseph Cazier, アパラチア州立大学分析研究教育センター教授兼常務理事   ミツバチを救うことは私たちの⾷糧供給にとって最も重要であり、⾼度なアナリティクスがミツバチと私たちの未来を維持するための鍵となる可能性があります。 SASのモノのインターネット(IoT)、機械学習、視覚アナリティクス機能により、健康なミツバチの個体数の維持とそのサポートができる可能性があります。 2020年、SASは、テクノロジーが世界中の花粉交配者の個体数を監視、追跡、改善する3つの別々のプロジェクトに参加しました。まず、SASのデータサイエンティストは、聴覚データと機械学習アルゴリズムを通じて、侵入しないで蜂の巣のリアルタイムの状態を監視する⽅法を開発しました。 SASはまた、世界のミツバチの数についてアパラチア州立⼤学と協力して、世界のミツバチの個体数データを視覚化し、それらを保存するための最良の⽅法を抽出しました。さらに、SAS Viya Hackathonの受賞者は、機械学習を通じてハチのコミュニケーションを解読し、⾷料へのアクセスを最⼤化し、⼈間の⾷料供給を増やしました。 困っている⼈を助けるための最善のサポートを理解する 私たちの優先事項は、人生の最も困難な季節を通して家族を支援することです。その仕事の多くは、目に見えないところに隠れているホームレスを支援することです。それが私たちの最善の策です。SASは私たちの目の前でデータを取得し、以前は見ることができなかった隠された洞察を発見することができました。それはSASが最も得意とすることです。正直なところ、完璧な組み合わせでした。 Leslie Covington, Executive Director, The Carying Place     ホームレスに苦しんでいる多くの人は、自給自足できるための指導と支援を求めてThe Carying Place(TCP)に目を向けます。 手書きのドキュメントと一貫性のないスプレッドシートの山の中に27年分のデータがあるため、TCPはSASを利用して、参加者の成功の指標をより適切に測定し家族にふさわしい支援を提供しました。 SASボランティアは、デモグラフィック、保険、住宅、退役軍人のステータス、障害のステータス、予算ファイルなど、参加している家族のデータを分析し、TCPのニーズを最もよくサポートできるモデルを選択しました。

Analytics | Internet of Things
0
製造業DXにおけるITとOTとの融合 (2) - 生産ラインにおけるAIを用いた状態監視の種類

医者の診断に例えて学ぶ AIを用いたセンサデータ分析システムに関するよくある誤解について 製造業で盛んに導入されているセンサ。 そのセンサデータを分析してビジネスインパクトのある結果を出すには、どのようにしたら良いのでしょうか? データ分析を成功させるためには、様々な要素が考えられますが、ここではセンサデータの質に注目したいと思います。いくら高度なデータ分析手法を用いても、分析対象のセンサデータが正しく取得できていない場合は、結果が出ないことは容易に想像できますが、あまり議論されることはありません。 これは、センサ計測とデータ分析の両方を視野に入れた幅広いノウハウが必要となり、Information Technology (IT) と Operational Technology (OT)との融合という課題に行き着くためです。 本ブログでは、このマニアックな話題を、医者の診断に例えながら、わかりやすく解説していきます。 はい、今回は、「生産ラインにおけるAIを用いた状態監視の種類」について解説します。 図1に示した通り、種類としては4つに大別されます。 どれを実現したいのかで、取得すべきセンサデータの種類や、データ分析システムの構築難易度が変わってきます。 読者の皆様は、どれを実現したいとお考えでしょうか? 図1.生産ラインにおけるAIを用いた状態監視の種類は4つある 1つ目が異常検知です  これは生産品の品質異常や生産ラインの設備機械の異常を捉えるものであり、学術的には「教師なし学習」と呼ばれる手法を用います。この場合、異常時のデータを予め用意する必要がないため、不具合データの取得が困難な製造業の現場において有効となります。例えば、正常時の各種センサデータを基準とし、どれだけ正常状態から離れたかで、異常を検出する方法です。 2つ目は原因診断です これは異常発生後に、何が原因なのか特定するものであり、学術的には「教師あり学習」と呼ばれる手法を用います。この場合、異常時のデータを予め用意しておく必要があります。 原因診断が必要とされる理由としては、対処方法の検討をつけるためです。 製造装置であれば、点検箇所や分解すべき箇所を特定することにより、分解コストや部品交換コストを抑えることができます。 これは大型機械の場合、特に重要であり、この原因診断は「精密診断」とも呼ばれ、まさに職人技が要求される分野です。 3つ目が品質/寿命予測です これは各種データから、生産品の品質を予測したり、稼働中の設備や部品が、あとどれくらい使用できるか日数を予測するものです。 例えば、生産品の品質予測が可能になると、抜き取り検査の精度が向上し、ランダムにサンプル取得をするのではなく、品質上懸念がありそうなものをサンプルして効率良く評価できるようになります。 また、設備や部品の寿命予測が可能になれば、高額な部品をできるだけ長く使用することができますし、メンテナンス日程を戦略的に決めることも可能になります。 4つ目がパラメータ最適化です これは、期待した品質で生産するためには、どのような製造環境や材料構成が必要なのか、また、どのように製造装置を制御したらよいのか決定することができます。 図1に示したデータ活用の流れは、人間の健康診断と全く同じであり、1番から4番まで順番に実施する必要があり、飛び越えることはできません。 医療に例えますと、1番の「異常検知」は、正常時との変化を検出するものであり、いわば定期健康診断に相当するものです。 2番の「原因診断」は、定期健康診断で早期発見された異常を、さらに掘り下げて精密検査を行うものです。 3番の「品質/寿命予測」に関しては、医学でも同様であるが、これまでの長年にわたるデータが揃うことにより、治癒率予測が可能になります。 4番の「パラメータ最適化」は、健康で過ごすための予防方法だと言えます(図2)。そして、豊かな人生を過ごすために、どなたも4番の予防までを期待されておられると思います。 図2. 医療診断の流れと、生産ラインにおける品質管理/設備状態監視の流れはよく似ている 生産ラインでも同様です。最後の4番まで実現できれば、ビジネス上の費用対効果(ROI)は最大となります。 それには、分析に必要な各種データを準備する必要があり、その質も重要になります。 しかしながら現実問題として、いきなり4番から実現することはできないため、4番のパラメータ最適化の実現をゴールとしながら、1番から順番に実現していく必要があることを御理解ください。また、医学でも同様のことがいえるかと思いますが、生産ラインにおける状態監視対象物によっては、1番の異常検知が技術的な限界となり、2番以降に進めない場合もあります。 この見極めも重要となってきますが、この点は本ブログのテーマとして別途取り扱いたいと思います。 前回のブログ  次回に続く

Analytics | Data for Good | Students & Educators
0
あなた自身の「好奇心」に耳を傾けよう

Curiosity Forever SASは約束します。データの探索や、アナリティクスそして学習、これらの進化を止めません。好奇心と能力が出会う時、世界は前進するからです。 SASは、”Curiosity=好奇心”から生まれるユニークで大胆な問いに対して、アナリティクスを用いて解を探すことを大切にしています。これまでにも自然やウェルネス・教育・スポーツなど多岐にわたる分野の好奇心溢れる問いに取り組んでいます。そしてこのCuriosity Foreverを、現代の子どもたちが体験できる環境を築くことが、私たちの未来を豊かにすると考えられます。 データネイティブの世代を育てる準備ができていますか? 1990年代半ばから2000年代前半に生まれたZ世代は、これまでで最も多様性に富み、最も教育水準の高い世代であり、社会変革の原動力として位置づけられています。2014年、Monica Rogati氏は データネイティブという言葉を作り、「データネイティブは、自分たちの世界がスマートで、自分たちの好みや習慣に一貫して適応することを期待している」と述べました。データネイティブの子どもたちは読書量、成績、スクリーンの使用時間などを記録するようになります。スマートで、プログラム可能で、データが豊富な世界で育ちながら、彼らは毎日データに浸かっていると言えるでしょう。 Z世代が社会で活躍する時代の到来とともにテクノロジーも進化し、私たちは膨大なデータを持つことになります。データはこれまで学術研究や政府の政策など、社会の一部に限定されたツールでしたが、今や主流になりつつあり、専門家だけでなく全ての人がデータリテラシーを身につけることが不可欠です。 若者がデータリテラシーへの関心を高める鍵は、生徒が関心を持つ問題にデータリテラシーを結びつけることにあります。これまでの学校教育におけるデータは、数学などの科目でデータの基礎として扱われることが多いです。しかしデータの活用が出来る分野には、社会的不公正との戦い、環境保護、飢餓との戦いなど世の中の実際に起こっていること・子どもたちにも身近なことに広がっていて、それらを通じて若者の生来の情熱に訴えかけることができます。また、データがどのように責任を持って使われ、進歩やイノベーションを促進するのか、子どもたちに伝えましょう。それと同じくらい重要なのは、データサイエンスの分野に自分たちが反映されていることを確認することです。この分野への参加を広げ、多様性を高めることは、社会的格差の縮小に取り組む上で最も重要なことです。 わたしたちはデータに慣れ親しむZ世代の探究心や情熱とともに、私たちは創造性と革新性を育む環境を育み、社会全体をよりよい方向に進めていく必要があります。 ※このセクションはAre we prepared to raise a generation of data native?の内容を要約しています。詳細はこちらをご参照ください。 Curiosity: 東京は暑い! 筆者もZ世代の学生として、好奇心からアナリティクスにつながるちょっとした体験をしました。 上京してきた際に「東京って思ったよりも暑いんだ」と感じてから、都市部の暑さに興味を持ちました。近年、夏に注意を促される熱中症。毎年患者数が増加しており、日本全体で暑さに関する対策として緑のカーテンなど緑化を行っています。しかし、その緑化はどれくらい効果があるかピンとこない気がしていました。そこで今回は仮説として、「緑地率が高い区ほど熱中症患者数が少ない」を立てたので、東京都23区の緑地率と熱中症患者数にどのような関係があるかについて確かめたいと思います。 上図は、年次ごとに東京都23区の100万人当たりの熱中症患者数と緑地率(AVNIR-2の光学センサの衛星データより緑地を抽出して求めた割合)の相関を確かめるために作成した散布図です。 散布図から、6年分全体でみて緑地が増えると熱中症患者が減るという傾向は読み取れませんでした。相関係数0.4と正の方向に相関が少し出ていますが、年次で色分けした部分で縦軸方向に層ができているように見えるので、相関係数のみで判断するのは難しいと考えました。また区ごとに時系列で比較したとき、たった6年で緑被率に大幅な差がありました。これは私が取得できた衛星データに雲がかぶっているなどの原因で、緑地率のデータが正確でないためである可能性もあります。 今回の観察期間で熱中症患者数は年々増加しており、機会があれば、緑地率以外に考えられる要因を集めて影響度を確かめてみたいと思いました。 このように日常生活でふと気づいた疑問を積極的に考えて、実際はどうなんだろうか、何か出来ることはないかとアナリティクスを用いる動きは、学生の好奇心を刺激しデータ活用の第一歩となります。学生の皆さん、いま浮かんだ疑問をデータを使って深掘りしてみませんか? What are you curious about?

Analytics | Students & Educators
0
データアナリティクスにおける統計学の必要性

現代において統計学は様々な分野で利用されており、データアナリティクスとは切っても切れない関係にあります。しかし、実際にデータアナリティクを行う人すべてが、その内容を適切に理解しているのでしょうか。「有意差がつくかどうかとりあえず検定を行ってみる」、「集めたデータ全てをモデルに組み込んでみる」このような経験を持つ方も実は多いのではないでしょうか。分析に用いる手法の仮定や限界、その他解釈や留意事項への理解がないまま行われるデータアナリティクスは、誤った解釈を生む可能性があります。しかし、実社会においては、統計学はその活用事例が注目されがちであり、適切ではない事例が身の回りにあるというのもまた事実です。データアナリティクスを行う側としても、その結果を受け取る側としても、統計学を一般教養として学んでみてはどうでしょうか。 今回紹介するのは、e-learningコース「Statistics 1: Introduction to ANOVA, Regression, and Logistic Regression」です。統計学を学ぶ時に、学習がうまく進まない一つの理由として、各種内容が実際にどう活用されるか、そのイメージがつかないという声を多く耳にします。本コースは純粋な統計学の知識だけでなく、そのような具体的なデータアナリティクスに至るまでの「何を目的とするのか」、「目的によってどのような手法が適切であるのか」といった「データリテラシー」に関する内容も潤沢に用意されているため、一環した流れの中で学習を行う事ができます。このような何のために統計学を学ぶ必要があるのかという点は、どうしても”学問としての”統計学の学習の際には意識がされないため、統計学を初めて学ぶ方だけではなく、簡単にその内容を触れたことがある中級者の方にも最適な学習教材です。 統計学は「記述統計学」と「推測統計学」に分類されます。前者はデータの持つ特徴(最大値、平均など)を記述し、整理することによって、そのデータ自体への理解を行おうというものです。それに対し後者は、データをとある大きな集団からのサンプルであると仮定し、データからその大きな集団(母集団)の持つ特徴について、推測を行うものです。ここでは、実際に推測統計学でよく用いられている「統計的仮説検定」と「統計モデル」という、2つの手法について紹介します。これらについてもコース中ではより詳細に、活用されている事例とともに紹介されているので、ご興味のある方はぜひ一度コースに登録・受講してみてください。登録手順はこちらの以前の記事を参照ください。   統計的仮説検定 ある大きな集団(母集団)に対しその特徴を知りたい場合、すべてのデータを得ることができるのは非常に稀です。例えば、日本国民全員があるテレビ番組Aを見ているかどうかの情報を得ることは、労力的にも、費用的にもほぼ不可能です。統計的仮説検定はそういった場合に、標本である一部のデータを用いて、母集団に対する特定の仮説が成立するか否かを、背理法的に判断する方法です。先のテレビ番組の視聴率調査は、実際にこの考えに基づくものであり、よく見かける視聴率はおおよそ1万世帯のデータをもとに、統計的に推定されています。検定の手順は以下の通りです。 母集団に対し、帰無仮説とそれに対応する対立仮説の計2種類の仮説を設定する 帰無仮説の下で、得られたデータ(とそれ以上に極端な結果)が得られる確率(P値)を計算する 事前に設定した基準(有意水準)とその確率を比較する 基準よりも確率が低いのであれば、そもそも帰無仮説が妥当ではないと判断する(帰無仮説を棄却) 統計学でよく誤解を生みやすい「P値」というものが利用される内容になります。仮説検定は非常によく用いられる方法ですので、自分でどういった手順で検定は行われているのか、その解釈はどう行えばいいのか、を説明できない方は受講してみることをお勧めします。   統計モデル データから母集団の特徴について推定を行う場合には「統計モデル」というものが用いられます。このモデルはなぜ必要なのでしょうか?ここで、日本人の男性と女性の身長について、それぞれ推測をするという例を考えます。また、現実に得られるデータは、男性のみデータだけだとします。すると一つ問題が生じます。それは「女性については推定を行うことができない」ということです。男性については、得られたデータが男性50名の身長データですので、妥当な推定が可能です(ここにも男性の身長分布は正規分布であるという仮定は置きます)。しかし、女性の身長について推定を行おうとしても手元には男性のみのデータしかないため、推定ができません。もし何の仮定もなければ、男性の身長データを女性の身長の推定のために用いることは妥当ではありません。ではここに、『女性の身長の分布は男性の分布より10cm低く、分布の形状は同じである』という仮定があるとどうでしょうか?(いくつかの調査によると期待値としては12~13cmほど低いそうですが) 上記の仮定があるのであれば、男性の身長分布から女性の身長分布が想定可能なので、男性のみのデータからデータには含まれていない女性についても推定を行うことが可能になります。つまり、「統計モデル」とは観測されたデータにはない未知の部分について推測を行うために、仮定する一種の数学的・統計学的な制約条件になります。ただ一概にモデルといっても様々なものがあるため、データの置かれている状況によって想定される適切なモデルは異なり、どれを選択すべきかはケースバイケースです。このモデルの選択をどうすべきかは先行研究やこれまでの知見による部分が大きいため、様々な場面でのデータアナリティクスを学ぶ必要があります。   学生の方であれば今後、卒業研究やコンペティション参加など、多くの場面で統計学の知識が必要になるかと思います。数日学習を行えば統計学への理解が深まるだけでなく、SASから学習認定デジタルバッジを無料でもらうこともできます。ぜひこの機会に一度統計学について、学習を行ってみてはいかがでしょうか?

Analytics | Learn SAS | Students & Educators
0
SASのオンライン学習コース「Skill Builder for Students」の紹介(4)Statistical Analysis, Predictive Modeling, and Machine Learning編

以前の記事では、学生であれば無料で利用可能なオンライン学習コース「Skill Builder for Students」についての紹介を行いました。このSkill Builder for Studentsには5つのコースが準備されており、今回の記事ではStatistical Analysis, Predictive Modeling, and Machine Learningコースについての概要を紹介します。このコースでは統計的仮説検定から回帰分析、予測モデル、教師あり機械学習まで「統計・機械学習モデル」の基礎的な部分と、SASソフトウェアでの実践を学習することができます。 データ析を行う際には、しばしば統計モデルや数理モデルと呼ばれる「モデル」を利用します。このモデルの学術的理論や実装方法を学習する機会は多数ありますが、モデルを利用する目的をはっきり意識できているでしょうか。モデルは現象を数式等で模式的に表現したものですが、このようなモデルによる表現の目的が、その現象に対する説明を行いたいのか、未知のイベントの予測を行いたいのかを区別する必要があります。前者は記述的アナリティクス(および診断的アナリティクス)、後者は予測的アナリティクスと呼ばれます。 記述的・診断的アナリティクスでは、現象を観察して得られたデータから、その現象に関する情報の関連や因果関係を推測し、現象を説明することが目的です。例えば、住宅価格を考えるとき、価格を決定する要素(面積、駅からの距離、築年数、階数、近隣施設など)は何か、どの要素が最も価格と強い関係を持っているかといったことを理解するために統計モデルを活用します。 一方、予測的アナリティクスでは、面積や駅からの距離といった既知の情報から住宅の価格を推定・予測するためにモデルを活用します。記述的・診断的アナリティクスのような「現象の理解」よりも、「予測の精度」に注目することになります。 今回のコースは、このような「何のためにデータアナリティクスを行うのか」という点が特に意識されており、SASでの実装を紹介するだけではなく、統計学の概要、モデルを使って何を考えるのかについてのイメージや理論の説明が豊富に用意されています。近年、アナリティクスに関係する職種を目指す方が増加しており、統計検定に代表されるような資格を取得しようとしている方も多いと思います。それに伴い、関連した書籍・講座が世に出るようになってきていますが、手法のみに着目しているものも多く、「なぜ」、「どんな場面で」その手法を利用するのかをイメージできないものも見られます。今回この記事で紹介しているコースは、そのような今後データに関連する分野に関わっていきたいという初学者の方に特におすすめです。単に統計的手法の実施方法や結果の見方を紹介しているだけではなく、どういったモチベーションでその手法の利用を考えるのか、現実に起こり得るシナリオに沿って理解できる教材だと思います。    Statistical Analysis, Predictive Modeling, and Machine Learningコースへのアクセスは以下の手順です。 Skill Builder for Studentsへログイン 「Learn SAS」というタブをクリック 画面中央の「Start Learning」をクリック 「Statistical Analysis, Predictive Modeling, and Machine Learning」をクリック 展開される各種e-learningコースをクリック 画面下部にある「enroll」をクリック このコースは後述のように、6つの項目に分かれており、各項目にはさらに複数のLessonが準備されています。各項目に含まれるLessonをすべて終了すると学習完了を証明する「SAS digital Learn Badge」(下図)が発行されます。   コースで学習できる内容 Statistics 1:

Analytics | Internet of Things
0
製造業DXにおけるITとOTとの融合 (1) - なぜ医者の診断に例えて学ぶと良いのか?

医者の診断に例えて学ぶ AIを用いたセンサデータ分析システムに関するよくある誤解について 製造業で盛んに導入されているセンサ。 そのセンサデータを分析してビジネスインパクトのある結果を出すには、どのようにしたら良いのでしょうか? データ分析を成功させるためには、様々な要素が考えられますが、ここではセンサデータの質に注目したいと思います。 いくら高度なデータ分析手法を用いても、分析対象のセンサデータが正しく取得できていない場合は、結果が出ないことは容易に想像できますが、あまり議論されることはありません。 これは、センサ計測とデータ分析の両方を視野に入れた幅広いノウハウが必要となり、Information Technology (IT) とOperational Technology (OT)との融合という課題に行き着くためです。 本ブログでは、このマニアックな話題を、医者の診断に例えながら、わかりやすく解説していきます。 ------ はい、本日は 「なぜ医者の診断に例えて学ぶと良いのか?」 をテーマにお話しします。 近年、製造業DX、またはインダストリアルIoTと呼ばれるトレンドにより、AIを用いたセンサデータの分析が流行しています。 例えば、 ・ 製造装置の故障予測 (設備状態監視) ・ 生産品の不具合検出 (生産ラインの品質管理) が人気の用途です。 背景としては、熟練者のリタイヤを見越して、彼らが持つ暗黙知の形式知化が必要とされていることや、熟練者ですら見つけられない不具合を検出することで更なる品質向上を実現したいという考えが背景にあります。 そのため、データ分析のリーディングカンパニーである弊社には、世界各国において、センサデータの分析に関する御相談が数多くやってまいります。 それと同時に様々な誤解が生じていることがわかってまいりました。 ところが、数多くのお客様とお話をしていくと、多くの誤解や勘違いが存在することがわかってきました。 例えば、 分析アルゴリズムに関して、熱心に調査されているお客様、がおられます。 ごく普通のニーズだと思いますが、お話を伺うとこんな感じになることがあります。 監視対象物や起こっている異常状態が不明 データは持っておらず、機械学習等の分析手法を調査されているご様子であったり、監視対象となる設備機械や生産品が決まっていないというお客様です。 要は情報収集段階だということです。この場合、優秀なデータサイエンティストでも明確な回答はできず、お客様もなかなか納得されない状況が生まれます。 この状況は、医療で例えるなら、病気にもなっていないのに病院に行き、治療方法を熱心にお医者様に相談している状況と同じではないでしょうか? この例え話をさせて頂くと、すぐに状況を御納得頂けます。 データ分析をしても結果が出ない 2017年頃にIoTが流行った際に、まずはセンサで計測してみましょうということで「スタートアップキット」なるものが流行ったことがあります。 この名残で、分析しても結果がでなかったという苦い経験をされたお客様が数多くおられたようです。 投資もしましたし、会社組織としても困りますよね。そこで弊社に相談が来るわけです。 もちろん分析手法が原因である場合もありますが、実は問題の大半は、センサの選定ミスや、取付けミス、生データの取得方法などに関係しています。 この状況は、医療で例えるなら、心臓の病気を見つけるのに、聴診器を足に当てて心音を聞いているような状況が起こっているということです。また、ウィルス性の病気を聴診器で見つけようとしているようなケースも見うけられます。 これでは絶対に病気は見つけられませんよね? 医療に例えれば、あり得ない状況ではありますが、センサデータ分析の世界では、頻発している問題です。 正直、驚きではありますが事実です。 私はこのような状況を、非常にもったいないと感じています。 そのため、本ブログを通して、AIを用いたセンサデータ分析システムに関して生じている様々な誤解について、医者の診断に例えながら、わかりやすく御紹介していけたらと思っております。 その理由ですが、医療診断と、製造業系データの分析の流れは似ているからです(図1)。また、医療診断は、多くの皆様が実体験をお持ちですので、例え話を通して、言われてみればそうだなという感覚を持って頂きやすいのではないかと考えております。 図1. 医療診断の流れと、生産ラインでのデータ分析の流れはよく似ている 今回は、医者の診断に例えると、色々と見えてきますというお話をさせて頂きましたが、次回からは、よくある誤解に関して、次々に御紹介していきます。 テーマとしては、こんな感じの物を予定しています。 ・ 生産ラインにおけるAIを用いたデータ分析の種類について ・ 無症状であり、異常検出が甘くなる原因となる「センサの選択ミス(取得データの選定ミス)」 ・ 無症状であり、異常検出が甘くなる原因となる「センサの設置方法のミス」 ・ 無症状であり、異常検出が甘くなる原因となる「取得データの質が悪いケース」 ・ 患者に寄り添う現場スタッフとのコラボの必要性 ・ 病名は同じでも、症状が微妙に異なるケースへの対処 など 次回に続く

Advanced Analytics | Data Management | SAS Administrators
0
SAS Viya Blog ~Azure Fileを利用したWindowsとSAS Viya間のデータ共有方法の紹介~

背景の紹介 これまでのSAS製品は、SAS 9でもSAS Viya 3.5でも、ほとんどがWindowsやLinuxのプラットフォームで動作していました。 そのため、Windowsクライアントを持つユーザーは、SMBサービスやWindowsのファイル共有機能を介して、これらのプラットフォームに保存されたファイルに簡単にアクセスすることができていたのです。 SASが開発した最新のクラウドネイティブ・データアナリティクス・プラットフォーム「SAS Viya」は、WindowsやLinuxなどのOS上で直接動作するのではなく、コンテナ/ポッドの形でKubernetes(以下、K8s)上で動作し、従来の製品とはアーキテクチャが大きく変わっています。K8s上で動作するサービスのコンテナ内のデータは一時的なものなので消えてしまう特徴があります。この点に対して、お客様は最新の製品を使用する際に、K8sに保存したデータをローカルのWindowsシステムからどのようにアクセスするのか、SASで作成したレポートなどのデータをどこに保存するのかという疑問を持つことが多いようです。 今回は、下記の図の構造のような、K8sに保存されているファイルを、比較的簡単な方法でWindowsクライアントと共有する方法をご紹介したいと思います。 本記事の内容は、Microsoft Azure上にデプロイされたSAS Viya Stable 2021.2.3に基づいています。centos 7.9上で、kubectl、kustomization、azure cliなどのコマンドラインツールを利用する作業が含まれているので、Linux、Kubernetes、SAS ViyaのデプロイメントとAzureに関する一定の知識が必要です。また、お使いのクラウドベンダーや製品のバージョンによって、設定方法が異なる場合もありますので、詳細は各ドキュメントをご確認ください。 SAS Viya on Kubernetesが利用するストレージの紹介 まず、K8s上にデプロイされたSAS Viyaサービスを使用した場合のデータの保存方法について簡単に説明します。 例えば、SAS Studioを利用する場合、ユーザーがセッションを作成するたびに、SAS ViyaはK8s上に一つのコンテナを作成します。これは、ユーザーがセッションで実行したすべてのコードや操作がこのコンテナに入っているミニLinux内で実行されます。 ご存知のように、コンテナの最大の利点は、インストール作業や設定などが一切いらず、配置したらすぐに使えることです。コンテナが提供するサービスや機能を使用するために設定を行う必要はありませんが、同時に、コンテナ内のデータに加えた変更も保存されず、新しいセッションを作成するたびに、まったく同じ設定を持つまったく新しいコンテナが作成されます。 そのため、SAS Studioで作成した新しいデータを保存したい場合は、コンテナの外部にあるストレージに保存する必要があります。K8sではこの外部ストレージは永続ボリュームと呼びます。 永続ボリュームを利用することにより、SAS Studioのセッションが終了しても、作業中にユーザーが作成した新しいデータはちゃんと保存されています。次にユーザーが新しいセッションを作成する時、以前使用していた永続ボリュームが新しいセッションに自動的にマウントされ、ユーザーが永続ボリュームに保存されていたデータを使って引き続き作業できます。この記事で紹介するデータ共有方法も、こちらの永続ボリュームを利用しています。 データ共有するための設定方法 次に、K8sで作成したファイルをWindowsと共有する方法を紹介します。前述したように、作業中に発生したデータを永続ボリュームに保存することができるので、永続ボリュームをWindowsにマウントするだけで、作業用PCとK8sの間でデータを共有することができますが、実現方法は使用する永続ボリュームの外部ストレージの種類によって異なります。 AzureのK8sサービス上でSAS Viyaを利用する場合、使用する外部ストレージは、大体以下の3種類です。Azure Fileを共有ストレージとして使用する場合、追加のサーバは必要なく、使い方も比較的簡単なので、本記事ではAzure Fileを外部ストレージとして使用する場合の共有方法を紹介します。 - ネットワークファイルシステム(以下NFS) - Azure Disk - Azure File(本記事で紹介する方法) データを共有するためには、次のような手順が必要です。 これらの手順には、AzureとK8sの管理者権限と関連する知識が必要なため、一般的にはサーバ管理者やSAS Viya導入の担当者が行うことになることに注意してください。 1.ストレージクラスの作成 2.永続ボリューム要求の作成

Analytics | Learn SAS | Students & Educators
金融業界のデジタル化を担うデータサイエンティストの業務とは? 【アナリティクスを活用するキャリア: 信金中央金庫】

「お客様とFace to Faceで向き合うことができるという信用金庫の強みが、コロナ禍により十分発揮できなくなっています。そんな今だからこそ、業界のセントラルバンクである信金中金で、業界のデジタル化を推し進める役割を皆さんも一緒に担いませんか?」 信金中央金庫 しんきんイノベーションハブの狩野 詩生(かのう しゅう)氏は、アカデミア向けにアナリティクス・データサイエンスのキャリアを紹介するイベント「SAS アナリティクス・キャリアシンポジウム」でこう学生に問いかけました。 本イベントは、2021年12月22日(水)、SAS Japan六本木オフィスで開催され、同時にオンライン配信されました。「データサイエンティストが21世紀の最もセクシーな仕事」と言われて10年近くが経とうとしており、企業や組織でデータ活用の役割は徐々に広がりを見せていますが、どのようなスキルをどんな業務に活用しているかについては、まだ一般的ではありません。「データサイエンティストになりたい」と考える学生も、業務内容やキャリアを明確にイメージできないのではないでしょうか。このイベントでは、社会におけるアナリティクス・データサイエンスの活用をアカデミアに紹介するとともに、教育の側からのアプローチも論じます。 信金中央金庫は、全国の信用金庫の「セントラルバンク」として、信用金庫からの預金を投資・融資して運用しています。金融機関では、以前より金融リスクの管理や不正取引の検知の業務において、アナリティクスが活用されてきました。国の経済インフラを担う金融機関が健全な取引を行い、金融犯罪を防止するための対策は、監督省庁が目を光らせる規制業務であり、金融機関が必ず整備しなければいけない領域です。例えば、金融機関が保有している資産が将来どのような価値を持つのか、そのばらつきを予測するために統計学と金融工学をフル活用したり、また、国際犯罪組織による資金洗浄(マネー・ロンダリング)目的の海外送金を検知し、ストップをかけるために、統計モデルや機械学習モデルを構築したり、実は、データサイエンティストが世界の金融を支えているのです。 狩野氏は大学でマーケティングや経営学を専攻し、信金中央金庫で融資業務やコンサルティング業務を経験後、信用スコアリングモデルを作成・研究する業務に従事しました。信用スコアリングとは、端的に言えば、融資先が返済不能になる可能性がどれぐらいあるかを数値化することです。このために、場合分けのルールや統計モデルを活用します。また、最近では、EBM(Event Based Marketing)でのデータ活用に取り組んでいます。入出金データなどから、顧客の資金ニーズを予測し、適切なタイミングで商品を提案できるようにすることが狙いです。従来であれば、大まかな顧客カテゴリに応じた提案しかできなかったのが、予測モデルの活用により、よりパーソナライズされた提案ができるようになります。 このような目的のために、次のような業務があります。 どのようなデータをどのように受け取り、蓄積するかを設計する データのありかを整理し、内容を理解した上で、基礎分析により特徴を把握する 予測モデリングのためにデータの整形・加工を行う 統計学や機械学習を駆使してモデルを構築する データサイエンティストといえば、4番のモデル構築のスキルが重要に思われがちですが、それまでの準備も大切です。狩野氏は、データサイエンティストの業務において求められるスキルとして、「データ理解」「プログラミング」「モデル構築」に加え、「企画・立案」「サービス提供」を挙げています。特に、しんきんイノベーションハブのような組織では、顧客である信用金庫がどのように活用するかも考えてサービスを設計することが必要です。さらに、統計やデータ分析の専門家ではない顧客に説明し、使ってもらえるようにすることも求められています。特に金融機関のアナリティクス活用では「説明力」に重きが置かれており、モデリングにおいても、ブラックボックスのAI・機械学習より、説明力の高い統計モデルが利用されることが多いようです。 また、普段はSASやPythonプログラミングで業務にあたりますが、「どのような分析環境が利用できるかは組織によって異なるので、プログラミング言語については、広く勉強したほうが有利かもしれない」と狩野氏は述べました。「データ理解」についても、入社しないと業務についての知識を得ることは難しいので、組織のなかで学ぶ意欲とコミュニケーション力が重要になります。 信金中央金庫では、全国の信用金庫のデジタル体制の整備を担うため、幅広い業務があり、今後人材需要が高まります。データサイエンスに興味のある学生のみなさん、金融業界での活躍を目指してみませんか? 学生のみなさんは、統計学や機械学習を用いた予測モデルについて、SAS Skill Builder for Students で学習することができます。特に、「Predictive Modeling Using Logistic Regression」や「Machine Learning Using SAS Viya」は、SASソフトウェアの学習と同時に、予測モデルを利用する目的や、モデル構築や評価での注意点を学習できます。SAS Skill Builder for Student については、こちらのブログ記事シリーズもご参照ください。

Analytics | Data Visualization | Learn SAS | Students & Educators
0
SASのオンライン学習コース「Skill Builder for Students」の紹介(3)Visual Analytics and Visual Statistics編

前回の記事では、学生であれば無料で利用可能なオンライン学習コース「Skill Builder for Students」のProgrammingコースについての概要を紹介しました。今回は引き続きまして、Visual Analytics and Visual Statisticsコースについて紹介していきます。 データアナリティクスへの興味・関心は近年急激に増加しています。ただ特に学習を始めた学生では、データアナリティクスと聞くと、どうしても複雑なモデルを組むことや機械学習を実施することだけに意識が向いている印象を受けます。しかしデータアナリティクスの本質はそこではありません。根幹にあるのは意思決定や業績の改善にどれほど貢献できるかです。データの可視化、見える化は学生ですとしばしば軽視されがちな部分ではありますが、意思決定や現状の把握においては非常に有用な有用な方法の一つです。 今回紹介するコースではSAS Viyaプラットフォーム上でSAS Visual AnalyticsとSAS Visual Statisticsを使用し、様々な可視化方法、予測モデルについて学習を行います。これらを学習することによってデータに潜む傾向やパターンを把握し、そしていかにその後のリスク管理や傾向の予測などへとつなげていくかといった実践的なデータアナリティクスを学ぶことが可能です。またSAS ViyaはSASによるプログラミング以外にもRやPythonといった他のプログラミング言語をサポートしているため、SASのコーディングができない方であっても不自由なく利用することが可能となっています。 Visual Analytics and Visual Statisticsコースへのアクセスは以下の手順です。 Skill Builder for Studentsへログイン 「Learn SAS」というタブをクリック 画面中央の「Start Learning」をクリック 「Visual Analytics and Visual Statistics」をクリック 展開される各種e-learningコースをクリック 画面下部にある「enroll」をクリック     Visual Analytics and Visual Statisticsコースの概要 本コースは SAS Visual Analytics 1 for SAS

1 2 3 4 8