Tag: アナリティクス

Analytics | Machine Learning
小林 泉 0
アナリティクスの産業革命-機械学習による自動化

15年前 2000年、当時すでに(今では機械学習に分類されるいくつかのアルゴリズムを搭載した)予測モデリングツールSAS® Enterprise Minerはこの世に存在していました。また、予測モデリングにおけるSASの方法論であるSEMMAプロセスも同時に存在していました。SEMMAプロセスとはSASがそれまでに培ったベストプラクティスであり、Sample(当時は1%サンプリングで十分だと立証する論文がいくつもありました)、Explore(探索、分布の確認)、Modify(補完、置き換え、変換、連続量のカテゴリカル化など、予測モデルの精度を上げるための工夫。昨今Deep Learningでは逆にこれらをせずにありのままがいいという考え方もあります)、Model(決定木などのモデル手法の適用)、Assess(複数の予測モデルから予測パフォーマンスの良いものを選択)であり、これらを順に実施することで誰でもそれなりに精度の高い予測モデルが作れました。この方法論と方法論にのっとったEnterprise Minerのおかげで、初めての分析プロジェクトにおいて何の迷いもなく顧客の解約を予測する予測モデルを作成でき、一瞬のうちに自分が「できる分析者」になったかのように感じたのを覚えています。 学生時代、実験結果の分析にSASをプログラミングで使用していた筆者にとっては、アイコンを並べて線を繋ぐだけでよいこのツールが魔法のように感じていました。しかし同時に「アイコンの並べ方、設定、当てはまりのいい手法にはパターンがあるなあ」と感じていましたし、加えて「マウスのドラッグ&ドロップという操作がちょっと面倒」だとも感じていました。 その頃、あるお客様は、サンプリングではなく全件分析で得られる価値に重きを置き、数日にわたる予測モデリング処理を実行していました。当時の世界で最大級のUNIXを使用したチャレンジは、もちろん技術的な制約により処理を完結することそのもが一つの課題でもありました。まさに「ビッグデータ」を筆者が最初に体験した場でした。 2015年 15年前、少ないコンピューターリソースしか持たない我々は、いかに顧客をあまり多くない、説明しやすいグループに分けるかを考えていました。『顧客の顔の見える化』と当時の多くのプロジェクトでは呼んでいました。しかし、今日では消費者の嗜好が多様化し、サービスや商品も多様化かつ大量化し、サービスや商品の寿命が短くなり、販売チャネルも多様化しました。予測モデルを使用して、単に顧客を理解するだけではなく、収益を最大化するためには、そのような多様性を失わない大量のセグメントごとに予測モデルを作る必要がでてきたのです。 このような分析対象の数の増加や粒度の増加、さらには分析対象データ量の増大は、近年、組織の分析チームの責任者にとっては、「予測モデル作成業務の生産性の向上」というミッションとして、大きな課題になってきたのです。   従来、予測モデルの作成は、分析サービスを提供する企業などだけが実施する、一部の人の道具でした。しかし時代は変わりビッグデータブームにも後押しされ、アナリティクスを活用する/したい組織・企業は増加の一途をたどっています。しかし、高度な数学的考え方に基づく予測モデリング手法を高等教育で学んで社会に出る人材はそれほど増加していません。そこに、「アナリティクス人材」の不足問題が生じています。 2015年、ガートナー社は「市民データサイエンティスト」という言葉を新たに定義しました。これまで高度な分析に縁遠かった、統計学や数学の専門知識を持たない業務部門の担当者が必要に迫られて予測モデリングをするようになってきたという状況をうまく表現していると思います。   さらに、この15年で、情報技術の進化と共に、より計算が複雑な手法、すなわち、昨今では機械学習と呼ばれるような高度なアルゴリズム、複数のモデルを組み合わせるアンサンブル手法、など、以前は、コンピューターの処理能力の制約で利用できなかった洗練された大きな計算能力を要する手法が登場してきました。それぞれの手法には特徴や向き不向きがあり、データの性質や予測したい事象の性質に適した手法を使用することで、より良い意思決定が可能となります。SASもこの間、Base SASエンジンから、In-Databaseへ、そしてSAS In-Memory Analyticsへとアルゴリズムの実行環境をシフトしてきています。   この15年間で予測モデル作成プロセスそのものの考え方は変わっていませんが、それを取り巻く環境や期待が大きく変化したことにより、予測分析に対する要件も変化してきています。近年、アナリティクスを武器とする企業が求めている大きな3つのポイントは以下の通りです: 扱いやすさ: 高度な分析・ITスキルを持たないビジネスユーザーでも扱えること スピード: 大量データ、多数のセグメントに対してスケーラブルであること 正確性: 収益を左右するモデルのパフォーマンスが良いこと(精度が高いこと)  SAS® Factory Minerリリース SASはこのような要望に応える形で、このたびSAS® Factory Minerという新製品をリリースしました。 ボタンクリック一つで自動的に、 最新の機械学習アルゴリズムを使用して、 これまでに培ったベストプラクティスに基づいた、 最良の予測モデルを作成することが可能となります。   従来、GUIとはいえ、人手でひとつひとつ時間をかけて実施していた予測モデル作成業務の時代から、全自動の-すなわち、モデリングプロセスにおける試行錯誤と手動プロセスを不要とし、データの特性に応じた最適なデータ変換手法と最適な機械学習アルゴリズムを自動で選択肢し、一つの操作でセグメントごとの予測モデルを作成できる-時代がやってきました。 まさに、予測モデリングの世界における産業革命です。      SAS® Factory Minerの紹介ビデオ   60秒で語るSAS Factory Miner  

Analytics
小林 泉 0
SAS Global Forum 2015 - ユーティリティ業界のアナリティクス事例多数

SAS Global Forum では、毎年SASの全てのキーマンが集結します。もちろん2015も例外ではありませんでした。2014年にスマートメーター活用セミナーの講師として来日もした、グローバルセールス&開発マネージメント ビジネスディレクターのTim Fairchildおよび、エネルギーソリューション担当プロダクトマーケティングマネージャーのAlyssa Farrellと短い朝食ミーティングで意見交換をしてきました。日本では電力小売り自由化もありアナリティクスの活用が進んでいますが、世界的に見てもエネルギー業界にアナリティクスの大きな潮流がやってきています。 それを表すかのように、SAS Global Forum 2015において非常に多くのユーティリティ業界に関するプレゼンテーションがありました。それをご紹介します。 生存時間分析を使用した変圧器の寿命予測とSAS Enterprise Minerを使用した過負荷状態で変圧器を使用している際のリスクモデリング(Predicting transformer lifetime using survival analysis and modeling risk associated with overloaded transformers Using SAS® Enterprise MinerTM 12.1) 「いつ変圧器が故障するのか?」 これが米国のユーティリティ企業が毎日頭を悩ませている問題である。ユーティリティ企業のインフラで最も重要なものの一つが変圧器である。コストを削減し計画的にメンテナンスし、故障による損失を低減するためには、この変圧器の寿命を把握することが重要である。そしてもう一つ重要なことは、過負荷による突発的なパフォーマンスダウンを避けるために高リスクな変圧器を事前に特定しメンテナンスすることである。この論文の目的は、SASを使用して変圧器の寿命を予測し、それらの故障に繋がる様々な要因を特定し、メンテナンスを効率的に行うために変圧器を、負荷状態に基づいて、高リスク、中リスクそして小リスクといったカテゴリに分類するモデルを作成することである。この研究で使用したデータは、米国のユーティリティ企業のものであり、2006年から2013年までのデータである。このデータに対して生存時間分析を行った。Cox回帰分析(比例ハザードモデル)を使用して、変圧器の故障の要因を特定した。また負荷に応じたリスクカテゴリを作成するために、いくつかのリスクベースモデルを使用した。(続きはこちら) 顧客クラスタリングにおけるイノベーティブな方法(An Innovative Method of Customer Clustering) この論文は、SASを使用して顧客セグメントを作成する新しい方法について紹介する。著者はある巨大なユーティリティ企業が提供している9つのプログラムに登録している顧客を調査した。これらにプログラムとは、請求の平準化、支払方法、再生可能エネルギー、効率化、機器の保護、使用量レポートなどである。640,788の家庭のうち、374,441のデータが利用可能であった。これら約半数(49.8%)の分析対象顧客はいくつかのタイプのプログラムに属しており、顧客の特徴を通してこれらプログラムの間の共通性を見出すためには、多くの場合、クラスター分析と相関マトリックスが利用される。しかし、所属しているか否かという二値という性質により、これらの手法の価値はかなり限定的になる。それだけでなく、各プログラムは相互に排他的であることもその一因となる。これらの制限を乗り越えるために、各顧客がどのプログラムに属するかの予測スコアを算出するために、PROC LOGISTICを使用した。(続きはこちら) ブラジルの電力部門における電力損失の査察のためのターゲット選定の改善のためのモデリング-CEMIGの事例(Modeling to improve the customer unit target selection for inspections of

1 3 4 5