All Posts
Sometimes it is helpful to display a table of statistics directly on a graph. A simple example is displaying the number of observations and the mean or median on a histogram. In SAS, the term inset is used to describe a table that is displayed on a graph. This article
SAS Visual Anaytics(이하, VA)를 사용할 때, 리포트의 형태를 고정하고 변수만 변경하면서 그래프 및 값들이 바뀌는 결과를 확인할 수 있으면 더 효율적이지 않을까 생각해 본 적이 있으신가요? VA에서 파라미터를 활용하면 가능합니다. 파라미터의 활용법을 다루기 전에 전반적인 이해를 돕고자 파라미터가 무엇인지, 어떻게 사용하는 것인지 등에 대한 내용을 먼저 살펴보고자 합니다. 이번 블로그
La industria aseguradora lleva años apoyándose en la Inteligencia Artificial (IA), concretamente en el procesamiento del lenguaje natural (NLP), para automatizar sus procesos más complejos y mejorar así su eficiencia. Sin embargo, con la llegada de la IA generativa y los grandes modelos de lenguaje (LLM) se ha acelerado la
本記事では、ZEAL - Analysis and Projections of the Japanese Economyについて、チームメンバーに直接お話を聞き、背後にある思いやチャレンジなどについて解き明かします。 SAS Hackathon 2023 参加の背景 SIerであるZEALには、データアナリスト・データサイエンティストといったロールで働く社員は現状まだ多くはない。しかし今後はそういった人材を増やし、データ活用の世界に進出していくという目標を掲げている。 SAS Hackathon開催の知らせを受け取ったとき進むべき道が定まった。部内でプレゼンを行い、SASの取り扱い経験を問わず、興味を持った社員でチームZEALを結成した。 それがハッカソン開催の約1年前でした。そして半年前頃からテーマを何にするかチーム内で議論してきました。 SDGsをキーワードに、カーボンフットプリントを可視化することでCO2排出量を減らす事に貢献する、であったり、今後人類が必ず直面する喫緊の課題で身近な問題でもあり必ず解決する必要がある問題でもある食料問題に取り組む、など様々な案が出た。 最終的に定まったテーマは、「不確実性を消し去ることで、新型コロナのようなアウトブレイクに対して飲食業界が効果的な対策を立案できるよう支援すること」になった。当初は有価証券報告書による企業業績の変動をコロナ前とコロナ後で比べていく方針だったが、データ数が少なかったため断念せざるを得なかった。そこで、ある程度データ数が確保できる家計の支出データを使うことにした。 やはり当初から食料問題に取り組むという案が出ていたことと、コロナのようなパンデミックの影響が強く出た分野であったため、飲食業界を選択しました。家計の外食支出の変動から、間接的に飲食業界の隆盛を予測する、というものです。 コロナによる影響の強弱について念のため全産業分野を網羅的に確認した。ここでSAS Viyaの機能が役に立った。コロナの影響が特に大きかった産業分野は、飲食、交通(航空)、教育・娯楽だった。中でも交通(航空)は飲食業以上に影響が大きかった。しかし交通(航空)はテーマには選ばなかった。食糧問題に取り組むという基本方針があったからだ。 SAS Viyaは統計的知識がそこまで無くても十分に扱え、確実に結果を出すことができました。これはZEALが得意とする、「可視化によるインサイトの引き出し」というアプローチにもとてもフィットしていました。操作性も他のBIツールと比べて特段難しいというわけではなかったので問題はありませんでした。 ハッカソンに取り組む上で直面したチャレンジ 当初使用を想定していた有価証券報告書データのデータ数が時系列予測をするうえで足りないということが途中で判明したため、そこから別のデータを探し出す作業に急遽取り組む必要があった。3,4日で新しいデータが見つかった。 この部分はテーマ選定の際にも問題になりましたが、テーマはいろいろ考えられたとしても、それに必要なデータソースを集められなければ実際には分析を進めることができません。使えるデータの種類によって、取り組めるテーマが決まる、という側面がありました。 幸いZEALのサービスに、CO-ODEという日本の政府・自治体が出しているオープンデータを集積したデータベースがあり、そこに分野別家計支出データがあったので使うことにした。 具体的な取り組み内容 2つの時系列予測モデル 時系列予測モデルを2つ用意し、2つのモデルの予測値の差分をパンデミックの影響度合いとして可視化した。 つまりは、2019年12月末までをパンデミック前期間、2020年1月以降をパンデミック後期間とし、パンデミック前期間のデータで訓練したモデルをパンデミック前モデル、パンデミック後期間のデータで訓練したモデルをパンデミック後モデルとし、両者同じ将来期間のデータに対して予測をさせたうえで、その予測値の差分を取りました。 パンデミック前モデルとパンデミック後モデルの作成はいずれもSAS Viya Visual Forecastで複数のモデルを作成し、その中から精度が最も良いもの(=チャンピオンモデル)を選ぶという方法を採用した。いずれもチャンピオンモデルは、季節性モデルが選ばれた。 この辺り大変な作業のように聞こえますが、全てSAS Viya Visual Forecastによって自動処理されるのでとても簡単でした。 データの加工・整形で一工夫 必要なデータは全てCO-ODEから得ることができたが、データの加工・整形に多少の工数が必要だった。 CO-ODEの最大の売りは網羅性で、様々なソースからデータを手当たり次第かき集めてきています。使い方は使う人によって千差万別、逆に言うと使い方によってはひと手間かける必要があります。今回特に問題になったのは、時間粒度の違いでした。 データソースによって四半期粒度のもの、日次粒度のもの、と様々だったが、最終的に、月次粒度で統一した。四半期粒度のものは内挿によって月次粒度に変換した。 そこは少し試行錯誤が必要でした。一方データのETLに関しては、CO-ODEからはCSVがそのまま取り出せるので、それをそのままViyaにアップロードするだけで済みました。 成果 パンデミックによる影響を、予測値の差として可視化することに成功した。これは将来また別のパンデミックが起きたときにも参考値として利用できるものだ。 また、直接的な成果というわけではないのですが、ハッカソンを通して普段関わりのない社員同士が初めて関わりを持つようになり、社内のコミュニケーションが活性化しました。これは思わぬ収穫でした。 展望
When it comes to my data in the cloud, I want my service providers to keep security in mind. Few things worry me more than knowing my private information is not secure, or is being shared with untrusted collaborators. That’s why the recent announcement from SAS, our partner Microsoft, and
遅ればせながら、最近STEMがSTEAMになっていることに気づきました。ここ数年でAI/アナリティクスブームの中、アナリティクスを活用し始めようとする企業が増え、どのような人材を配置すべきかという悩みをお聞きする機会が増えていますが、この、STEM⇒STEAMの進化についても、なるほどなと思うので簡単に整理してみます。 私は数学、科学、自然の間の相互接続性に常に興味を持っていました。私は空間の曲線、特に円弧や螺旋を探索するのが好きです。私はアーチの形而上学的な側面にも惹かれます。野原の真ん中にアーチを設置すれば、人々はわざわざそこを通り抜けようとするでしょう。アーチの下を通過することは変革的であり、あるものから別のものへの象徴的な変化です。それに抵抗することはできません。 (彫刻家のミカジャ・ビアンヴェヌ氏) 以前からあるSTEM教育とは STEMとは、多くの方がご存じの通り、Science, Technology, EngineeringそしてMathematicsの頭文字をとったもので、第四次産業革命のこの世の中をけん引する人材教育に必要な要素を並べています。アナリティクスの世界に長年身を置いてきた筆者の立場から、各要素に日本語訳を付与すると以下のようになります。教育の専門家からすると正確性に欠けるかもしれませんがご容赦ください。 Science-科学的な論証や根拠づけ推論をする科学的な思考(方法論) Techonology-創造物の構成要素および構成要素を作り出すための道具(道具) Engineering -創造物を作り出す実用的な実践(実践力) Mathematics-創造物の特徴の論理的な表現方法(測り方) 新しい工学製品やITシステムを想像するためには、これらを総合的に学ぶことが重要だという考え方です。大学ではもともとそれぞれの専門領域を突き詰めて研究するという考えで、サイロ化された学部・学科・研究室が作られてきました。もちろんそういった方向での探求はそれはそれで必要です。一方で、何か新しいものを創造するという目的を志向した場合には、「総合力」が必要になるということです。20年以上前ですが、筆者が大学生のころに、「総合学部」が世の中に登場し始めたのもこういう背景なのだと思います。 最近進化したSTEAM教育とは 近年、STEM教育にAを足した方が良いという流れになってきています。AはArtだけではなく、Liberal Artsも含むと言われますが、Liberal Artsをここに入れてしまうと全体の構造が分かりづらくなってしまうので、ここでは、Artすなわち、芸術家的思考が追加されたとします。 なぜ追加されたのでしょうか? 芸術家的思考とはそもそも何でしょうか?もちろん私たちが良く知る芸術は、斬新な視点や考え方で何か新しい表現をされたものに芸術性を見出すことが多いと思いますが、本質的には芸術家は、「自己の探求」です。それを象徴性をもって表現しているのだと思います。 つまり筆者が考えるに、新しい創造物、つまり既存の知と知を掛け合わせたイノベーションは、当然ながらSTEM教育を受けたところで機械的にできるものではなく、創造者の思いと象徴性が大事だということではないでしょうか。 AI/アナリティクスを活用したビジネス成長には、芸術家的思考が大事 ビジネスの世界でAI/アナリティクスを活用し持続的な成長をするためには、AI/アナリティクスをどのような目的で活用するかによって、その成果は種類が異なります。 ストラテジック - 将来の成長のため、収益最大化のための方向付けをする。(全社規模の収益最大化) タクティカル - ストラテジックな取り組みを実践する計画を立てる(事業部単位の計画) オペレーショナル - タクティカルな計画の通りに機会損失なくビジネスを遂行する(計画通りの遂行) より詳細は、こちらの筆者のブログ「そのデータ活用は攻め?守り?」を参照してください。 この3つのうち、単なる過去の実績の延長ではなく、非連続な将来の成長や収益最大化を担うのは、「ストラテジック」の領域です。不確実性の高まる世の中において、将来の予測的シミュレーションによって透明性の高いよりよい意思決定を行おうとしたり、あるいはイノベーションや、トランスフォーメーションによって過去の単純な延長としての予測ではなく、新たな市場・商品やサービス・ビジネスプロセスを生み出し、競争優位な未来を作り出す活動です。 この活動において大事なのは、他社の見よう見真似であったり、単に現在の市場ニーズだけに基づくのではなく、自社のコアコンピテンシーをとことん見つめ、自社独自の将来持続可能な戦略を打ち出すことです。これはまさに芸術家的思考にほかなりません。過去の経験を活かしつつも、過去や現在に構築された既存の枠組みにとらわれない視点・思考によって、自社あるいは社外にある既存の知と知との関係を見つめることで初めてあらたなイノベーションへとつながります。さらに、持続的という点に焦点を与えるとやはりここでも芸術の要素「象徴性」が大事になってきます。 「問題や仮説」に対して客観性や透明性をもって取り組むためには、科学的思考・数学的思考などは不可欠です。一方で、その「問題や仮説」を定義することは、道具や手段、方法論からは発生せず、芸術家的思考が必要になってきます。SASが大切にしているもの、「アナリティクス・ライフサイクル(*1)」の出発点が「問い」であること、そして、すべては「好奇心(*2)」からスタートするという考え方もまさに似たような話です。 次回は、この芸術家的思考がデータ分析基盤システムの構築にとても重要であることの話をしたいと思います。 *2) プレスリリース:SAS最新グローバル調査:「好奇心」というスキルの重要性が高まる大退職時代
Appending data tables is a common task for data analysis. Here are three of the several methods possible through the SAS Viya platform.
Every November, we celebrate Veterans Day and Military Family Appreciation month to honor the service and sacrifices that service members, veterans and military families make to keep our nation safe and protect our freedom. Join us in recognizing the amazing people at SAS who have served and continue to serve
In several previous articles, I've shown how to use SAS to fit models to data by using maximum likelihood estimation (MLE). However, I have not previously shown how to obtain standard errors for the estimates. This article combines two previous articles to show how to obtain MLE estimates and the
In a previous post, we explored the intricacies of panel data regression. We unveiled a range of panel models and demonstrated their application in estimating cigarette demand by using the CPANEL procedure. However, achieving reliable insights in the realm of panel data regression requires addressing practical challenges. These would include
I recently had two incredible opportunities: to visit the White House for a landmark executive order signing and to make remarks at a US Senate AI Insight Forum. The AI Insight Forum was part of a bipartisan Congressional effort to develop guardrails that ensure artificial intelligence is both transformative and
The ability to analyze and derive insights from vast amounts of information is invaluable. As industries increasingly rely on data-driven decision-making, there is a growing demand for professionals with expertise in applied analytics. To bridge this skills gap, academic institutions seek innovative ways to provide students with hands-on experience. Integrating
Today’s consumers don’t want to be talked to; they want to have a conversation. They want to be marketed to as individuals, not as faceless members of the masses. Consumer packaged goods (CPG) organizations, in particular, recognize the value of these conversations. This dialogue – via loyalty programs, promotions, social
Have you heard of Thai Yoga? It often gets confused with Tai Chi, but Thai Yoga is a modality of healing that is an Ayurvedic (Ancient Indian Medicine) tradition. During the time of Buddha, monks went to Thailand to set up temples and practiced healing arts which consisted of a
A previous article shows how to use Monte Carlo simulation to approximate the sampling distribution of the sample mean and sample median. When x ~ N(0,1) are normal data, the sample mean is also normal, and there are simple formulas for the expected value and the standard error of the