Move beyond spreadsheets to data mining, forecasting, optimization – and more
A major UK insurance company used text analytics to categorise complaints.
Analyzing tweets is challenging because of their succinctness (max 280 characters). However, that task is facilitated by the powerful features of SAS Visual Text Analytics (VTA), which includes embedded machine learning algorithms.
Are you looking for a Data Science easy button? The dataSciencePilot action set comes pretty close.
With NHANES data from the CDC, we can use SAS to research the impact of endocrine-disrupting chemicals. Special sampling techniques are needed when using these data.
After a marathon of a season, 162 games in each team's schedule to be precise, the stakes for Major League Baseball are higher in October, and postseason play is underway. Whether it's the renewal of an old rivalry, redemption for last year's runners up, or rooting for this season's breakout
Are you looking for a Data Science easy button? The Data Science Pilot Action Set comes pretty close.
Which measures financial services can take to keep their customers complaints at a minimum.
Generating a word cloud (also known as a tag cloud) is a good way to mine internet text. Word (or tag) clouds visually represent the occurrence of keywords found in internet data such as Twitter feeds.
Por Juan Sebastián Niño Customer Advisory Analytics SAS Colombia En Colombia, y probablemente en toda América Latina, existe un juego para niños llamado Policías y ladrones. Dentro del juego, un grupo de niños son los ladrones y el otro grupo son los policías. Mientras que los ladrones deben correr a
In a recent video blog, I discuss forecast accuracy as a parameter for measuring the ability to forecast and plan demand. I further argue for the use of causal data as a key input to understanding historical demand and forecasting/planning future demand. Forecast accuracy is often claimed NOT to be
Por Sandra Hernández *Post basado en la presentación de Wilson Raj en SAS Forum Colombia “No sé qué decir en realidad. Tres minutos para la mayor batalla de nuestras vidas. Todo se reduce a hoy: o nos jugamos como equipo o nos desmoronamos. Jugada a jugada, pulgada a pulgada hasta
Por Javier Rengifo Gerente de Customer Advisory para SAS Colombia y Ecuador El éxito en el desarrollo e implementación de las iniciativas analíticas empresariales requiere que se tengan propósitos claros, una alineación con los objetivos del negocio, una adecuada captura y calidad de datos, una gestión y mejoramiento continuo de
At the #AISummit early this summer, I was interested to see that one of the most popular demos on the SAS stand was of object detection. A camera was detecting the nature of an object waved in front of it and tracking it moving through the livestream. This was a
¿Se puede utilizar un programa de análisis para todos los tipos de lenguajes de programación y todos los niveles de usuarios? ¿Cómo se puede garantizar la coherencia entre sus modelos y acciones resultantes? Con las tecnologías analíticas actuales, la conversación sobre analítica abierta y analítica comercial ya no es una
Por Javier Rengifo Gerente de Customer Advisory para SAS Colombia y Ecuador *Post basado en la presentación de Andrés Villa en el SAS Forum Colombia ¿Por qué muchas personas y empresas están hablando de Inteligencia Artificial (IA) hoy en día? Probablemente porque es tendencia en todo el mundo, pero también
This article continues a series that began with Machine learning with SASPy: Exploring and preparing your data (part 1). Part 1 showed you how to explore data using SASPy with Python. Here, in part 2, you will learn how to begin to prepare your data to use it within a
Por José Mutis O. *Post basado en la presentación de David McDonald en SAS Forum Colombia Desde siempre, pero especialmente en la actualidad, el mundo ha estado en un proceso de transformación constante. Las nuevas tecnologías y procesos que han surgido de la nueva era digital hacen que hoy más
Importing about 4,400 messages worth of data into SAS Visual Text Analytics to exploring it and create an information extraction model.
This series of videos spotlights a very powerful API that lets you use Python while also having access to the power of SAS Deep Learning.
In this blog, I use data from the U. S. Department of State Trafficking in Persons (TIP) reports for the years 2013-2017 to accomplish these objectives: 1) To determine what are the main themes in TIP reports, and 2) to show how to work with ASTORE code to deploy models using SAS Viya 3.4 Visual Text Analytics 8.4.
The machine learning autogenerated concept and fact rules in VTA 8.4 facilitate the process of developing LITI rules to extract and find information in text documents. There are many important problems where the use of Text Analytics provides valuable insights such as with Human Trafficking.
SAS Visual Analytics on SAS Viya（以降VA）の最新版8.4に搭載されている新機能の中から、以下５つの機能に関してダイジェストでご紹介します。 １．AIストーリーテラー機能 ２．レポート編集＆表示切替の利便性向上 ３．閲覧時レポートカスタマイズ＆制御 ４．分析用ビジュアル候補提示 ５．カスタムグループ作成の容易化 ６．Visual Analytics SDK １．AIストーリーテラー（自動分析＆解説）機能 VA8.3から搭載されていた機能やUIが拡張されています。 AIストーリーテラー（自動分析＆解説）機能では、分析対象の変数（ターゲット）を指定するだけで、その変数に影響を与えているその他の変数の特定や、変数ごとにどのような条件の組み合わせがターゲット変数に依存しているのかを「文章（条件文）」で表現して教えてくれます。 この例で使用するデータ「HMEQJ」は、ローンの審査を題材にしたもので、顧客ごとに１行の横持ちのデータです。このデータ内にある「延滞フラグ」が予測対象の項目（ターゲット変数）で、０（延滞なし）、１（延滞あり）の値が含まれています。 データリスト内の「延滞フラグ」を右クリックし、「説明」＞「現在のページで説明」を選ぶだけで、「延滞フラグ」をターゲット変数に、その他の変数の組み合わせを説明変数とした複数の決定木（ディシジョンツリー）が実行され、 以下のような結果が表示され、見つけ出された有用な洞察を説明してくれます。 分析結果画面内説明： ① 予測対象値（０：延滞なし、１：延滞あり）の切り替えが可能です。この例では、「１：延滞あり」を選択し、「延滞する」顧客に関して分析しています。 ② 全体サマリーとして、すべての顧客の内、延滞実績のある顧客は19.95%（5,960件中の1,189件）であることが示されています。 ③ 「延滞する」ことに関して影響を与えている変数の重要度を視覚的に確認することができます。最も影響度の高い変数（今回は「資産に対する負債の割合」）の重要度を1として、１を基準値にした相対重要度が算出され、横棒グラフで表示されます。従来版に比べて、変数ごとの影響度合いの違いを明確に捉えることができます。 ④ 「高」タブには、「延滞する」可能性が高いトップ３のグループ（条件の組み合わせ）が文章で示され、「低」タブには、「延滞する」可能性が低いトップ３のグループ（条件の組み合わせ）が文章で示されます。この例では、③で「資産価値」が選択され、「資産価値」に基づき、延滞する可能性の高い/低いグループのトップ３が表示され、「資産価値」に関する条件部分がハイライトしています。 ⑤ この例では、③で「資産価値」が選択され、これに応じて「０：延滞なし、１：延滞あり」別の顧客の分布状況がヒストグラムで表示されています。選択された変数が数値属性の場合は、ヒストグラムで、カテゴリ属性の場合は積み上げ棒グラフで表示されます。チャートの下端では、チャートから読み取れる内容を文章で解説しています。 以下は、カテゴリ属性の変数を選択した場合の表示例です。 以上のように、分析スキルレベルの高くないビジネスユーザーでも、簡単かつ容易に、そして分かり易くデータから有効な知見を得ることができます。 ※AIストーリーテラー機能に関しては、SAS Viya特設サイトのビジュアライゼーションセクションで動画でもご覧いただけます。 ２．レポート編集＆表示切替の利便性向上 従来のVAでは、編集モードで作成したレポートを表示モードで確認する際には、メニューから「レポートを開く」を選択し、レポートが表示されるのを少し待つ必要がありました。また、レポート表示モードから編集モードに戻るにもメニューから「編集」を選択する必要がありました。 VA8.4では、編集モードと表示モード切替の利便性が改善され、画面左上のペンシルアイコンをクリックするだけで、編集画面＜－＞表示画面間を瞬時に切り替えられるので作業効率が向上します。 また、ご覧の通り、編集画面と表示画面のレイアウトも統一されています。 ３．閲覧時レポートカスタマイズ＆制御 一般的にBIツールでは、対象ユーザーを３つの層（管理者、レポート作成者（デザイナ）、レポート閲覧者（コンシューマ））に分類し、それぞれに最適なインターフェースを提供しています。しかし、レポート閲覧者の中には、「基本的には誰かが作成したレポートを見るだけでいいんだけど、自分好みに変更できたらもっといいのにな…」という声も多くあります。このレポートカスタマイズ者層に答えられないために、彼らは、レポートを開き、そのデータをダウンロードし、Excelに取り込んで好みのレポートを作成しようとするのです。 VA8.4では、レポートカスタマイズ者層向けに、作成済みレポートを開いて閲覧中に、簡単操作で好みに合うようにレポートをカスタマイズすることができるようになりました。 以下は、レポート閲覧中に「円グラフ」を他のチャートタイプに変更するメニューが表示されている例です。 また、レポート作成者は、レポートカスタマイズ者向けに、カスタマイズ可能な機能範囲を３段階で制御することが可能です。 これで、レポート作成者の負担も軽減され、レポート閲覧者の痒いところに手が届きそうですね。 ４．分析用ビジュアル候補提示 レポート作成の元となるデータソースを選択すると、そのデータソース内の項目に基づき、「こんな分析が有効じゃないの…」と、分析画面の候補を自動的に提示してくれる機能です。 画面左端から電球マークの「候補」アイコンをクリックすると、分析候補がいくつか表示され、提示された分析画面をドラッグ操作でレポートに挿入することができます。 より素早く、効果的な情報を含むレポートを作成することができそうですね。これも一つの自動分析機能です。 ５．カスタムグループ作成の容易化 従来版のVAでは、カスタムグループを作成する際には、カスタムグループ作成専用の画面内で、グループに含める要素の選択と、グループ名称を設定し、OKをクリックしてチャートに反映させる必要がありましたが、VA8.4では、チャート上でグループ化対象の要素を選択し、そのグループに名称を設定して、素早くカスタムグループを作成することができるようになりました。 ６． Visual Analytics SDK
The world of sports has been deploying analytics to improve both fan engagement and athlete performance. The Hungarian State Lottery believes there is a third use case – to improve engagement with gamers. Which is why the organisation has partnered with SAS on the upcoming Hungarian Hackathon. The lottery's online
Taking a decision is easy. However, living with the outcome might be problematic because every decision is a choice that leads us to an action that will affect others. And trust – what about this elemental human feeling? As children, we trust our parents. This kind of trust forms the
「ビジュアルパイプラインで将来予測」では、SAS ViyaのModel Studioを使用した時系列予測の基本的な手順を紹介しました。 今回は、需要予測の精度を高める代表的な一つの手法として、需要分類をご紹介します。 例えば、お菓子の販売に関する需要を予測する場合を考えてみましょう。 ポテトチップスやおかきのように通年を通して売れる商品もあれば、アイスクリームのように夏季に需要が増加する商品、チョコレートのようにバレンタインデーの直前と当日に需要が急増する商品、お盆やお彼岸などの際にお供え用にときどき購入される商品などなど、お菓子の種類によって需要のパターンは異なってきます。 これらの異なる需要パターンの商品に対して、一律同じアルゴリズムを適用しても予測精度は高まりません。 こうした課題に対処するために、SAS Viyaの時系列予測では、自動的に需要のパターンを分析し、予測の精度を高めるような仕組みも搭載されています。 SAS ViyaのModel Studioで時系列予測を実行する際に、需要分類を活用する場合は、「需要の分類」テンプレートを使用します。 （使用する時系列データやデータ内の変数に対する役割設定内容は、「ビジュアルパイプラインで将来予測」ブログ内容と同様です。） 以下は、「需要の分類」パイプライン・テンプレートを選択し、実行した後の画面です。 「需要の分類プロファイル」ノードでは、統計解析等の手法を使用して、時系列データを解析し、需要のパターンを検出します。冒頭にお話しした通り、予測対象によって需要のパターンは様々です。 こうした多様なパターンを見極めた上で、適した予測アルゴリズムを用いることが肝要になります。 今回のデータでは、地域×製品ラインのセグメントごとに需要のパターンが検出され、分類されます。 「需要の分類プロファイル」ノードのメニューから「開く」を選択すると、 分類結果が表示されます。 地域×製品ラインでは、５つの組み合わせ＝セグメントが存在するので、これらのセグメントごとにパターンが検出され、結果としては、１つのセグメントは「YEAR_ROUND_NON_SEASONAL：長期間の非季節性需要」として、４つのセグメントは「YEAR_ROUND_SEASONAL：長期間の季節性需要」として分類されていることがわかります。 上記の２種類を含め１０種類の需要パターン＋その他、に分類されます。 次の「需要の分類モデリング」ノードでは、分類されたセグメントごとに最適なアルゴリズムが選択され、予測が実行されます。 「需要の分類モデリング」ノードのメニューから「開く」を選択すると、 実行結果が表示されます。検出された需要パターンに応じて、最適なアルゴリズムを適用したパイプライン（以下の「パプライン」列）が選択され、実行されます。 「YEAR_ROUND_NON_SEASONAL：長期間の非季節性需要」のセグメントには「非季節予測」モデルのパイプライン・テンプレートが適用され、「YEAR_ROUND_SEASONAL：長期間の季節性需要」のセグメントには「季節予測」モデルのパイプライン・テンプレートが適用され、それぞれ実行されています。「WMAPE」列には加重MAPEの値が表示されています。 セグメントを選択し、画面右上の「パイプラインを開く」アイコンをクリックすると、 そのセグメントに適用され、実行されたパイプラインが表示されます。 加重MAPEの値や、このパイプラインの予測結果を確認し、精度をさらに改善したい場合は、従来通りの操作性でこのパイプラインをカスタイズ（アルゴリズムを変更したり、パラメータをチューニングしたり）することもできます。 最後の「セグメントのマージ」ノードでは、各セグメントの予測実行結果をマージします。 「セグメントのマージ」ノードのメニューから「予測ビューア」を選択すると、 予測結果のチャートが表示されます。 以下チャート内のオレンジ色の破線は、５つのセグメントの中の、地域：Region1×製品ライン：Line1に関する予測結果です。 以上のように、SAS ViyaのModel Studio上でビジュアルパイプラインを用いた時系列予測では、需要のパターンに基づく、より精度の高い予測モデリング戦略の自動実行も可能なんですね。 ※ビジュアルパイプラインでの需要分類＆予測は、SAS Viya特設サイト内の「ビジュアライゼーション」及び「機械学習」セクションにて動画をご覧いただけます。 ※需要予測精度の向上に関しては、「ビジネスで「需要予測機能」を活用するために必要な3つの要素」ブログも参考にしてください。 ※Enterprise Open Analytics Platform 「SAS Viya」 を知りたいなら「特設サイト」へGO！
SASPy is a powerful Python library that interfaces with SAS and can help with your machine-learning solutions. SASPy was created for Python programmers to leverage the power of SAS within their Python scripts. If you are not familiar with SASPy, see the following resources: Introducing SASPy: Use Python code to
Wir sitzen in einem großen Hörsaal einer Frankfurter Hochschule, die Sitzreihen sind leicht ansteigend, damit alle Studenten nicht nur hören, sondern auch gut sehen können. Ungefähr 150 Zuhörer – zum Großteil keine Studenten - hören dem Referenten zu, keinem Professor, sondern einem dynamisch wirkenden Gründer und Manager eines norditalienischen Start-up.
By 2020, 50% of organizations will lack sufficient AI and data literacy skills to achieve business value. – Gartner What is data literacy? Data literacy is the ability to read, work with, analyze, and argue with data. – Wikipedia Data literacy is the ability to derive meaningful information from data,
Los seres humanos tenemos una característica –entre muchas que nos hacen únicos– que requiere de la comprensión de nuestros interlocutores para causar el efecto deseado: somos capaces de decir una cosa queriendo expresar un sentimiento completamente diferente. Lo llamamos sarcasmo, ironía o mordacidad. Pero, si a veces es difícil para
今回は「オペレーショナル・アナリティクス for Data Scientist」をメインテーマとしてご紹介します。企業で分析業務を行うデータサイエンティストの皆様はご存知の通り、モデルは開発しただけでは意味がありません。そのモデルを業務に実装（デプロイ）してはじめて、ビジネス課題を解決し、価値を創出することができるわけです。SASが長年蓄積してきたナレッジをご覧ください。 1．Using SAS® Viya® to Implement Custom SAS® Analytics in Python: A Cybersecurity Example この論文は、SASの分析機能により支えられているプロダクションレベルのアナリティクスソリューションを開発しようとしているデータサイエンティストを対象としています。本文では、SAS ViyaとCloud Analytics Service（CAS）に基づく、CASの構築基盤とサイバーセキュリティを説明します。そして、SASアナリティクスを本番環境でPythonで実装する方法を説明します。 2．What’s New in FCMP for SAS 9.4 and SAS Viya この論文では、下記いくつかポイントをメインとして議論していきます。まず、SASが提供しているFunctionコンパイラー（FCMP）の新しい特徴を紹介し、それから主にFCMPアクションセットを中心とし、リアルタイムアナリティクススコアリングコンテナ（ASTORE）とPythonのインテグレーションについても説明します。それらの説明により、SASの新しいテクノロジーに対し、更なる理解を頂けることを期待しています。 3．Influencer Marketing Analytics using SAS® Viya® この論文はSAS Viyaを使って、マーケティングアナリティクスを行う事例を紹介します。近来、マーケティングはますますインフルエンサーが大きな役割をしめるようになってきています。それらのインフルエンサーたちはソーシャルメディアのコンテンツ作成者であり、多くのフォロワーを持ち、人々の意見に影響を与え、購入を検討する人々にも影響を与えています。インフルエンサーマーケティングは、より伝統的なマーケティングチャンネルと同じようにコストがかかるため、企業にとって最も効果的なインフルエンサーを選択することは非常に重要です。 こういった背景において、この論文では、ソーシャルメディアで本当に影響力をもつ人、そしてその影響程度はなにかについて分析することを目指しています。ケーススタディは、感情面の影響を与えることに焦点を当てています。また、多くのフォロワーを持つインフルエンサーとその色んな投稿とアクティビティを分析します。実施するには、Pythonのライブラリとコードが使用されます。次に、彼らのアクティビティとネットワークを分析して、それらの影響範囲を分析します。これらの分析には、SAS Viyaのテキストおよびネットワーク分析機能が使用されます。データ収集ステップ（Python）はクライアントとしてJupyter Notebookを使用していますが、分析ステップは主にSAS Visual Text Analytics（Model Studio）とSAS Visual Analyticsを使用して行われています。 4．Take
