SAS' Xuejun Liao weighs the pros and cons of collaborative filtering and supervised learning and explores their use in a unified framework.
On this Pi Day, let's explore the "πth roots of unity." (Pi Day is celebrated in the US on 3/14 to celebrate π ≈ 3.14159....) It's okay if you've never heard of the πth roots of unity. This article starts by reviewing the better-known nth roots of unity. It then
Successful asset liability management in banks requires a modern analytics infrastructure.
Did you know that you can use π to partition the positive integers into two disjoint groups? It's not hard. One group is generated by the integer portions of multiples of π. The FLOOR function gives the integer portion of a positive number, so you can write integer that are
If you are an Enterprise Miner user, do not miss the opportunity to try out Model Studio in SAS Viya. I am sure you will love it!
During the SAS Hackathon, teams and mentors collaborate to find solutions to specific challenges. The hackathon is a win-win situation for all participants, from idea generation to the development of new technologies or solutions. The SAS Hackathon encourages developers to collaborate on practical ideas and offers employees the chance to
I previously showed how to use SAS to compute finite-difference derivatives for smooth scalar-valued functions of several variables. You can use the NLPFDD subroutine in SAS/IML software to approximate the gradient vector (first derivatives) and the Hessian matrix (second derivatives). The computation uses finite-difference derivatives to approximate the derivatives. The
以前の記事では、学生であれば無料で利用可能なオンライン学習コース「Skill Builder for Students」についての紹介を行いました。このSkill Builder for Studentsには5つのコースが準備されており、今回の記事ではStatistical Analysis, Predictive Modeling, and Machine Learningコースについての概要を紹介します。このコースでは統計的仮説検定から回帰分析、予測モデル、教師あり機械学習まで「統計・機械学習モデル」の基礎的な部分と、SASソフトウェアでの実践を学習することができます。 データ析を行う際には、しばしば統計モデルや数理モデルと呼ばれる「モデル」を利用します。このモデルの学術的理論や実装方法を学習する機会は多数ありますが、モデルを利用する目的をはっきり意識できているでしょうか。モデルは現象を数式等で模式的に表現したものですが、このようなモデルによる表現の目的が、その現象に対する説明を行いたいのか、未知のイベントの予測を行いたいのかを区別する必要があります。前者は記述的アナリティクス（および診断的アナリティクス）、後者は予測的アナリティクスと呼ばれます。 記述的・診断的アナリティクスでは、現象を観察して得られたデータから、その現象に関する情報の関連や因果関係を推測し、現象を説明することが目的です。例えば、住宅価格を考えるとき、価格を決定する要素（面積、駅からの距離、築年数、階数、近隣施設など）は何か、どの要素が最も価格と強い関係を持っているかといったことを理解するために統計モデルを活用します。 一方、予測的アナリティクスでは、面積や駅からの距離といった既知の情報から住宅の価格を推定・予測するためにモデルを活用します。記述的・診断的アナリティクスのような「現象の理解」よりも、「予測の精度」に注目することになります。 今回のコースは、このような「何のためにデータアナリティクスを行うのか」という点が特に意識されており、SASでの実装を紹介するだけではなく、統計学の概要、モデルを使って何を考えるのかについてのイメージや理論の説明が豊富に用意されています。近年、アナリティクスに関係する職種を目指す方が増加しており、統計検定に代表されるような資格を取得しようとしている方も多いと思います。それに伴い、関連した書籍・講座が世に出るようになってきていますが、手法のみに着目しているものも多く、「なぜ」、「どんな場面で」その手法を利用するのかをイメージできないものも見られます。今回この記事で紹介しているコースは、そのような今後データに関連する分野に関わっていきたいという初学者の方に特におすすめです。単に統計的手法の実施方法や結果の見方を紹介しているだけではなく、どういったモチベーションでその手法の利用を考えるのか、現実に起こり得るシナリオに沿って理解できる教材だと思います。 Statistical Analysis, Predictive Modeling, and Machine Learningコースへのアクセスは以下の手順です。 Skill Builder for Studentsへログイン 「Learn SAS」というタブをクリック 画面中央の「Start Learning」をクリック 「Statistical Analysis, Predictive Modeling, and Machine Learning」をクリック 展開される各種e-learningコースをクリック 画面下部にある「enroll」をクリック このコースは後述のように、6つの項目に分かれており、各項目にはさらに複数のLessonが準備されています。各項目に含まれるLessonをすべて終了すると学習完了を証明する「SAS digital Learn Badge」（下図）が発行されます。 コースで学習できる内容 Statistics 1:
Creating population health experts with strong analytical skills can make a significant impact in advancing health goals. That's why Duke University’s Department of Population Health Sciences (DPHS) master’s program is partnering with SAS to equip students with the skills they need to not only implement patient-level decisions and system-level change
Many applications in mathematics and statistics require the numerical computation of the derivatives of smooth multivariate functions. For simple algebraic and trigonometric functions, you often can write down expressions for the first and second partial derivatives. However, for complicated functions, the formulas can get unwieldy (and some applications do not
"Exhausting, but exhilarating," said participants in Hack the Case – a unique, 10-day competition hosted by Ivey Business School, SAS, Deloitte and Scotiabank, with the assistance of the Centre for Advanced Computing, Queen’s University. Students from Ivey Business School’s Master of Science (MSc) in Management, Business Analytics start with a
背景の紹介 これまでのSAS製品は、SAS 9でもSAS Viya 3.5でも、ほとんどがWindowsやLinuxのプラットフォームで動作していました。 そのため、Windowsクライアントを持つユーザーは、SMBサービスやWindowsのファイル共有機能を介して、これらのプラットフォームに保存されたファイルに簡単にアクセスすることができていたのです。 SASが開発した最新のクラウドネイティブ・データアナリティクス・プラットフォーム「SAS Viya」は、WindowsやLinuxなどのOS上で直接動作するのではなく、コンテナ／ポッドの形でKubernetes（以下、K8s）上で動作し、従来の製品とはアーキテクチャが大きく変わっています。K8s上で動作するサービスのコンテナ内のデータは一時的なものなので消えてしまう特徴があります。この点に対して、お客様は最新の製品を使用する際に、K8sに保存したデータをローカルのWindowsシステムからどのようにアクセスするのか、SASで作成したレポートなどのデータをどこに保存するのかという疑問を持つことが多いようです。 今回は、下記の図の構造のような、K8sに保存されているファイルを、比較的簡単な方法でWindowsクライアントと共有する方法をご紹介したいと思います。 本記事の内容は、Microsoft Azure上にデプロイされたSAS Viya Stable 2021.2.3に基づいています。centos 7.9上で、kubectl、kustomization、azure cliなどのコマンドラインツールを利用する作業が含まれているので、Linux、Kubernetes、SAS ViyaのデプロイメントとAzureに関する一定の知識が必要です。また、お使いのクラウドベンダーや製品のバージョンによって、設定方法が異なる場合もありますので、詳細は各ドキュメントをご確認ください。 SAS Viya on Kubernetesが利用するストレージの紹介 まず、K8s上にデプロイされたSAS Viyaサービスを使用した場合のデータの保存方法について簡単に説明します。 例えば、SAS Studioを利用する場合、ユーザーがセッションを作成するたびに、SAS ViyaはK8s上に一つのコンテナを作成します。これは、ユーザーがセッションで実行したすべてのコードや操作がこのコンテナに入っているミニLinux内で実行されます。 ご存知のように、コンテナの最大の利点は、インストール作業や設定などが一切いらず、配置したらすぐに使えることです。コンテナが提供するサービスや機能を使用するために設定を行う必要はありませんが、同時に、コンテナ内のデータに加えた変更も保存されず、新しいセッションを作成するたびに、まったく同じ設定を持つまったく新しいコンテナが作成されます。 そのため、SAS Studioで作成した新しいデータを保存したい場合は、コンテナの外部にあるストレージに保存する必要があります。K8sではこの外部ストレージは永続ボリュームと呼びます。 永続ボリュームを利用することにより、SAS Studioのセッションが終了しても、作業中にユーザーが作成した新しいデータはちゃんと保存されています。次にユーザーが新しいセッションを作成する時、以前使用していた永続ボリュームが新しいセッションに自動的にマウントされ、ユーザーが永続ボリュームに保存されていたデータを使って引き続き作業できます。この記事で紹介するデータ共有方法も、こちらの永続ボリュームを利用しています。 データ共有するための設定方法 次に、K8sで作成したファイルをWindowsと共有する方法を紹介します。前述したように、作業中に発生したデータを永続ボリュームに保存することができるので、永続ボリュームをWindowsにマウントするだけで、作業用PCとK8sの間でデータを共有することができますが、実現方法は使用する永続ボリュームの外部ストレージの種類によって異なります。 AzureのK8sサービス上でSAS Viyaを利用する場合、使用する外部ストレージは、大体以下の3種類です。Azure Fileを共有ストレージとして使用する場合、追加のサーバは必要なく、使い方も比較的簡単なので、本記事ではAzure Fileを外部ストレージとして使用する場合の共有方法を紹介します。 - ネットワークファイルシステム（以下NFS） - Azure Disk - Azure File（本記事で紹介する方法） データを共有するためには、次のような手順が必要です。 これらの手順には、AzureとK8sの管理者権限と関連する知識が必要なため、一般的にはサーバ管理者やSAS Viya導入の担当者が行うことになることに注意してください。 １．ストレージクラスの作成 ２．永続ボリューム要求の作成
One of the driving forces of curiosity is diversity. As we approach International Women’s Day, we would like to highlight some of the women whose curiosity has been making big waves throughout the world. Look through each of these stories to see just how strong, curious and incredible women can
The application of IoT devices and artificial intelligence in healthcare presents numerous opportunities in use cases like training, research, end-of-life care, treatment, keeping well, early detection, diagnosis, and decision-making.
An experienced SAS programmer recently switched to SAS Viya and asked how to discover what products are available on his version of Viya. We discussed a few older SAS 9 procedures, and I showed him a new Viya-specific way to get information about his version of SAS and his licensed
With modern advancements in artificial intelligence, we can teach computers to achieve super-human performance in retro videogames.
In the last few weeks, I’ve had to catch myself saying the phrase “return to work” and quickly correct to “return to campus”. We’ve been working! That never changed. But for many of us who are looking to return to campus in some way shape or form, we are embarking
지난 1회에서는 날로 진화하는 자금세탁 유형에 스마트하게 대응하며 자금세탁 방지 의무를 준수하는 데 AI(인공지능)와 ML(머신러닝)이 어떤 도움을 줄 수 있는지, 그리고 이를 활용하는 전략으로 AML Compliance Analytics Maturity Model을 소개했습니다. 이번 글에서는 AI와 ML을 도입하기 위한 준비 단계인 ‘데이터 품질’에 이어, 나머지 성숙도 단계를 소개합니다. Level 1. 행동 모델(Behavioral Modeling)
SAS' Courtney Ambrozic highlights how to use SAS VDMML to assess lesion response to chemotherapy for patients with colorectal liver cancer.
It is important to be able to detect whether a numerical matrix is symmetric. Some operations in linear algebra require symmetric matrices. Sometimes, you can use special algorithms to factor a symmetric matrix. In both cases, you need to test a matrix for symmetry. A symmetric matrix must be square.
There are many phrases and terms we’ve all become familiar with throughout the pandemic and I’m sure the concept of “languishing” is one of them. If you hear Organizational Psychologist and Author Adam Grant talk about his experience of languishing, it was a video game with family members that helped
「お客様とFace to Faceで向き合うことができるという信用金庫の強みが、コロナ禍により十分発揮できなくなっています。そんな今だからこそ、業界のセントラルバンクである信金中金で、業界のデジタル化を推し進める役割を皆さんも一緒に担いませんか？」 信金中央金庫 しんきんイノベーションハブの狩野 詩生（かのう しゅう）氏は、アカデミア向けにアナリティクス・データサイエンスのキャリアを紹介するイベント「SAS アナリティクス・キャリアシンポジウム」でこう学生に問いかけました。 本イベントは、2021年12月22日（水）、SAS Japan六本木オフィスで開催され、同時にオンライン配信されました。「データサイエンティストが21世紀の最もセクシーな仕事」と言われて10年近くが経とうとしており、企業や組織でデータ活用の役割は徐々に広がりを見せていますが、どのようなスキルをどんな業務に活用しているかについては、まだ一般的ではありません。「データサイエンティストになりたい」と考える学生も、業務内容やキャリアを明確にイメージできないのではないでしょうか。このイベントでは、社会におけるアナリティクス・データサイエンスの活用をアカデミアに紹介するとともに、教育の側からのアプローチも論じます。 信金中央金庫は、全国の信用金庫の「セントラルバンク」として、信用金庫からの預金を投資・融資して運用しています。金融機関では、以前より金融リスクの管理や不正取引の検知の業務において、アナリティクスが活用されてきました。国の経済インフラを担う金融機関が健全な取引を行い、金融犯罪を防止するための対策は、監督省庁が目を光らせる規制業務であり、金融機関が必ず整備しなければいけない領域です。例えば、金融機関が保有している資産が将来どのような価値を持つのか、そのばらつきを予測するために統計学と金融工学をフル活用したり、また、国際犯罪組織による資金洗浄（マネー・ロンダリング）目的の海外送金を検知し、ストップをかけるために、統計モデルや機械学習モデルを構築したり、実は、データサイエンティストが世界の金融を支えているのです。 狩野氏は大学でマーケティングや経営学を専攻し、信金中央金庫で融資業務やコンサルティング業務を経験後、信用スコアリングモデルを作成・研究する業務に従事しました。信用スコアリングとは、端的に言えば、融資先が返済不能になる可能性がどれぐらいあるかを数値化することです。このために、場合分けのルールや統計モデルを活用します。また、最近では、EBM(Event Based Marketing)でのデータ活用に取り組んでいます。入出金データなどから、顧客の資金ニーズを予測し、適切なタイミングで商品を提案できるようにすることが狙いです。従来であれば、大まかな顧客カテゴリに応じた提案しかできなかったのが、予測モデルの活用により、よりパーソナライズされた提案ができるようになります。 このような目的のために、次のような業務があります。 どのようなデータをどのように受け取り、蓄積するかを設計する データのありかを整理し、内容を理解した上で、基礎分析により特徴を把握する 予測モデリングのためにデータの整形・加工を行う 統計学や機械学習を駆使してモデルを構築する データサイエンティストといえば、4番のモデル構築のスキルが重要に思われがちですが、それまでの準備も大切です。狩野氏は、データサイエンティストの業務において求められるスキルとして、「データ理解」「プログラミング」「モデル構築」に加え、「企画・立案」「サービス提供」を挙げています。特に、しんきんイノベーションハブのような組織では、顧客である信用金庫がどのように活用するかも考えてサービスを設計することが必要です。さらに、統計やデータ分析の専門家ではない顧客に説明し、使ってもらえるようにすることも求められています。特に金融機関のアナリティクス活用では「説明力」に重きが置かれており、モデリングにおいても、ブラックボックスのAI・機械学習より、説明力の高い統計モデルが利用されることが多いようです。 また、普段はSASやPythonプログラミングで業務にあたりますが、「どのような分析環境が利用できるかは組織によって異なるので、プログラミング言語については、広く勉強したほうが有利かもしれない」と狩野氏は述べました。「データ理解」についても、入社しないと業務についての知識を得ることは難しいので、組織のなかで学ぶ意欲とコミュニケーション力が重要になります。 信金中央金庫では、全国の信用金庫のデジタル体制の整備を担うため、幅広い業務があり、今後人材需要が高まります。データサイエンスに興味のある学生のみなさん、金融業界での活躍を目指してみませんか？ 学生のみなさんは、統計学や機械学習を用いた予測モデルについて、SAS Skill Builder for Students で学習することができます。特に、「Predictive Modeling Using Logistic Regression」や「Machine Learning Using SAS Viya」は、SASソフトウェアの学習と同時に、予測モデルを利用する目的や、モデル構築や評価での注意点を学習できます。SAS Skill Builder for Student については、こちらのブログ記事シリーズもご参照ください。
A SAS programmer asked an interesting question: If data in a time series has missing values, can you plot a dashed line to indicate that the response is missing at some times? A simple way to achieve this is by overlaying two lines. The first line (the "bottom" line in
This article implements Passing-Bablok regression in SAS. Passing-Bablok regression is a one-variable regression technique that is used to compare measurements from different instruments or medical devices. The measurements of the two variables (X and Y) are both measured with errors. Consequently, you cannot use ordinary linear regression, which assumes that
Sports leagues face a difficult task in creating a fair game schedule for their teams. Scheduling dates for sporting events is one of the first things that can go wrong in a season. By using optimization strategies, leagues can maximize their potential and fans can reap the benefits. Sports fans
팬데믹이 장기화되며 시작된 2022년, 도약을 위한 발판을 마련하기 위해 무엇에 집중해야 할까요? 의료, 소매 산업, 정부기관, 금융 사기, 데이터 윤리 등 각 분야의 SAS 전문가들과 인터뷰를 진행했습니다. 2022년 주목해야 할 분석 동향 및 전망 10가지를 소개합니다. 호기심, 미래를 만들어 가다 "호기심은 기업에게 있어 직업 만족도 향상뿐만 아니라 보다 혁신적인 산업직군
The waves of disruption just keep coming. Retailers have learned to make rapid pivots to catch and surf the big ones – but how are they doing with AI? NRF this year explored what it means to ride the AI wave in retail. We invited experts from Microsoft, Sitoo and
For some reason, SAS programmers like to express their love by writing SAS programs. Since Valentine's Day is next week, I thought I would add another SAS graphic to the collection of ways to use SAS to express your love. Last week, I showed how to use vector operation and
With containers, you can build once, run anywhere – no worries about underlying dependencies.
Corpus analysis is a technique widely used by data scientists because it provides an understanding of a document collection and provides insights into the text.
