Many applications in mathematics and statistics require the numerical computation of the derivatives of smooth multivariate functions. For simple algebraic and trigonometric functions, you often can write down expressions for the first and second partial derivatives. However, for complicated functions, the formulas can get unwieldy (and some applications do not
"Exhausting, but exhilarating," said participants in Hack the Case – a unique, 10-day competition hosted by Ivey Business School, SAS, Deloitte and Scotiabank, with the assistance of the Centre for Advanced Computing, Queen’s University. Students from Ivey Business School’s Master of Science (MSc) in Management, Business Analytics start with a
背景の紹介 これまでのSAS製品は、SAS 9でもSAS Viya 3.5でも、ほとんどがWindowsやLinuxのプラットフォームで動作していました。 そのため、Windowsクライアントを持つユーザーは、SMBサービスやWindowsのファイル共有機能を介して、これらのプラットフォームに保存されたファイルに簡単にアクセスすることができていたのです。 SASが開発した最新のクラウドネイティブ・データアナリティクス・プラットフォーム「SAS Viya」は、WindowsやLinuxなどのOS上で直接動作するのではなく、コンテナ／ポッドの形でKubernetes（以下、K8s）上で動作し、従来の製品とはアーキテクチャが大きく変わっています。K8s上で動作するサービスのコンテナ内のデータは一時的なものなので消えてしまう特徴があります。この点に対して、お客様は最新の製品を使用する際に、K8sに保存したデータをローカルのWindowsシステムからどのようにアクセスするのか、SASで作成したレポートなどのデータをどこに保存するのかという疑問を持つことが多いようです。 今回は、下記の図の構造のような、K8sに保存されているファイルを、比較的簡単な方法でWindowsクライアントと共有する方法をご紹介したいと思います。 本記事の内容は、Microsoft Azure上にデプロイされたSAS Viya Stable 2021.2.3に基づいています。centos 7.9上で、kubectl、kustomization、azure cliなどのコマンドラインツールを利用する作業が含まれているので、Linux、Kubernetes、SAS ViyaのデプロイメントとAzureに関する一定の知識が必要です。また、お使いのクラウドベンダーや製品のバージョンによって、設定方法が異なる場合もありますので、詳細は各ドキュメントをご確認ください。 SAS Viya on Kubernetesが利用するストレージの紹介 まず、K8s上にデプロイされたSAS Viyaサービスを使用した場合のデータの保存方法について簡単に説明します。 例えば、SAS Studioを利用する場合、ユーザーがセッションを作成するたびに、SAS ViyaはK8s上に一つのコンテナを作成します。これは、ユーザーがセッションで実行したすべてのコードや操作がこのコンテナに入っているミニLinux内で実行されます。 ご存知のように、コンテナの最大の利点は、インストール作業や設定などが一切いらず、配置したらすぐに使えることです。コンテナが提供するサービスや機能を使用するために設定を行う必要はありませんが、同時に、コンテナ内のデータに加えた変更も保存されず、新しいセッションを作成するたびに、まったく同じ設定を持つまったく新しいコンテナが作成されます。 そのため、SAS Studioで作成した新しいデータを保存したい場合は、コンテナの外部にあるストレージに保存する必要があります。K8sではこの外部ストレージは永続ボリュームと呼びます。 永続ボリュームを利用することにより、SAS Studioのセッションが終了しても、作業中にユーザーが作成した新しいデータはちゃんと保存されています。次にユーザーが新しいセッションを作成する時、以前使用していた永続ボリュームが新しいセッションに自動的にマウントされ、ユーザーが永続ボリュームに保存されていたデータを使って引き続き作業できます。この記事で紹介するデータ共有方法も、こちらの永続ボリュームを利用しています。 データ共有するための設定方法 次に、K8sで作成したファイルをWindowsと共有する方法を紹介します。前述したように、作業中に発生したデータを永続ボリュームに保存することができるので、永続ボリュームをWindowsにマウントするだけで、作業用PCとK8sの間でデータを共有することができますが、実現方法は使用する永続ボリュームの外部ストレージの種類によって異なります。 AzureのK8sサービス上でSAS Viyaを利用する場合、使用する外部ストレージは、大体以下の3種類です。Azure Fileを共有ストレージとして使用する場合、追加のサーバは必要なく、使い方も比較的簡単なので、本記事ではAzure Fileを外部ストレージとして使用する場合の共有方法を紹介します。 - ネットワークファイルシステム（以下NFS） - Azure Disk - Azure File（本記事で紹介する方法） データを共有するためには、次のような手順が必要です。 これらの手順には、AzureとK8sの管理者権限と関連する知識が必要なため、一般的にはサーバ管理者やSAS Viya導入の担当者が行うことになることに注意してください。 １．ストレージクラスの作成 ２．永続ボリューム要求の作成
One of the driving forces of curiosity is diversity. As we approach International Women’s Day, we would like to highlight some of the women whose curiosity has been making big waves throughout the world. Look through each of these stories to see just how strong, curious and incredible women can
The application of IoT devices and artificial intelligence in healthcare presents numerous opportunities in use cases like training, research, end-of-life care, treatment, keeping well, early detection, diagnosis, and decision-making.
An experienced SAS programmer recently switched to SAS Viya and asked how to discover what products are available on his version of Viya. We discussed a few older SAS 9 procedures, and I showed him a new Viya-specific way to get information about his version of SAS and his licensed
With modern advancements in artificial intelligence, we can teach computers to achieve super-human performance in retro videogames.
In the last few weeks, I’ve had to catch myself saying the phrase “return to work” and quickly correct to “return to campus”. We’ve been working! That never changed. But for many of us who are looking to return to campus in some way shape or form, we are embarking
지난 1회에서는 날로 진화하는 자금세탁 유형에 스마트하게 대응하며 자금세탁 방지 의무를 준수하는 데 AI(인공지능)와 ML(머신러닝)이 어떤 도움을 줄 수 있는지, 그리고 이를 활용하는 전략으로 AML Compliance Analytics Maturity Model을 소개했습니다. 이번 글에서는 AI와 ML을 도입하기 위한 준비 단계인 ‘데이터 품질’에 이어, 나머지 성숙도 단계를 소개합니다. Level 1. 행동 모델(Behavioral Modeling)
SAS' Courtney Ambrozic highlights how to use SAS VDMML to assess lesion response to chemotherapy for patients with colorectal liver cancer.
It is important to be able to detect whether a numerical matrix is symmetric. Some operations in linear algebra require symmetric matrices. Sometimes, you can use special algorithms to factor a symmetric matrix. In both cases, you need to test a matrix for symmetry. A symmetric matrix must be square.
There are many phrases and terms we’ve all become familiar with throughout the pandemic and I’m sure the concept of “languishing” is one of them. If you hear Organizational Psychologist and Author Adam Grant talk about his experience of languishing, it was a video game with family members that helped
「お客様とFace to Faceで向き合うことができるという信用金庫の強みが、コロナ禍により十分発揮できなくなっています。そんな今だからこそ、業界のセントラルバンクである信金中金で、業界のデジタル化を推し進める役割を皆さんも一緒に担いませんか？」 信金中央金庫 しんきんイノベーションハブの狩野 詩生（かのう しゅう）氏は、アカデミア向けにアナリティクス・データサイエンスのキャリアを紹介するイベント「SAS アナリティクス・キャリアシンポジウム」でこう学生に問いかけました。 本イベントは、2021年12月22日（水）、SAS Japan六本木オフィスで開催され、同時にオンライン配信されました。「データサイエンティストが21世紀の最もセクシーな仕事」と言われて10年近くが経とうとしており、企業や組織でデータ活用の役割は徐々に広がりを見せていますが、どのようなスキルをどんな業務に活用しているかについては、まだ一般的ではありません。「データサイエンティストになりたい」と考える学生も、業務内容やキャリアを明確にイメージできないのではないでしょうか。このイベントでは、社会におけるアナリティクス・データサイエンスの活用をアカデミアに紹介するとともに、教育の側からのアプローチも論じます。 信金中央金庫は、全国の信用金庫の「セントラルバンク」として、信用金庫からの預金を投資・融資して運用しています。金融機関では、以前より金融リスクの管理や不正取引の検知の業務において、アナリティクスが活用されてきました。国の経済インフラを担う金融機関が健全な取引を行い、金融犯罪を防止するための対策は、監督省庁が目を光らせる規制業務であり、金融機関が必ず整備しなければいけない領域です。例えば、金融機関が保有している資産が将来どのような価値を持つのか、そのばらつきを予測するために統計学と金融工学をフル活用したり、また、国際犯罪組織による資金洗浄（マネー・ロンダリング）目的の海外送金を検知し、ストップをかけるために、統計モデルや機械学習モデルを構築したり、実は、データサイエンティストが世界の金融を支えているのです。 狩野氏は大学でマーケティングや経営学を専攻し、信金中央金庫で融資業務やコンサルティング業務を経験後、信用スコアリングモデルを作成・研究する業務に従事しました。信用スコアリングとは、端的に言えば、融資先が返済不能になる可能性がどれぐらいあるかを数値化することです。このために、場合分けのルールや統計モデルを活用します。また、最近では、EBM(Event Based Marketing)でのデータ活用に取り組んでいます。入出金データなどから、顧客の資金ニーズを予測し、適切なタイミングで商品を提案できるようにすることが狙いです。従来であれば、大まかな顧客カテゴリに応じた提案しかできなかったのが、予測モデルの活用により、よりパーソナライズされた提案ができるようになります。 このような目的のために、次のような業務があります。 どのようなデータをどのように受け取り、蓄積するかを設計する データのありかを整理し、内容を理解した上で、基礎分析により特徴を把握する 予測モデリングのためにデータの整形・加工を行う 統計学や機械学習を駆使してモデルを構築する データサイエンティストといえば、4番のモデル構築のスキルが重要に思われがちですが、それまでの準備も大切です。狩野氏は、データサイエンティストの業務において求められるスキルとして、「データ理解」「プログラミング」「モデル構築」に加え、「企画・立案」「サービス提供」を挙げています。特に、しんきんイノベーションハブのような組織では、顧客である信用金庫がどのように活用するかも考えてサービスを設計することが必要です。さらに、統計やデータ分析の専門家ではない顧客に説明し、使ってもらえるようにすることも求められています。特に金融機関のアナリティクス活用では「説明力」に重きが置かれており、モデリングにおいても、ブラックボックスのAI・機械学習より、説明力の高い統計モデルが利用されることが多いようです。 また、普段はSASやPythonプログラミングで業務にあたりますが、「どのような分析環境が利用できるかは組織によって異なるので、プログラミング言語については、広く勉強したほうが有利かもしれない」と狩野氏は述べました。「データ理解」についても、入社しないと業務についての知識を得ることは難しいので、組織のなかで学ぶ意欲とコミュニケーション力が重要になります。 信金中央金庫では、全国の信用金庫のデジタル体制の整備を担うため、幅広い業務があり、今後人材需要が高まります。データサイエンスに興味のある学生のみなさん、金融業界での活躍を目指してみませんか？ 学生のみなさんは、統計学や機械学習を用いた予測モデルについて、SAS Skill Builder for Students で学習することができます。特に、「Predictive Modeling Using Logistic Regression」や「Machine Learning Using SAS Viya」は、SASソフトウェアの学習と同時に、予測モデルを利用する目的や、モデル構築や評価での注意点を学習できます。SAS Skill Builder for Student については、こちらのブログ記事シリーズもご参照ください。
A SAS programmer asked an interesting question: If data in a time series has missing values, can you plot a dashed line to indicate that the response is missing at some times? A simple way to achieve this is by overlaying two lines. The first line (the "bottom" line in
This article implements Passing-Bablok regression in SAS. Passing-Bablok regression is a one-variable regression technique that is used to compare measurements from different instruments or medical devices. The measurements of the two variables (X and Y) are both measured with errors. Consequently, you cannot use ordinary linear regression, which assumes that
Sports leagues face a difficult task in creating a fair game schedule for their teams. Scheduling dates for sporting events is one of the first things that can go wrong in a season. By using optimization strategies, leagues can maximize their potential and fans can reap the benefits. Sports fans
팬데믹이 장기화되며 시작된 2022년, 도약을 위한 발판을 마련하기 위해 무엇에 집중해야 할까요? 의료, 소매 산업, 정부기관, 금융 사기, 데이터 윤리 등 각 분야의 SAS 전문가들과 인터뷰를 진행했습니다. 2022년 주목해야 할 분석 동향 및 전망 10가지를 소개합니다. 호기심, 미래를 만들어 가다 "호기심은 기업에게 있어 직업 만족도 향상뿐만 아니라 보다 혁신적인 산업직군
The waves of disruption just keep coming. Retailers have learned to make rapid pivots to catch and surf the big ones – but how are they doing with AI? NRF this year explored what it means to ride the AI wave in retail. We invited experts from Microsoft, Sitoo and
For some reason, SAS programmers like to express their love by writing SAS programs. Since Valentine's Day is next week, I thought I would add another SAS graphic to the collection of ways to use SAS to express your love. Last week, I showed how to use vector operation and
With containers, you can build once, run anywhere – no worries about underlying dependencies.
Corpus analysis is a technique widely used by data scientists because it provides an understanding of a document collection and provides insights into the text.
I recently showed how to find the intersection between a line and a circle. While working on the problem, I was reminded of a fun mathematical game. Suppose you make a billiard table in the shape of a circle or an ellipse. What is the path for a ball at
前回の記事では、学生であれば無料で利用可能なオンライン学習コース「Skill Builder for Students」のProgrammingコースについての概要を紹介しました。今回は引き続きまして、Visual Analytics and Visual Statisticsコースについて紹介していきます。 データアナリティクスへの興味・関心は近年急激に増加しています。ただ特に学習を始めた学生では、データアナリティクスと聞くと、どうしても複雑なモデルを組むことや機械学習を実施することだけに意識が向いている印象を受けます。しかしデータアナリティクスの本質はそこではありません。根幹にあるのは意思決定や業績の改善にどれほど貢献できるかです。データの可視化、見える化は学生ですとしばしば軽視されがちな部分ではありますが、意思決定や現状の把握においては非常に有用な有用な方法の一つです。 今回紹介するコースではSAS Viyaプラットフォーム上でSAS Visual AnalyticsとSAS Visual Statisticsを使用し、様々な可視化方法、予測モデルについて学習を行います。これらを学習することによってデータに潜む傾向やパターンを把握し、そしていかにその後のリスク管理や傾向の予測などへとつなげていくかといった実践的なデータアナリティクスを学ぶことが可能です。またSAS ViyaはSASによるプログラミング以外にもRやPythonといった他のプログラミング言語をサポートしているため、SASのコーディングができない方であっても不自由なく利用することが可能となっています。 Visual Analytics and Visual Statisticsコースへのアクセスは以下の手順です。 Skill Builder for Studentsへログイン 「Learn SAS」というタブをクリック 画面中央の「Start Learning」をクリック 「Visual Analytics and Visual Statistics」をクリック 展開される各種e-learningコースをクリック 画面下部にある「enroll」をクリック Visual Analytics and Visual Statisticsコースの概要 本コースは SAS Visual Analytics 1 for SAS
Inequities in cancer care cause specific populations in the U.S. and worldwide to bear a more significant burden of disease than the general population, based upon barriers. These barriers to prevention and care have long existed but were undeniably exacerbated by the COVID-19 pandemic. February 4 marks World Cancer Day, which
SAS' Pankaj Telang shows you new image-specific processing capabilities in SAS Visual Data Mining and Machine Learning.
Just over a year ago, we announced our strategic partnership with Microsoft. This partnership is critical to the way we serve our joint customers’ needs as they migrate and modernize with SAS® Viya® in the Microsoft Cloud. Here are five reasons why. Happy customers It all comes down to happy customers.
Amid historical and structural barriers, “quality cancer treatment for all” is a simple credo that is not easy to put into action. Cancer is recognized as a leading cause of death, accounting for more than 10 million deaths globally in 2020, according to the World Health Organization. Globally, people with
Recently, I needed to implement a line search algorithm in SAS. The line search is illustrated by the figure at the right. You start with a point, p, in d-dimensional space and a direction vector, v. (In the figure, d=2, but in general d > 1.) The goal is to
Recently, a SAS programmer commented about one of my blog posts. He said that he had found an alternative answer on another website. Whereas my answer was formulated in terms of the normal cumulative distribution function (CDF), the other answer used the ERF function. This article shows the relationship between
前回の記事では、学生であれば無料で利用可能なオンライン学習コース「Skill Builder for Students」についての紹介を行いました。このSkill Builder for Studentsには5つのコースが準備されており、今回の記事ではProgrammingコースについての概要を紹介します。このコースではSASプログラミング言語、そのコーディング方法について学習を行います。 近年、データ解析をプログラミングをせずに行うGUIデータ分析ツールが普及し始め、SASからもEnterprise Guideといった製品が提供されており、データ分析の民主化が進んでいます。もちろんこういったツールによって多くの人がデータ解析に関わる各種機能にアクセスできるようになったことは大変大きなメリットです。 しかし、もし将来データ解析を行う職に就きたいという思いがあるのであれば自分でコードを書き、前処理や解析を行うことができるようになるべきだと個人的には考えています。あくまで個人的な意見になりますがツールに依存してしまうと解析や前処理で実行できることには限界がありますし、またデータに関連する分野の学生であればシミュレーションなどを自由に行うことも難しいです。誤解がないように言うとGUIツールを使うことが悪というわけではなく、GUIのほうが生産性や共有性が高い場面もありますが、いざという時に自らの力で実装できるというのがプロフェッショナルなのではないでしょうか？ この記事を見ている方の大部分は、今後データ解析に本格的に携わっていきたい、自らのスキルを増やしたいという方だと考えています。このコースを修了したからと言ってデータ解析のプロフェッショナルになれるかというとそうではありません。しかし、その第一歩としては非常に良い内容だと思います。私自身もこのコースを受講しています。ぜひ一緒に学びましょう！！ Programmingコースへのアクセスは以下の手順です。 Skill Builder for Studentsへログイン 「Learn SAS」というタブをクリック 画面中央の「Start Learning」をクリック 「Programing」をクリック 展開される各種e-learningコースをクリック 画面下部にある「enroll」をクリック コース内にある各レッスンではそれぞれのテーマに沿った内容が動画で紹介がされており、また適宜「Activity」や「Practice」という形で問題も出題されています。学生という立場からの個人的な感想ですが、単に動画を視聴するだけではなく、手を動かしつつ学習を行うことができるという点は非常に良いと感じています。デモとして紹介されている内容についてもプログラミングコードやデータセットも提供がされているので、動画を見つつ別画面で同じ手順を踏むとより理解も深まるかなと思います。 なおこのオンライン学習コースはすべて英語での提供です。もし英語が苦手でちょっと....という方は、動画の下部に動画の内容がすべてテキスト化されているので、適宜翻訳をかけつつ学習を行っていただければいいかなと思います。 Programinngコースの概要 programmingコースでは統計解析を行うためのプログラミングだけではなく、そもそものSASプログラミングの構成や、グラフ・レポートの作成、マクロなどを幅広く学ぶことができます。この記事の最後にあるように8つの項目に分かれており、各項目にはさらに複数のLessonが準備されています。各項目に含まれるLessonをすべて終了すると学習完了を証明する「SAS digital Learn Badge」（下図）が発行されます。 コース内容を実行する環境としては大きく3つあります。 SAS Virtual LabのSAS Studio SAS OnDemand for Academics のSAS Stuido 自らが契約しているSASソフトウェア ただ、今回の学習にあたり推奨するのは一番上の「SAS Virtual Lab」です。各コースでは様々なデータセット、プログラミングファイルを使いますが、SAS virtual Labではそれらがすべて既に保管されています。SAS
