This article shows how to construct a butterfly plot in SAS. A butterfly plot (also called a butterfly chart) is a comparative bar chart or histogram that displays the distribution of a variable for two subpopulations. A butterfly plot for the cholesterol readings of 5,057 patients in a medical study
Amor e matemática. Quase não se consegue imaginar dois mundos mais afastados. No entanto Hannah Fry provou que as matemáticas podem descobrir o segredo de um relacionamento bem-sucedido e prever um divórcio. Conversámos com a professora da UCL e perguntámos sobre a relação que os humanos têm com as novas
Andy Dufresne, the wrongly convicted character in The Shawshank Redemption, provocatively asks the prison guard early in the film: “Do you trust your wife?” It’s a dead serious question regarding avoiding taxes on a recent financial windfall that had come the guard's way, and leads to events that eventually win
You can still register for the 38th annual International Symposium on Forecasting, being held June 17-20 in Boulder, Colorado, at the foothills of the Rockies. Beyond the daily keynotes and over 150 presentations of new research, a separate Practitioner Track features talks on the application of forecasting research to organizational
In a recent blog post, Chris Hemedinger used a scatter plot to show the result of 100 coin tosses. Chris arranged the 100 results in a 10 x 10 grid, where the first 10 results were shown on the first row, the second 10 were shown on the second row, and so
SASでは、従来からSAS Viyaの機能をPythonなど各種汎用プログラミング言語から利用するためのパッケージであるSWATを提供していました。 これに加え、よりハイレベルなPython向けAPIパッケージであるDLPyの提供も開始され、PythonからViyaの機能をより効率的に活用することが可能となっています。 ※DLPyの詳細に関しては以下サイトをご覧ください。 https://github.com/sassoftware/python-dlpy DLPyとは DLPyの機能（一部抜粋） １．DLPyとは DLPyは、Viya3.3以降のディープラーニングと画像処理（image action set）のために作成された、Python API向けハイレベルパッケージです。DLPyではKerasに似たAPIを提供し、ディープラーニングと画像処理のコーディングの効率化が図られています。既存のKerasのコードをほんの少し書き換えるだけで、SAS Viya上でその処理を実行させることも可能になります。 例えば、以下はCNNの層の定義例です。Kerasに酷似していることがわかります。 DLPyでサポートしているレイヤは、InputLayer, Conv2d, Pooling, Dense, Recurrent, BN, Res, Proj, OutputLayer、です。 以下は学習時の記述例です。 ２．DLPyの機能（一部抜粋） 複数のイルカとキリンの画像をCNNによって学習し、そのモデルにテスト画像を当てはめて予測する内容を例に、DLPyの機能（一部抜粋）を紹介します。 ２－１．メジャーなディープラーニング・ネットワークの実装 DLPyでは、事前に構築された以下のディープラーニングモデルを提供しています。 VGG11/13/16/19、 ResNet34/50/101/152、 wide_resnet、 dense_net また、以下のモデルでは、ImageNetのデータを使用した事前学習済みのweightsも提供（このweightsは転移学習によって独自のタスクに利用可能）しています。 VGG16、VGG19、ResNet50、ResNet101、ResNet152 以下は、ResNet50の事前学習済みのweightsを転移している例です。 ２－２．CNNの判断根拠情報 heat_map_analysis()メソッドを使用し、画像の何処に着目したのかをカラフルなヒートマップとして出力し、確認することができます。 また、get_feature_maps()メソッドを使用し、CNNの各層の特徴マップ（feature map）を取得し、feature_maps.display()メソッドを使用し、取得されたfeature mapの層を指定して表示し、確認することもできます。 以下は、レイヤー１のfeature mapの出力結果です。 以下は、レイヤー１８のfeature mapの出力結果です。 ２－３．ディープラーニング＆画像処理関連タスク支援機能 ２－３－１．resize()メソッド：画像データのリサイズ ２－３－２．as_patches()メソッド：画像データ拡張（元画像からパッチを生成） ２－３－３．two_way_split()メソッド：データ分割（学習、テスト） ２－３－４．plot_network()メソッド：定義したディープラーニングの層（ネットワーク）の構造をグラフィカルな図として描画 ２－３－５．plot_training_history()メソッド：反復学習の履歴表示
前回の「ディープラーニングの判断根拠」ブログでは、PythonからSAS Viyaの機能を活用するためのパッケージであるSWATを使用した例を説明しましたが、今回は、以下２点に関してご紹介します。 SAS ViyaのよりハイレベルなPython APIであるDLPyを使用した画像認識モデルの判断根拠情報 機械学習の判断根拠情報 １．SAS ViyaのよりハイレベルなPython APIであるDLPyを使用した画像認識モデルの判断根拠情報 この例では、複数のイルカとキリンの画像をSAS Viyaのディープラーニング（CNN）で学習させ、そのモデルに以下の画像を当てはめて、これがイルカなのか否かを判別するものです。 実際、この画像はイルカであると判定されたんですが。 SAS Viyaでは、その判断根拠となり得る情報の一つとして、入力画像のどこに着目したのかを以下の通り出力し、確認できるようになっています。 DLPyでは、get_feature_maps()メソッドでfeature mapを取得し、feature_map.display()で指定したレイヤーの内容を表示することができます。 以下は、レイヤー1のfeature mapです。 以下は、レイヤー18のfeature mapです。 白色の濃淡で、判別に影響を与えている箇所を確認することができます。 さらに、SAS Viyaでは、画像認識モデルの判断根拠情報を可視化する手法の一つである、Grad-CAMと同様に、画像の何処に着目したのかを、カラフルなヒートマップとして出力し、確認することもできるようになっています。 しかも、heat_map_analysis()メソッドを使用して、以下の通り、たった１行書くだけでです。 青、緑、赤の濃淡で、判別に影響を与えている箇所を確認することができます。 DLPyの詳細に関しては、以下をご覧ください。 https://github.com/sassoftware/python-dlpy ２．機械学習の判断根拠情報 もちろんディープラーニングだけではなく、従来からの機械学習のモデルによって導き出された予測や判断に関しても、それがなぜ正しいと言えるのか、具体的に言えば、なぜAさんはこの商品を買ってくれそうだと判断されたのか、なぜこの取引データは疑わしいと判断されたのか、を説明する必要性があるわけです。特に説明責任が求められるような業務要件においては、 ということでSAS Viyaの次期版には機械学習の判断根拠情報、モデル内容を説明するための機能が実装される予定です。 まず、影響度が最も高い変数は、という問いに対しては、従来からの変数の重要度で確認することができます。これをさらに一段掘り下げたものが、Partial Dependence (PD)です。 日本語では「部分従属」と言いますが。重要度の高い変数は、予測に対して、具体的にはどのように作用しているのかを知ることができます。 そしてこのPDを元にさらに一段掘り下げたものが、Individual Conditional Expectation (ICE)になります。 また、これらとは別に、なぜその予測結果に至ったのかを説明するテクニックとしてLocal Interpretable Model-agnostic Explanations (LIME)を活用することができます。 SAS Viyaベースの製品であるSAS Visual Data Mining and
SAS 솔루션으로 다양한 종류의 심층 신경망(DNN;Deep Neural Network) 모델을 구축할 수 있습니다. 구체적으로 컨볼루션 신경망(convolutional neural networks), 순환 신경망(recurrent neural networks), 순방향 신경망(feedforward neural networks), 오토인코더 신경망(autoencoder neural networks) 등을 생성할 수 있는데요. 오늘은 ‘SAS VDMML(Visual Data Mining and Machine Learning)'을 이용해 딥러닝 모델을 구축하는 방법을 자세히 설명해 드리고자 합니다. ‘SAS 클라우드 분석 서비스’를 활용한 딥러닝
Editor-in-Chief Len Tashman's Preview of Foresight The Spring 2018 issue of Foresight—the 49th since our beginning in 2005—opens with a feature section on Supply Chain forecasting. More specifically, it addresses the very critical matter of how a company should determine its service-level targets, or the probability that no shortages occur between the time
During SAS Global Forum 2018, I sat down with four SAS users to get their take on what makes a SAS user. Read through to find valuable tips they shared and up your SAS game. I’m sure you will come away inspired, as you discover some universal commonalities in being a SAS user.
We all are now learning to live with the EU’s General Data Protection Regulation. It has often been viewed as a challenge and a requirement, a box that needs to be ticked before everyone can get on with doing their day jobs again. Recently, however, I have noticed a slight change
Stigma and discrimination in behavioral health, while improving, remain obstacles to people seeking care. And any obstacles need to be addressed, because those struggling with behavioral health and mental illness are simply not getting the help they need. According to the National Institute of Mental Health, “The percentage of young
Don't be a data hoarder. Jim Harris shares guidelines for a data retention strategy.
Part 6 of this series takes us to the first Dutch SAS partner, PW Consulting, where I talked with Technical Director Willem Boersma, Data Scientist Wouter Hordijk and Sales Manager Jeroen de Nooijer. Company overview PW Consulting was founded in 1988, one year after SAS Netherlands opened. For those who
15일 삼성동 코엑스 인터컨티넨탈 호텔에서 SAS 고객, 파트너, 산업별 전문가 650여명이 참석한 가운데 <SAS FORUM KOREA 2018>이 성황리에 개최됐습니다. 이번 포럼에서는 인공지능(AI), 머신러닝, 사물인터넷(IoT) 등 최신 기술을 활용한 고급 분석 전략과 다양한 비즈니스 혁신 사례가 논의됐는데요. 지금부터 그 현장의 하이라이트를 소개합니다! 먼저 오병준 SAS코리아 대표이사가 환영사를 통해 오늘날 애널리틱스 이코노미
In my article about how to construct calibration plots for logistic regression models in SAS, I mentioned that there are several popular variations of the calibration plot. The previous article showed how to construct a loess-based calibration curve. Austin and Steyerberg (2013) recommend the loess-based curve on the basis of
In a recent #SASchat we explored the intersection of artificial intelligence and human creativity. Posing questions like, "How is AI impacting human creativity?" And, "What will it take for the public to fully trust AI?" In the lively online conversation, a few themes prevailed: Automation enabled by AI frees humans
Im Gastbeitrag beschreibt Metacoda, wie die SAS Platform datenschutzkonform betrieben werden kann, und welche Tools dabei helfen. Sobald Unternehmen Kunden aus der Europäischen Union bedienen und deren persönliche Daten verarbeiten, muss zukünftig die Datenschutz-Grundverordnung, kurz DSGVO, eingehalten werden. Das sagt Ihnen nichts? Diese Grafik gibt einen ersten Überblick über die neue
A logistic regression model is a way to predict the probability of a binary response based on values of explanatory variables. It is important to be able to assess the accuracy of a predictive model. This article shows how to construct a calibration plot in SAS. A calibration plot is
Open data is critical to research, particularly at universities. The many university students that attend SAS Global Forum bring an energy and vitality to the conference that is unmistakable. They’re everywhere…in sessions, social activities, out on the town and, of course, the academic events. This year, 150 of them graced
Joyce Norris-Montanari shares insights and tips about data security and privacy.
For those of you who weren't able to attend SAS Global Forum 2018, you can still learn a lot from the content shared there. Gain knowledge from your SAS family. SAS Global Forum 2018 papers and videos now available.
소비자들은 다양한 산업에 빠르게 도입되고 있는 인공지능(AI)을 어떻게 받아들이고 있을까요? SAS가 최근 미국인 500명을 대상으로 조사한 결과, 소비자들은 금융이나 소매 분야보다 의료 산업의 인공지능 기술을 더욱 편안하게 여기는 것으로 나타났습니다. 특히 응답자의 47%는 수술 중에도 기꺼이 인공지능 기술의 도움을 받겠다고 답했는데요. 또 10명 중 6명(60%)은 의사가 애플워치나 핏비트와 같은 웨어러블 기기의 데이터를
In a previous blog post, I discussed ways to produce statistically independent samples from a random number generator (RNG). The best way is to generate all samples from one stream. However, if your program uses two or more SAS DATA steps to simulate the data, you cannot use the same
In this blog post you'll find out the top 10 bestselling titles at SAS Global Forum 2018.
I have good news to share about the future. Despite what you may have heard elsewhere, the future of work in a world with artificial intelligence (AI) is not all doom and gloom. And thanks to a research-backed book from Malcolm Frank, What to Do When Machines Do Everything, we
WARNING: This blog post references Avengers: Infinity War and contains story spoilers. But it also contains useful information about random number generators (RNGs) -- tempting! If you haven't yet seen the movie, you should make peace with this inner conflict before reading on. Throughout the movie, Thanos makes it clear
Datasets can present themselves in different ways. Identical data can bet arranged differently, often as wide or tall datasets. Generally, the tall dataset is better. Learn how to convert wide data into tall data with PROC TRANSPOSE.
Do you periodically delete unneeded global macro variables? You should! Deleting macro variables releases memory and keeps your symbol table clean. Learn how the macro language statement that deletes global macro variables and about the %DELETEALL statement that can be a life saver for macro programmers.
Remember the military computer Joshua from the 1983 Matthew Broderick movie WarGames? Joshua learned how to “play a game” by competing against other computers, got confused about reality, and nearly started WWIII. As depicted in that movie, Joshua isn’t all that different from Google’s DeepMind, which became a superhuman chess
