Logs. They can be an administrator’s best friend or a thorn in their side. Thankfully, the chances of that happening with your SAS Viya 3.3 deployment is greatly reduced due to the automatic log management in SAS Viya, which archives log files every day.
For software users and SAS administrators, the question of how to streamline their approach into the easiest to use system that most effectively completes the task at hand. At SAS Global Forum 2018, the topic of a “Big Red Button” for the SAS Platform was an idea that got audience members excited. Here's a review of that talk.
SAS Viya is our latest extension of the SAS Platform and interoperable with SAS® 9.4. There were a number of SAS Viya presentations at SAS Global Forum 2018. In this series, we will review several of the most interesting talks. This post reviews Hadley Christoffels’ talk, A Need For Speed: Loading Data via the Cloud.
SASでは、従来からSAS Viyaの機能をPythonなど各種汎用プログラミング言語から利用するためのパッケージであるSWATを提供していました。 これに加え、よりハイレベルなPython向けAPIパッケージであるDLPyの提供も開始され、PythonからViyaの機能をより効率的に活用することが可能となっています。 ※DLPyの詳細に関しては以下サイトをご覧ください。 https://github.com/sassoftware/python-dlpy DLPyとは DLPyの機能（一部抜粋） １．DLPyとは DLPyは、Viya3.3以降のディープラーニングと画像処理（image action set）のために作成された、Python API向けハイレベルパッケージです。DLPyではKerasに似たAPIを提供し、ディープラーニングと画像処理のコーディングの効率化が図られています。既存のKerasのコードをほんの少し書き換えるだけで、SAS Viya上でその処理を実行させることも可能になります。 例えば、以下はCNNの層の定義例です。Kerasに酷似していることがわかります。 DLPyでサポートしているレイヤは、InputLayer, Conv2d, Pooling, Dense, Recurrent, BN, Res, Proj, OutputLayer、です。 以下は学習時の記述例です。 ２．DLPyの機能（一部抜粋） 複数のイルカとキリンの画像をCNNによって学習し、そのモデルにテスト画像を当てはめて予測する内容を例に、DLPyの機能（一部抜粋）を紹介します。 ２－１．メジャーなディープラーニング・ネットワークの実装 DLPyでは、事前に構築された以下のディープラーニングモデルを提供しています。 VGG11/13/16/19、 ResNet34/50/101/152、 wide_resnet、 dense_net また、以下のモデルでは、ImageNetのデータを使用した事前学習済みのweightsも提供（このweightsは転移学習によって独自のタスクに利用可能）しています。 VGG16、VGG19、ResNet50、ResNet101、ResNet152 以下は、ResNet50の事前学習済みのweightsを転移している例です。 ２－２．CNNの判断根拠情報 heat_map_analysis()メソッドを使用し、画像の何処に着目したのかをカラフルなヒートマップとして出力し、確認することができます。 また、get_feature_maps()メソッドを使用し、CNNの各層の特徴マップ（feature map）を取得し、feature_maps.display()メソッドを使用し、取得されたfeature mapの層を指定して表示し、確認することもできます。 以下は、レイヤー１のfeature mapの出力結果です。 以下は、レイヤー１８のfeature mapの出力結果です。 ２－３．ディープラーニング＆画像処理関連タスク支援機能 ２－３－１．resize()メソッド：画像データのリサイズ ２－３－２．as_patches()メソッド：画像データ拡張（元画像からパッチを生成） ２－３－３．two_way_split()メソッド：データ分割（学習、テスト） ２－３－４．plot_network()メソッド：定義したディープラーニングの層（ネットワーク）の構造をグラフィカルな図として描画 ２－３－５．plot_training_history()メソッド：反復学習の履歴表示
前回の「ディープラーニングの判断根拠」ブログでは、PythonからSAS Viyaの機能を活用するためのパッケージであるSWATを使用した例を説明しましたが、今回は、以下２点に関してご紹介します。 SAS ViyaのよりハイレベルなPython APIであるDLPyを使用した画像認識モデルの判断根拠情報 機械学習の判断根拠情報 １．SAS ViyaのよりハイレベルなPython APIであるDLPyを使用した画像認識モデルの判断根拠情報 この例では、複数のイルカとキリンの画像をSAS Viyaのディープラーニング（CNN）で学習させ、そのモデルに以下の画像を当てはめて、これがイルカなのか否かを判別するものです。 実際、この画像はイルカであると判定されたんですが。 SAS Viyaでは、その判断根拠となり得る情報の一つとして、入力画像のどこに着目したのかを以下の通り出力し、確認できるようになっています。 DLPyでは、get_feature_maps()メソッドでfeature mapを取得し、feature_map.display()で指定したレイヤーの内容を表示することができます。 以下は、レイヤー1のfeature mapです。 以下は、レイヤー18のfeature mapです。 白色の濃淡で、判別に影響を与えている箇所を確認することができます。 さらに、SAS Viyaでは、画像認識モデルの判断根拠情報を可視化する手法の一つである、Grad-CAMと同様に、画像の何処に着目したのかを、カラフルなヒートマップとして出力し、確認することもできるようになっています。 しかも、heat_map_analysis()メソッドを使用して、以下の通り、たった１行書くだけでです。 青、緑、赤の濃淡で、判別に影響を与えている箇所を確認することができます。 DLPyの詳細に関しては、以下をご覧ください。 https://github.com/sassoftware/python-dlpy ２．機械学習の判断根拠情報 もちろんディープラーニングだけではなく、従来からの機械学習のモデルによって導き出された予測や判断に関しても、それがなぜ正しいと言えるのか、具体的に言えば、なぜAさんはこの商品を買ってくれそうだと判断されたのか、なぜこの取引データは疑わしいと判断されたのか、を説明する必要性があるわけです。特に説明責任が求められるような業務要件においては、 ということでSAS Viyaの次期版には機械学習の判断根拠情報、モデル内容を説明するための機能が実装される予定です。 まず、影響度が最も高い変数は、という問いに対しては、従来からの変数の重要度で確認することができます。これをさらに一段掘り下げたものが、Partial Dependence (PD)です。 日本語では「部分従属」と言いますが。重要度の高い変数は、予測に対して、具体的にはどのように作用しているのかを知ることができます。 そしてこのPDを元にさらに一段掘り下げたものが、Individual Conditional Expectation (ICE)になります。 また、これらとは別に、なぜその予測結果に至ったのかを説明するテクニックとしてLocal Interpretable Model-agnostic Explanations (LIME)を活用することができます。 SAS Viyaベースの製品であるSAS Visual Data Mining and
The European Union’s General Data Protection Regulation (GDPR) taking effect on 25 May 2018 pertains not only to organizations located within the EU; it applies to all companies processing and holding the personal data of data subjects residing in the European Union, regardless of the company’s location. Here are four selected SAS tools for GDPR that allow you to protect personal data in SAS reports by suppressing counts in small demographic group reports.
Analyzing ticket sales and customer data for large sports and entertainment events is a complex endeavor. But SAS Visual Analytics makes it easy, with location analytics, customer segmentation, predictive artificial intelligence (AI) capabilities – and more. This blog post covers a brief overview of these features by using a fictitious event company
A future of flying cars and Minority Report-styled predictive dashboards may still be some time away, but the possibilities of robotics and Artificial Intelligence (AI)-powered automation are a reality today. From connected cars to smart homes and offices, we see daily how big data and the Internet of Things (IoT)
前回、この機能を紹介した際には、海外に実在する施設や地図上での活用例をご覧いただきました。 その続編となる今回は、以下の２点に関してご紹介します。 （尚、以下のデモ画面に表示されている数値（座席数、利用率、収益率、等）はすべてダミーデータです） １．日本地図上に実在する施設に対するカスタム境界線分析 ２．カスタム境界線機能で、こんなことまでできるなんて… １．日本地図上に実在する施設に対するカスタム境界線分析 私は埼玉県さいたま市に在住しているのですが、だからというわけではありませんが、今回は、埼玉スタジアムの座席レイアウトを地図上の埼玉スタジアム上に描画してみました。（図１.参照） 図１．埼玉スタジアム地図上に描画された、観客席レイアウト 図１．では、「客席別利用率」ページが表示されています。 左側には客席ゾーン別の座席数が棒グラフで表示され、右側には、スタジアムの客席レイアウトが表示され、利用率によって色分けされています。また、棒グラフ上でゾーンCが選択され、スタジアム内の対応する客席の部分がハイライトされている状態です。 もちろん、SAS Visual Analytics（以降、VA）の標準機能を使用して、特定の客席エリアをクリックし、そのエリアのチケット料金や、収益の推移、などの詳細情報をポップアップで表示させることも可能です。 右側の地図が本当に埼玉スタジアムのある地点なのかを分かりやすく見ていただくために、図２．ではズームアウトしたものも載せました。埼玉スタジアムは国道122号線沿いにあるんですね。 図２．図１．から地図を少しズームアウトした状態 以下の図３．は同じレポート内の「ゾーン別客席マップ」ページです。棒グラフのゾーン別の色に合わせて、客席エリアの色を合わせたものです。 図３．「ゾーン別客席マップ」ページ ２．カスタム境界線機能で、こんなことまでできるなんて… 実は、VAの地図描画用オブジェクトである、「ジオマップ」では、地図を非表示にすることができます。 あれ？、地図描画用の機能なのに、地図を非表示にする意味あるの？と思われるかと思いますが、これがあるんですね。 その一例をご紹介します。 以下の図４．は、とある列車の車両内の座席別収益率を分析するレポートです。座席ごとの収益率が色分けで表示されています。（座席別に収益率を把握する必要があるかどうかは別のお話ですが） 図４．列車内座席別収益率レポート この座席レイアウトも「ジオマップ」オブジェクトを使用し、地図上に描画されているものなのですが、地図は境界線（領域）を描くためには必要ですが、この例のような場合は、描いた後は地図が必要ないので非表示にしているわけです。地図を非表示にしていること以外は、その他の例と同様に、チャートやアナリティクスとのインタラクション等はもちろん可能です。 上記の図４．でも、座席別収益率の棒グラフ上で、最も収益率の低い座席（右端の棒）を選択し、該当の座席位置をハイライト表示しています。 SAS Visual Analytics on SAS Viyaでは、こんなこともできるんですね。 例えば、人体図の中の内臓別の疾患状況をビジュアルに分析する、工場内プラントの設備（工程）ごとの稼働状況を図解でビジュアルに可視化し分析する、店舗内の商品陳列棚別の在庫状況や売上状況を図解でビジュアルに可視化し分析する…なんていうこともできそうですね。
DESCENDING BY Variables in DATA Step Code that Runs Distributed in SAS Viya
La fortaleza que tiene la analítica ahora es la revolución de las tecnologías como la inteligencia artificial (IA) y el aprendizaje automático. Esta amalgama de innovaciones le da a las empresas, de todas las industrias, la oportunidad de llevar a cabo las percepciones que obtienen de sus datos a una
This post is an introduction to SAS Visual Forecasting 8.2. We'll build a Visual Forecasting (VF) Pipeline, which is a process flow diagram whose nodes represent tasks in the VF Process. The objective is to show how to perform the full analytics life cycle with large volumes of data: from accessing data and assigning variable roles accurately, to building forecasting models, to select a champion model and overriding the system generated forecast.
The release of SAS Viya 3.3 has brought some nice data quality features. In addition to the visual applications like Data Studio or Data Explorer that are part of the Data Preparation offering, one can leverage data quality capabilities from a programming perspective. Here is an overview of SAS Data Quality 3.3 programming capabilities.
You can now enable Kerberos delegation across the SAS Platform, using a single strong authentication mechanism across that single platform. As always with configuring Kerberos authentication the prerequisites, in terms of Service Principal Names, service accounts, delegation settings, and keytabs are important for success.
When speed is required at scale, it's hard to beat parallel processing data in memory with DS2 and SAS® Viya® with the amazing Cloud Analytic Services (CAS)!
Inspired by curiosity and backed by the most powerful analytics in the world, SAS discovers a new planet in our Solar system. See how we used SAS Viya to make this historic discovery.
Gradient boosting is one of the most widely used machine learning models in practice. See how to use gradient boosting model for classification in SAS Visual Data Mining and Machine Learning.
Learn about the new feature of SAS Viya 3.3 that enables Kerberos delegation throughout the environment. It allows you to have end-user sessions in SAS Cloud Analytics Services that are able to use Kerberos to connect to Secured Hadoop.
With SAS Viya 3.3, a new data transfer mechanism Multi Node Data Transfer has been introduced to transfer data between the data source and the SAS’ Cloud Analytics Services. Learn more about this feature.
With the release of SAS Viya 3.3, you now have the ability to pass implicit SQL queries to a variety of SQL data sources, including Hive. Here's what happens as users write SAS compliant SQL code.
+Las empresas de todo el mundo están cambiando radicalmente su manera de operar y de relacionarse con clientes y socios. Se encuentran en plena transformación digital y capitalizan tendencias clave para evolucionar, como la nube, el Internet de las Cosas, la inteligencia artificial y la analítica, entre otras. De igual
みなさんご存知の通り、SAS Visual AnalyticsはセルフサービスBI&Analyticsツールで、ビジネスユーザー自身で簡単にレポートやダッシュボードを作成することができます。その際、標準で備わっている数多くのチャートオブジェクトを使用することができますが、お客様要件によっては、標準のチャートタイプだけでは表現できないものもあります。それに答えるためにSAS Visual Analytics 8.2（以下VA）には大きく２つの機能が用意されています。 データドリブンコンテンツ 地図上のカスタム境界線描画 １番目の「データドリブンコンテンツ」とは、サードパーティのビジュアライゼーション・ライブラリ（D3.js, C3, Google Chart Toolsなど）と連携することで、チャートタイプやビジュアルのバリエーションを大幅に拡張可能な機能ですが、 今回は、２番目の「地図上のカスタム境界線描画」機能に関してご紹介します。 VAに標準搭載のチャートオブジェクトには地図描画のための「ジオマップ」オブジェクトが含まれています。この機能を活用することで、例えば、地図上で隕石落下地点と被害の度合いを分析（図１.参照）したり、都道府県別の売上や店舗別の顧客数などをビジュアライズし、分析（図２.参照）することができます。 図１．隕石落下地点と被害の度合い分析ダッシュボード 図２．店舗別の売上と利益をバブルのサイズと色で表示 地図描画のタイプとしては、図１の「座標」、図２の「バブル」以外に「領域」を選択可能です。 「座標」とは、地図上の該当ポイントに円形や星形などのアイコンを表示するものです。 そして、「領域」では、基本的に地図上の国の境界線や、その一つ下のレベルである州や都道府県の境界線領域を描画します。例えばアメリカの州や日本の都道府県の領域を指定した値に基づき色分けして表示するものです。（図３.参照） 図３．都道府県ごとの売上分析 さらに、地図上に表示するこの「領域」をカスタムで描画することが可能で、これを「カスタム境界線（領域）」描画機能と呼んでいます。 この機能を活用することで、例えば、特定施設内の人や物の動線を描画したり、家屋ごとのソーラー発電量を実際の地図上に描画することなども可能になります。 その基本的な手順を、アメリカにあるコロラド・コンベンション・センター（以下CCC）内のミーティングフロアにある各種の会議室領域の描画を例に、以下に示します。 図４. VAレポート上に表示された完成版（部屋ごとの面積などを色分けして描画することができます） CCCのフロアレイアウト画像を入手し、市販ツールあるいはオープンソース製品を使用し、Esri shapeファイルを作成 Esri ShapeファイルをVA環境にインポート インポートしたデータに基づきカスタム境界線（領域）をレポート上に描画 1. CCCのフロアレイアウト画像を入手し、市販ツールあるいはオープンソース製品を使用し、Esri Shapeファイルを作成 この例では市販のEsri Desktopツールを使用し、CCCのサイトから入手したフロアレイアウトの画像をEsri地図上に重ね（図5.参照）、部屋の輪郭をなぞって描き（図6.参照）、結果をEsri Shapeファイルとして保存（図7.参照）します。（詳細に関しては、使用するツールのマニュアルを御覧ください。） 図5. Esri地図上のCCCのある地点の上に、CCCのフロアレイアウト画像を重ねる 図6. 部屋の輪郭をなぞって描く（描いた領域ごとにIDを設定しておきます。この例ではRooｍID） 図7. 結果をEsri Shapeファイルとして保存 2. Esri ShapeファイルをVA環境にインポート VA環境に実装されているマクロ%SHPIMPRTを使用し、Esri ShapeファイルをSAS Datasetに変換（以降Shapeデータ）し、VA環境（インメモリー）にロードします。 詳細は、以下サポートサイトにあるSAS Viya管理者（Administration）マニュアルを御覧ください。 https://support.sas.com/documentation/onlinedoc/viya/index.html
In meiner Funktion als Academic Program Manager unterstütze ich Hochschulen in den Themengebieten künstliche Intelligenz (KI), Data Science und Business Analytics. Einer der am häufigsten geäußerten Wünsche ist, dass seitens SAS, Use-Cases zur Verfügung gestellt werden. Keine theoretischen Gebilde, sondern echte, reale Daten von Firmen mit einem handfesten Business-Problem, das
This is a continuation of my previous blog post on SAS Data Studio and the Code transform. In this post, I will review some additional examples of using the Code transform in a SAS Data Studio data plan to help you prepare your data for analytic reports and/or models. Create
SAS Visual Analytics 8.2 introduces the Hidden Data Role. This role can accept one or more category or date data items which will be included in the query results but will not be displayed with the object. You can use this Hidden Data Role in: Mapping Data Sources. Color-Mapped Display
SAS Viya 3.3 introduced a set of command-line interfaces that SAS Viya administrators will find extremely useful. The command-line interfaces(CLI) will allow administrators to perform numerous administrative tasks in batch as an alternative to using the SAS Environment Manager interface. In addition, calls to the CLI’s can be chained together
인공지능 활용 엔터프라이즈 분석 가능한 ‘SAS 플랫폼’ 최신 오퍼링 출시 SAS 코리아, 최신 머신러닝·자연어처리 등 인공지능(AI) 활용 분석 기능 강화 머신러닝·자연어처리로 비정형 데이터 가치 극대화 및 전 과정 시각화하는 엔드투엔드 비주얼 환경 제공 웹 인터페이스로 전체 분석 라이프사이클을 통합하고, 초보자부터 전문가까지 전사 협업 지원 미국적십자사·시스코·뮌헨재보험 등 도입… 분석 인사이트로 비즈니스
The R SWAT package (SAS Wrapper for Analytics Transfer) enables you to upload big data into an in-memory distributed environment to manage data and create predictive models using familiar R syntax. In the SAS Viya Integration with Open Source Languages: R course, you learn the syntax and methodology required to
予測モデル生成において、従来は、人が考えてデータの中から特徴を抽出する必要がありましたが、ディープラーニングでは、この特徴を自動的に抽出して学習することが可能になっています。 半面、どのように特徴が抽出されているのかに関しては、基本的にはブラックボックスであり、説明責任が求められるような業務要件では、その分析結果を業務に活用することが難しい場合もあります。 しかし、近年ディープラーニングから出てきた結果の根拠＝判断根拠を可視化する手法がいくつか考案されてきています。 関連情報サイト： https://qiita.com/icoxfog417/items/8689f943fd1225e24358 https://pair-code.github.io/saliency/ http://blog.brainpad.co.jp/entry/2017/07/10/163000 SAS Viyaでは、各種のディープラーニング（DNN, CNN, RNN）を用いた学習が可能ですが、今回はCNNを用いた画像認識において、判断根拠となり得る情報の出力に関してご紹介します。 この例は、複数のイルカの画像をCNNで学習し、対象の画像（写真）がイルカなのかどうかを判別するものです。 モデルを作成後、以下の画像をモデルに当てはめてスコアリングを実施。 この画像は「イルカ」だと判定されたのですが、その判断根拠の一つとして、以下のように、この画像のどの部分がより重要であると判断されているのかを可視化することが可能になっています。 【レイヤー1のfeature map】 【レイヤー18のfeature map】 SAS Viyaでは、モデルのスコアリング時のオプションとして、指定したレイヤ（層）の特徴マップ（feature map）を画像として指定ライブラリに出力することが可能です。 ＞＞ スコアリング用のアクション：”dlScore” の layerOut={出力先ライブラリとテーブル名} オプションと layers={出力対象レイヤ名} オプション ＞＞ 上図はライブラリに出力された画像（feature map）を表示したものです。
In this article, I will set out clear principles for how SAS Viya 3.3 will interoperate with Kerberos. My aim is to present some overview concepts for how we can use Kerberos authentication with SAS Viya 3.3. We will look at both SAS Viya 3.3 clients and SAS 9.4M5 clients.
