Machine Learning

Get the latest machine learning algorithms and techniques

Analytics | Data Visualization | Machine Learning | SAS Events
Gregor Herrmann 0
Aus der Praxis: 5 Erkenntnisse zum Thema Data Mining und Machine Learning

Beim diesjährigen SAS Forum Deutschland in Bonn boten Sascha Schubert und ich einige Hands-on-Sessions zu Data Science und Analytics an. Nichts Neues, denken Sie wahrscheinlich. Aber mir sind einige Veränderungen zu vorherigen Events aufgefallen, die meiner Ansicht nach auf einen größeren Umbruch in der analytischen Landschaft verweisen. Hier also meine

Advanced Analytics | Artificial Intelligence | Machine Learning
Andreas Becks 0
A reality check on artificial intelligence: Potential, limits and consequences

Gartner expects artificial intelligence (AI) to create 2 million new jobs by 2025. AI and machine learning are already an important part of business processes and business areas in many companies and organisations, making everyday work easier, optimising interactions with customers, reliably predicting the failure of machines or supporting the

Advanced Analytics | Analytics | Customer Intelligence | Data Visualization | Machine Learning
Suneel Grover 0
SAS Customer Intelligence 360: Factorization machines, visual analytics, and personalized marketing

In a previous posting, SAS Customer Intelligence 360 was highlighted in the context of delivering relevant product, service, and content recommendations using automated machine learning within digital experiences. Shifting gears, SAS recognizes there are different user segments for our platform. This post will focus on building custom analytical recommendation models

Advanced Analytics | Analytics | Artificial Intelligence | Machine Learning
「Pipefitter」の応用 ~CNN(特徴抽出器)+機械学習(分類器)でCNNの欠点を補完

前回は、SASの「Pipefitter」の基本的な使用方法を紹介しました。続く今回は、基本内容を踏まえ、ひとつの応用例を紹介します。 SAS Viyaのディープラーニング手法の一つであるCNNを「特徴抽出器」として、決定木、勾配ブースティングなどを「分類器」として使用することで、データ数が多くないと精度が出ないCNNの欠点を、データ数が少なくても精度が出る「従来の機械学習手法」で補強するという方法が、画像解析の分野でも応用されています。 以下は、SAS Viyaに搭載のディープラーニング(CNN)で、ImageNetのデータを学習させ、そのモデルに以下の複数のイルカとキリンの画像をテストデータとして当てはめたモデルのpooling層で出力した特徴空間に決定木をかけている例です。 In [17]:,4) 以下はCNNの構造の定義です。 Build a simple CNN model   In [18]: from dlpy import Model, Sequential from dlpy.layers import * from dlpy.applications import *   In [19]: model1 = Sequential(sess, model_table='Simple_CNN')   Input Layer   In [20]: model1.add(InputLayer(3, 224, 224, offsets=tr_img.channel_means))   NOTE: Input

Fraud & Security Intelligence | Machine Learning
Magdalene Ruhnau 0
Fraud Investigation – oder die Wechselwirkung von Mensch und Maschine

Die Digitalisierung bringt enorme Potenziale für Unternehmen: individualisierte Kundenansprache, spezifische bedürfnisorientierte Angebote, bessere Steuerbarkeit der Kundeninteraktion – all dies dient letztlich der Umsatzsteigerung und der Befriedigung der Shareholder. Doch es sind nicht nur Unternehmen, die die Herausforderung der Digitalisierung von Prozessen und Produkten annehmen und ihren Profit daraus schlagen, sondern

Advanced Analytics | Analytics | Artificial Intelligence | Machine Learning

SASでは、Python向けパッケージ/ライブラリとして、機械学習のパイプラインの実装を簡素化する「Pipefitter」を提供しています。 SASの「Pipefitter」パッケージは、SAS Viyaまたは、SAS v9の反復可能なワークフローの一つの段階として、データ変換とモデルフィッティング向けパイプラインを開発するためのPython APIを提供します。 このパッケージを使用すると、SASでデータを操作して、次のような処理を実装できます: ・欠損値補完 ・デシジョンツリー、ニューラルネットワーク、およびその他の機械学習テクニックを使用したパラメータ推定値の適合 ・ハイパーパラメータチューニングを使用したモデル選択の高速化 ・スコアリングとモデル評価 「Pipefitter」のもう一つの重要な特徴は、SASが提供する他の2つのPythonパッケージの能力に基づいていることです。 SWAT: SAS Viyaプラットフォームのインメモリー分析エンジンであるSAS Cloud Analytic Services(CAS)を活用し様々なデータ操作や分析を可能にするPython向けパッケージ SASPy: SAS9.4の機能を活用し、分析、データ操作、および視覚化を行うためのPython向けパッケージ ロジスティック回帰でのパラメータ推定などのパイプライン処理は、SASPyを介してSAS 9で、SWATを介してCASで同じように実行されるように設計されています。 以下は、タイタニック号の乗船者データに基づくパイプラインの例です。 まず、KaggleのサイトからPandas DataFrameにデータをダウンロードします。 In [1]: import pandas as pd In [2]: train = pd.read_csv('')   In [3]: train.head() Out[3]: PassengerId Survived Pclass 0 1 0 3 1 2 1

Analytics | Customer Intelligence | Internet of Things | Machine Learning
Max Ardigò 0
Machine learning to (re)learn about the consumer's genome

An interview with Gaetano Giannetto, CEO of Epipoli/Groupalia Transparency and quality of algorithms will form the basis of a new alliance and a new balance between companies and their customers. “Data intelligence becomes a competitive advantage only if you’re able to use it,” according to Gaetano Giannetto, CEO of Epipoli,

Advanced Analytics | Internet of Things | Machine Learning
Adam Goldsmith 0
Steak & chips - how IoT and machine learning will disrupt risk in Animal Insurance

On the face of it, a partnership between the Internet of Things (IoT) and animals is not an obvious one. However, a number of trials and larger-scale implementations of IoT use with household pets and in farming are showing that connected ’Smudge’ and ‘Daisy’ can provide real benefits. This should

Advanced Analytics | Artificial Intelligence | Machine Learning
Mark Bakker 0
From concept to value — the machine learning curve

Advanced analytics is an important part of artificial intelligence (AI). Machine learning, or the ability of computers to learn from data, rather than through programming rules, means that more complex problems can be addressed than would otherwise be possible. It is significantly easier to supply lots of data and examples

Analytics | Artificial Intelligence | Machine Learning
Charlie Chase 0
Will artificial intelligence replace humans?

We have entered the “second machine age.” The first machine age began with the industrial revolution, which was driven primarily by technology innovation. The ability to generate massive amounts of mechanical power made humans more productive. Where the steam engine started the industrial revolution, the second machine age has taken

Analytics | Fraud & Security Intelligence | Machine Learning
Shaun Barry 0
Machine Learning predicts victory for Spain. Fraud fighters should pay attention!

“Machine Learning” is a trendy term being kicked around (pun intended) by fraud fighters around the world. In fact, Machine Learning is such a popular term that it is becoming a staple in buzzword bingo games. Here’s a little secret about machine learning… many of the people who talk about

Advanced Analytics | Artificial Intelligence | Machine Learning
Ilknur Kaynar Kabul 0
Interpret model predictions with partial dependence and individual conditional expectation plots

Continuing our series on model interpretability, this post explains two methods for plotting variables that can give insight into how a model is working. Assessing a model`s accuracy usually is not enough for a data scientist who wants to know more about how a model is working. Often data scientists

Advanced Analytics | Artificial Intelligence | Machine Learning
Yue Qi 0
Recurrent neural networks: An essential tool for machine learning

Sequence models, especially recurrent neural network (RNN) and similar variants, have gained tremendous popularity over the last few years because of their unparalleled ability to handle unstructured sequential data. The reason these models are called “recurrent” is that they work with data that occurs in a sequence, such as text

Machine Learning
SAS Viya:ディープラーニング&画像処理用Python API向けパッケージ:DLPy

SASでは、従来からSAS Viyaの機能をPythonなど各種汎用プログラミング言語から利用するためのパッケージであるSWATを提供していました。 これに加え、よりハイレベルなPython向けAPIパッケージであるDLPyの提供も開始され、PythonからViyaの機能をより効率的に活用することが可能となっています。 ※DLPyの詳細に関しては以下サイトをご覧ください。 DLPyとは DLPyの機能(一部抜粋) 1.DLPyとは DLPyは、Viya3.3以降のディープラーニングと画像処理(image action set)のために作成された、Python API向けハイレベルパッケージです。DLPyではKerasに似たAPIを提供し、ディープラーニングと画像処理のコーディングの効率化が図られています。既存のKerasのコードをほんの少し書き換えるだけで、SAS Viya上でその処理を実行させることも可能になります。 例えば、以下はCNNの層の定義例です。Kerasに酷似していることがわかります。 DLPyでサポートしているレイヤは、InputLayer, Conv2d, Pooling, Dense, Recurrent, BN, Res, Proj, OutputLayer、です。 以下は学習時の記述例です。 2.DLPyの機能(一部抜粋) 複数のイルカとキリンの画像をCNNによって学習し、そのモデルにテスト画像を当てはめて予測する内容を例に、DLPyの機能(一部抜粋)を紹介します。 2-1.メジャーなディープラーニング・ネットワークの実装 DLPyでは、事前に構築された以下のディープラーニングモデルを提供しています。 VGG11/13/16/19、 ResNet34/50/101/152、 wide_resnet、 dense_net また、以下のモデルでは、ImageNetのデータを使用した事前学習済みのweightsも提供(このweightsは転移学習によって独自のタスクに利用可能)しています。 VGG16、VGG19、ResNet50、ResNet101、ResNet152 以下は、ResNet50の事前学習済みのweightsを転移している例です。 2-2.CNNの判断根拠情報 heat_map_analysis()メソッドを使用し、画像の何処に着目したのかをカラフルなヒートマップとして出力し、確認することができます。 また、get_feature_maps()メソッドを使用し、CNNの各層の特徴マップ(feature map)を取得し、feature_maps.display()メソッドを使用し、取得されたfeature mapの層を指定して表示し、確認することもできます。 以下は、レイヤー1のfeature mapの出力結果です。 以下は、レイヤー18のfeature mapの出力結果です。 2-3.ディープラーニング&画像処理関連タスク支援機能 2-3-1.resize()メソッド:画像データのリサイズ 2-3-2.as_patches()メソッド:画像データ拡張(元画像からパッチを生成) 2-3-3.two_way_split()メソッド:データ分割(学習、テスト) 2-3-4.plot_network()メソッド:定義したディープラーニングの層(ネットワーク)の構造をグラフィカルな図として描画 2-3-5.plot_training_history()メソッド:反復学習の履歴表示

Machine Learning
SAS Viya: ディープラーニングと機械学習の判断根拠情報

前回の「ディープラーニングの判断根拠」ブログでは、PythonからSAS Viyaの機能を活用するためのパッケージであるSWATを使用した例を説明しましたが、今回は、以下2点に関してご紹介します。 SAS ViyaのよりハイレベルなPython APIであるDLPyを使用した画像認識モデルの判断根拠情報 機械学習の判断根拠情報 1.SAS ViyaのよりハイレベルなPython APIであるDLPyを使用した画像認識モデルの判断根拠情報 この例では、複数のイルカとキリンの画像をSAS Viyaのディープラーニング(CNN)で学習させ、そのモデルに以下の画像を当てはめて、これがイルカなのか否かを判別するものです。 実際、この画像はイルカであると判定されたんですが。 SAS Viyaでは、その判断根拠となり得る情報の一つとして、入力画像のどこに着目したのかを以下の通り出力し、確認できるようになっています。 DLPyでは、get_feature_maps()メソッドでfeature mapを取得し、feature_map.display()で指定したレイヤーの内容を表示することができます。 以下は、レイヤー1のfeature mapです。 以下は、レイヤー18のfeature mapです。 白色の濃淡で、判別に影響を与えている箇所を確認することができます。 さらに、SAS Viyaでは、画像認識モデルの判断根拠情報を可視化する手法の一つである、Grad-CAMと同様に、画像の何処に着目したのかを、カラフルなヒートマップとして出力し、確認することもできるようになっています。 しかも、heat_map_analysis()メソッドを使用して、以下の通り、たった1行書くだけでです。 青、緑、赤の濃淡で、判別に影響を与えている箇所を確認することができます。 DLPyの詳細に関しては、以下をご覧ください。 2.機械学習の判断根拠情報 もちろんディープラーニングだけではなく、従来からの機械学習のモデルによって導き出された予測や判断に関しても、それがなぜ正しいと言えるのか、具体的に言えば、なぜAさんはこの商品を買ってくれそうだと判断されたのか、なぜこの取引データは疑わしいと判断されたのか、を説明する必要性があるわけです。特に説明責任が求められるような業務要件においては、 ということでSAS Viyaの次期版には機械学習の判断根拠情報、モデル内容を説明するための機能が実装される予定です。 まず、影響度が最も高い変数は、という問いに対しては、従来からの変数の重要度で確認することができます。これをさらに一段掘り下げたものが、Partial Dependence (PD)です。 日本語では「部分従属」と言いますが。重要度の高い変数は、予測に対して、具体的にはどのように作用しているのかを知ることができます。 そしてこのPDを元にさらに一段掘り下げたものが、Individual Conditional Expectation (ICE)になります。 また、これらとは別に、なぜその予測結果に至ったのかを説明するテクニックとしてLocal Interpretable Model-agnostic Explanations (LIME)を活用することができます。 SAS Viyaベースの製品であるSAS Visual Data Mining and

Analytics | Artificial Intelligence | Data for Good | Machine Learning
Analytics recognizes familiar faces among the vulnerable in society

Lately, the media has again been focusing on the debate about how we can do more for society's vulnerable groups, including children. This is an important debate and an area that we at SAS already have much experience with: when you apply analytics to the right data, something important happens.

Artificial Intelligence | Data Management | Machine Learning
Roger Thomas 0
Magic vs monetization: AI tips for manufacturing executives

Remember the military computer Joshua from the 1983 Matthew Broderick movie WarGames? Joshua learned how to “play a game” by competing against other computers, got confused about reality, and nearly started WWIII. As depicted in that movie, Joshua isn’t all that different from Google’s DeepMind, which became a superhuman chess

Advanced Analytics | Machine Learning
Lasse Skydstofte 0
Minority Report risk-based monitoring: Find the hidden potential

Most of us have probably seen Steven Spielberg's 2002 sci-fi movie Minority Report, starring Tom Cruise. In an “absurd” future society, a special police unit hunts future criminals before they commit their crimes and the illegal activity takes place. The police use sci-fi tools, such as “pre-visualisation,” to stop the lawbreakers

Analytics | Artificial Intelligence | Machine Learning
Mauricio González 0
Analítica, automatización e inteligencia impulsan la modernización del sector salud

Recientemente, el Instituto Mexicano del Seguro Social (IMSS) llevó a cabo la segunda edición de las Olimpiadas de la Innovación, evento en el que se reunieron las autoridades sanitarias, prestadores de servicios y empresas de tecnología para conocer los avances que hacen posible prestar una atención segura, efectiva, oportuna y

Analytics | Artificial Intelligence | Fraud & Security Intelligence | Machine Learning
Héctor Cobo 0
SAS Global Forum: Los datos se transforman en inteligencia

La fortaleza que tiene la analítica ahora es la revolución de las tecnologías como la inteligencia artificial (IA) y el aprendizaje automático. Esta amalgama de innovaciones le da a las empresas, de todas las industrias, la oportunidad de llevar a cabo las percepciones que obtienen de sus datos a una

Analytics | Artificial Intelligence | Customer Intelligence | Machine Learning
John Hawkins 0
Energy and electricity, market disruption and new dynamics

There is general agreement that the electricity and energy market is changing in a wide variety of ways. There is, however, less agreement on the likely effects of these changes. This makes it extremely hard for energy companies to know precisely where to target investment, but there are ways of

1 2 3 4 5 10

Back to Top