Many of the buzzy applications of AI in healthcare we hear about involve medical IoT, computer vision for radiology or disease prediction. But the fact is, many health institutions that just aren’t there yet with adoption. With limited budgets and dated systems, can public health agencies tap into the power
The potential for artificial intelligence (AI) and the Internet of Things (IoT) to transform the way health care and therapies are delivered is tremendous. It’s not surprising that the health care and life sciences industries are being flooded with information about how these new technologies will change everything. While it’s
In the second of three posts on using automated analysis with SAS Visual Analytics, we used the automated analysis object to get a better understanding of our variable of interest, X-Sell and Up-sell Flag, and how it is influenced by other variables in our dataset. In this third and final
„Für mich heißt Internet of Things, dass hier alles rotiert wie in einem Wäschetümmler und es weder Durcheinander noch Stillstand gibt.“ Frau Dönmek hatte Lenin und mich am Werkstor in Cedorf abgeholt und uns gleich in die Halle zu ihrer Anlage geführt: „Wir arbeiten an der Kapazitätsgrenze. Was wir wegen
You're the operations director for a major telco's contact center. Your customer-care workers enjoy solving problems. Turning irate callers into fans makes their day. They also hate flying blind. They've been begging you for deeper insight into customer data to better serve their callers. They want to know which customers
Parte I: Introducción Parte II: Partial Dependence Plots Repasemos como llegamos hasta acá. Desde hace varios años los algoritmos de machine learning nos ofrecen una mejora sustancial en sus capacidades, son cada vez más precisos. Además, gracias a la optimización hiperparamétrica, el analista puede utilizar el tiempo de prueba y
“Las mamás tienen muchos trabajos, porque son cocineras, manejadoras (chofer), curadoras (enfermeras), organizadoras de fiestas, cuidan la plata, noteras (¡canso a las seños con notitas!) pero cuando estás en el otro trabajo, ¿de qué trabajas?” Flor, 5 años. Amé la visión de mi hija más pequeña. Pero si le dijera
The data revolution is causing disruption everywhere. Even governments are feeling the effects. While the public sector may be less prepared for the impending changes, government has good reasons to embrace the data revolution. First, governments have been collecting data for years. They have lots of data. This supports programs,
Once again, I have chosen to take a traditional Christmas song or carol and create a fun technology-related version of it to share with you. This is the fifth year and the eighth song, so I hope you enjoy your 2018 holiday song. Grandma got over run by a neural
Data management gets lost in the enthusiasm around Artificial intelligence (AI) and machine learning (ML). Not surprising, when it's an algorithm that decides what search results to show you, guides the self-driving cars on the roads, and powers the anti-fraud bots that monitor every credit card transaction we make. Charles
Se promueve como el fin de semana más esperado, creado para reactivar la economía de México: el Buen Fin, que en su versión 2018 se celebra del 16 al 19 de noviembre. De acuerdo con la Secretaría de Economía (SE), se prevé que la derrama económica de este año supere
Como se indica su nombre, las tiendas de conveniencia se han convertido en los puntos de venta donde los consumidores no sólo pueden adquirir muchos de los productos que requieren a diario, en el momento que lo deseen, sino también realizar pagos de servicios, abonar saldo o a sus líneas
Artificial intelligence often seems misunderstood, especially in fraud. The same is true of machine learning. One of the amazing things about them is they ask the unasked questions. This occurs as artificial intelligence (AI) and machine learning (ML) go about their daily work. So, what is the unasked question? Too
El Estudio de Evasión Fiscal Global, realizado por la Universidad de las Américas Puebla (UDLAP), por encargo del SAT, revela que la evasión fiscal le cuesta a México alrededor de $510,000 millones de pesos, particularmente en rubros como el impuesto sobre la renta, el impuesto al valor agregado y combustibles
“Antes de correr, hay que aprender a caminar” es una consigna que hemos escuchado en diferentes momentos. Sin duda, fue una recomendación hecha por nuestros padres, y hoy vuelve a resonar cuando queremos emprender enormes proyectos de innovación e implementar las últimas novedades y tendencias tecnológicas en nuestras organizaciones. Muchos
La analítica y la Inteligencia Artificial (IA) están rebasando las fronteras empresariales. Esto quedó de manifiesto en la versión 2018 de Analytics Experience (AX), un evento anual realizado por SAS, donde expertos y visionarios dieron cuenta de los alcances que estas tecnologías están registrando en diversas áreas del quehacer humano.
¿Hace cuánto que no acude personalmente a un banco a cambiar un cheque o hacer el pago de un servicio? Seguramente, le está siendo difícil recordar cuál fue el motivo de su última visita a la sucursal más cercana. Ahora bien, ¿cuándo utilizó por última vez el portal web de
La Inteligencia Artificial (IA) salió de los libros y las películas de ciencia ficción. Actualmente es parte de la vida cotidiana de millones de personas alrededor del mundo: está presente en sus dispositivos móviles, en sus navegadores, en las plataformas que utilizan para reproducir música y video, cuando compran en
Los seres humanos aprendemos todo el tiempo. Desde el momento en que nacemos, tomamos información de nuestro entorno, la asimilamos y la utilizamos a nuestro favor para sobrevivir y prosperar. Por ejemplo, aprendemos a leer uniendo letras y palabras, formando oraciones y entendiendo un texto. Gracias a las conexiones neuronales
Ya no es ciencia ficción. Prácticamente todos los días interactuamos con ella. La Inteligencia Artificial (IA) vive, literalmente, en nuestros teléfonos inteligentes, en nuestros sitios web favoritos, en el buscador que utilizamos a diario y en los sistemas de información que operan las empresas. Gracias a esta innovación, hoy las
Soccer has been on my mind since the recent tournament in Russia, and fraud is always on my mind. Fighting fraud today means thinking about artificial intelligence (AI) and machine learning (ML). Everyone says so. Like me, you probably wonder how AI and ML work – especially in fraud. What
ディープラーニング＆画像処理用Python API向けパッケージ：DLPyでは、DLPyの基本的な機能を紹介しました。その中で、ディープラーニングの判断根拠となり得る情報、つまり入力画像のどこに着目しているのかをカラフルなヒートマップとして出力することができるheat_map_analysis()メソッドに触れました。 今回は、heat_map_analysis()メソッドを使用して、ヒートマップを出力する際に指定可能な有効なオプションに関していくつか紹介します。 GPU活用 ヒートマップ解析時の判別（予測）処理再実行回避 ヒートマップ出力対象画像タイプ（正・誤判別）指定 ヒートマップ出力対象画像指定 １．GPU活用 SAS Viyaのディープラーニングでは、ネットワークの層ごとにGPUを使用するかどうかの指定が可能ですが、ヒートマップを出力する際にも、指定したテストデータをモデルに当てはめての予測処理は実行されることになるので、同様にGPUを使用することが可能です。 GPUを使用することで、ヒートマップ出力の時間を短縮することができます。 ２．ヒートマップ解析時の判別（予測）処理再実行回避 最初にheat_map_analysis()メソッドを実行する際には、モデルにテストデータを当てはめて判別（予測）処理が行われますが、以降、heat_map_analysis()メソッドを使用して、必要な判断根拠情報を再出力する際には、最初の実行時に計算された値を再利用するので、都度再計算（判別・予測処理）は行わず、より効率的、迅速に、ヒートマップを出力することができます。 「１．GPU活用」でのheat_map_analysis()メソッドではパラメータとして「data=te_img」が指定され、モデルにテストデータを当てはめていましたが、下記の再実行の例では、このパラメータは指定されず、結果のメッセージにも「Using results from model.predict()」と、実行済みの計算結果が使用されている旨が表示されています。 ３．ヒートマップ出力対象画像タイプ（正・誤判別）指定 ディープラーニングのモデルにテストデータを当てはめて判別（予測）した結果として、正しく判定された画像と間違った判定が下された画像があります。 heat_map_analysis()メソッドの「img_type」パラメータを使用し、正：”C”(Correct Classification), 誤：“M”(Miss Classified), すべて：“A”(All)、を指定して該当画像の判断根拠情報を出力することが可能です。 以下は、誤判別された画像（img_type=‘M’）の判断根拠情報出力例です。 画像のどの部分に着目して、間違った判断に至ったのかを確認することができるので、モデル精度を改善するためには、学習用にどのような画像が必要なのかといった、示唆も与えてくれます。 ４．ヒートマップ出力対象画像指定 heat_map_analysis()メソッドの「filename / image_id」パラメータを使用し、特定の画像を指定して、出力することも可能です。 以下は、画像ファイルリストの上位２つの画像のヒートマップをファイル名指定で出力している例です。 以下は、画像ファイルリストの先頭の画像のヒートマップをID指定で出力している例です。 上記例の詳細に関しては、こちらのGitfubサイトをご覧ください。 DLPyの詳細に関しては、こちらのGithubサイトをご覧ください。
前回は、SASの「Pipefitter」の基本的な使用方法を紹介しました。続く今回は、基本内容を踏まえ、ひとつの応用例を紹介します。 SAS Viyaのディープラーニング手法の一つであるCNNを「特徴抽出器」として、決定木、勾配ブースティングなどを「分類器」として使用することで、データ数が多くないと精度が出ないCNNの欠点を、データ数が少なくても精度が出る「従来の機械学習手法」で補強するという方法が、画像解析の分野でも応用されています。 以下は、SAS Viyaに搭載のディープラーニング（CNN）で、ImageNetのデータを学習させ、そのモデルに以下の複数のイルカとキリンの画像をテストデータとして当てはめたモデルのpooling層で出力した特徴空間に決定木をかけている例です。 In [17]: te_img.show(8,4) 以下はCNNの構造の定義です。 Build a simple CNN model In [18]: from dlpy import Model, Sequential from dlpy.layers import * from dlpy.applications import * In [19]: model1 = Sequential(sess, model_table='Simple_CNN') Input Layer In [20]: model1.add(InputLayer(3, 224, 224, offsets=tr_img.channel_means)) NOTE: Input
SASでは、Python向けパッケージ/ライブラリとして、機械学習のパイプラインの実装を簡素化する「Pipefitter」を提供しています。 SASの「Pipefitter」パッケージは、SAS Viyaまたは、SAS v9の反復可能なワークフローの一つの段階として、データ変換とモデルフィッティング向けパイプラインを開発するためのPython APIを提供します。 このパッケージを使用すると、SASでデータを操作して、次のような処理を実装できます： ・欠損値補完 ・デシジョンツリー、ニューラルネットワーク、およびその他の機械学習テクニックを使用したパラメータ推定値の適合 ・ハイパーパラメータチューニングを使用したモデル選択の高速化 ・スコアリングとモデル評価 「Pipefitter」のもう一つの重要な特徴は、SASが提供する他の2つのPythonパッケージの能力に基づいていることです。 SWAT: SAS Viyaプラットフォームのインメモリー分析エンジンであるSAS Cloud Analytic Services（CAS）を活用し様々なデータ操作や分析を可能にするPython向けパッケージ SASPy： SAS9.4の機能を活用し、分析、データ操作、および視覚化を行うためのPython向けパッケージ ロジスティック回帰でのパラメータ推定などのパイプライン処理は、SASPyを介してSAS 9で、SWATを介してCASで同じように実行されるように設計されています。 以下は、タイタニック号の乗船者データに基づくパイプラインの例です。 まず、KaggleのサイトからPandas DataFrameにデータをダウンロードします。 In [1]: import pandas as pd In [2]: train = pd.read_csv('http://s3.amazonaws.com/assets.datacamp.com/course/Kaggle/train.csv') In [3]: train.head() Out[3]: PassengerId Survived Pclass 0 1 0 3 1 2 1
We have entered the “second machine age.” The first machine age began with the industrial revolution, which was driven primarily by technology innovation. The ability to generate massive amounts of mechanical power made humans more productive. Where the steam engine started the industrial revolution, the second machine age has taken
Cuando los beneficios para el negocio están bien fundamentados y cuentan con su aprobación, es momento de pasar la estafeta al área de TI, que se encargará de validar que existan las condiciones y recursos tecnológicos suficientes que soporten los requerimientos de negocio. Entonces, ¿qué opina su CIO/CTO? ¿Cuál es
We asked banking leaders. Here’s a sneak peek of our findings in advance of our June 12 webinar How important is customer experience in banking today? Very. It's the number one business challenge banks face, surpassing even regulatory compliance, because it links directly to revenue. And the stakes are only
Andy Dufresne, the wrongly convicted character in The Shawshank Redemption, provocatively asks the prison guard early in the film: “Do you trust your wife?” It’s a dead serious question regarding avoiding taxes on a recent financial windfall that had come the guard's way, and leads to events that eventually win
SASでは、従来からSAS Viyaの機能をPythonなど各種汎用プログラミング言語から利用するためのパッケージであるSWATを提供していました。 これに加え、よりハイレベルなPython向けAPIパッケージであるDLPyの提供も開始され、PythonからViyaの機能をより効率的に活用することが可能となっています。 ※DLPyの詳細に関しては以下サイトをご覧ください。 https://github.com/sassoftware/python-dlpy DLPyとは DLPyの機能（一部抜粋） １．DLPyとは DLPyは、Viya3.3以降のディープラーニングと画像処理（image action set）のために作成された、Python API向けハイレベルパッケージです。DLPyではKerasに似たAPIを提供し、ディープラーニングと画像処理のコーディングの効率化が図られています。既存のKerasのコードをほんの少し書き換えるだけで、SAS Viya上でその処理を実行させることも可能になります。 例えば、以下はCNNの層の定義例です。Kerasに酷似していることがわかります。 DLPyでサポートしているレイヤは、InputLayer, Conv2d, Pooling, Dense, Recurrent, BN, Res, Proj, OutputLayer、です。 以下は学習時の記述例です。 ２．DLPyの機能（一部抜粋） 複数のイルカとキリンの画像をCNNによって学習し、そのモデルにテスト画像を当てはめて予測する内容を例に、DLPyの機能（一部抜粋）を紹介します。 ２－１．メジャーなディープラーニング・ネットワークの実装 DLPyでは、事前に構築された以下のディープラーニングモデルを提供しています。 VGG11/13/16/19、 ResNet34/50/101/152、 wide_resnet、 dense_net また、以下のモデルでは、ImageNetのデータを使用した事前学習済みのweightsも提供（このweightsは転移学習によって独自のタスクに利用可能）しています。 VGG16、VGG19、ResNet50、ResNet101、ResNet152 以下は、ResNet50の事前学習済みのweightsを転移している例です。 ２－２．CNNの判断根拠情報 heat_map_analysis()メソッドを使用し、画像の何処に着目したのかをカラフルなヒートマップとして出力し、確認することができます。 また、get_feature_maps()メソッドを使用し、CNNの各層の特徴マップ（feature map）を取得し、feature_maps.display()メソッドを使用し、取得されたfeature mapの層を指定して表示し、確認することもできます。 以下は、レイヤー１のfeature mapの出力結果です。 以下は、レイヤー１８のfeature mapの出力結果です。 ２－３．ディープラーニング＆画像処理関連タスク支援機能 ２－３－１．resize()メソッド：画像データのリサイズ ２－３－２．as_patches()メソッド：画像データ拡張（元画像からパッチを生成） ２－３－３．two_way_split()メソッド：データ分割（学習、テスト） ２－３－４．plot_network()メソッド：定義したディープラーニングの層（ネットワーク）の構造をグラフィカルな図として描画 ２－３－５．plot_training_history()メソッド：反復学習の履歴表示
前回の「ディープラーニングの判断根拠」ブログでは、PythonからSAS Viyaの機能を活用するためのパッケージであるSWATを使用した例を説明しましたが、今回は、以下２点に関してご紹介します。 SAS ViyaのよりハイレベルなPython APIであるDLPyを使用した画像認識モデルの判断根拠情報 機械学習の判断根拠情報 １．SAS ViyaのよりハイレベルなPython APIであるDLPyを使用した画像認識モデルの判断根拠情報 この例では、複数のイルカとキリンの画像をSAS Viyaのディープラーニング（CNN）で学習させ、そのモデルに以下の画像を当てはめて、これがイルカなのか否かを判別するものです。 実際、この画像はイルカであると判定されたんですが。 SAS Viyaでは、その判断根拠となり得る情報の一つとして、入力画像のどこに着目したのかを以下の通り出力し、確認できるようになっています。 DLPyでは、get_feature_maps()メソッドでfeature mapを取得し、feature_map.display()で指定したレイヤーの内容を表示することができます。 以下は、レイヤー1のfeature mapです。 以下は、レイヤー18のfeature mapです。 白色の濃淡で、判別に影響を与えている箇所を確認することができます。 さらに、SAS Viyaでは、画像認識モデルの判断根拠情報を可視化する手法の一つである、Grad-CAMと同様に、画像の何処に着目したのかを、カラフルなヒートマップとして出力し、確認することもできるようになっています。 しかも、heat_map_analysis()メソッドを使用して、以下の通り、たった１行書くだけでです。 青、緑、赤の濃淡で、判別に影響を与えている箇所を確認することができます。 DLPyの詳細に関しては、以下をご覧ください。 https://github.com/sassoftware/python-dlpy ２．機械学習の判断根拠情報 もちろんディープラーニングだけではなく、従来からの機械学習のモデルによって導き出された予測や判断に関しても、それがなぜ正しいと言えるのか、具体的に言えば、なぜAさんはこの商品を買ってくれそうだと判断されたのか、なぜこの取引データは疑わしいと判断されたのか、を説明する必要性があるわけです。特に説明責任が求められるような業務要件においては、 ということでSAS Viyaの次期版には機械学習の判断根拠情報、モデル内容を説明するための機能が実装される予定です。 まず、影響度が最も高い変数は、という問いに対しては、従来からの変数の重要度で確認することができます。これをさらに一段掘り下げたものが、Partial Dependence (PD)です。 日本語では「部分従属」と言いますが。重要度の高い変数は、予測に対して、具体的にはどのように作用しているのかを知ることができます。 そしてこのPDを元にさらに一段掘り下げたものが、Individual Conditional Expectation (ICE)になります。 また、これらとは別に、なぜその予測結果に至ったのかを説明するテクニックとしてLocal Interpretable Model-agnostic Explanations (LIME)を活用することができます。 SAS Viyaベースの製品であるSAS Visual Data Mining and
