Machine Learning

Get the latest machine learning algorithms and techniques

Machine Learning
SAS Viya:ディープラーニング&画像処理用Python API向けパッケージ:DLPy

SASでは、従来からSAS Viyaの機能をPythonなど各種汎用プログラミング言語から利用するためのパッケージであるSWATを提供していました。 これに加え、よりハイレベルなPython向けAPIパッケージであるDLPyの提供も開始され、PythonからViyaの機能をより効率的に活用することが可能となっています。 ※DLPyの詳細に関しては以下サイトをご覧ください。 https://github.com/sassoftware/python-dlpy DLPyとは DLPyの機能(一部抜粋) 1.DLPyとは DLPyは、Viya3.3以降のディープラーニングと画像処理(image action set)のために作成された、Python API向けハイレベルパッケージです。DLPyではKerasに似たAPIを提供し、ディープラーニングと画像処理のコーディングの効率化が図られています。既存のKerasのコードをほんの少し書き換えるだけで、SAS Viya上でその処理を実行させることも可能になります。 例えば、以下はCNNの層の定義例です。Kerasに酷似していることがわかります。 DLPyでサポートしているレイヤは、InputLayer, Conv2d, Pooling, Dense, Recurrent, BN, Res, Proj, OutputLayer、です。 以下は学習時の記述例です。 2.DLPyの機能(一部抜粋) 複数のイルカとキリンの画像をCNNによって学習し、そのモデルにテスト画像を当てはめて予測する内容を例に、DLPyの機能(一部抜粋)を紹介します。 2-1.メジャーなディープラーニング・ネットワークの実装 DLPyでは、事前に構築された以下のディープラーニングモデルを提供しています。 VGG11/13/16/19、 ResNet34/50/101/152、 wide_resnet、 dense_net また、以下のモデルでは、ImageNetのデータを使用した事前学習済みのweightsも提供(このweightsは転移学習によって独自のタスクに利用可能)しています。 VGG16、VGG19、ResNet50、ResNet101、ResNet152 以下は、ResNet50の事前学習済みのweightsを転移している例です。 2-2.CNNの判断根拠情報 heat_map_analysis()メソッドを使用し、画像の何処に着目したのかをカラフルなヒートマップとして出力し、確認することができます。 また、get_feature_maps()メソッドを使用し、CNNの各層の特徴マップ(feature map)を取得し、feature_maps.display()メソッドを使用し、取得されたfeature mapの層を指定して表示し、確認することもできます。 以下は、レイヤー1のfeature mapの出力結果です。 以下は、レイヤー18のfeature mapの出力結果です。 2-3.ディープラーニング&画像処理関連タスク支援機能 2-3-1.resize()メソッド:画像データのリサイズ 2-3-2.as_patches()メソッド:画像データ拡張(元画像からパッチを生成) 2-3-3.two_way_split()メソッド:データ分割(学習、テスト) 2-3-4.plot_network()メソッド:定義したディープラーニングの層(ネットワーク)の構造をグラフィカルな図として描画 2-3-5.plot_training_history()メソッド:反復学習の履歴表示

Machine Learning
SAS Viya: ディープラーニングと機械学習の判断根拠情報

前回の「ディープラーニングの判断根拠」ブログでは、PythonからSAS Viyaの機能を活用するためのパッケージであるSWATを使用した例を説明しましたが、今回は、以下2点に関してご紹介します。 SAS ViyaのよりハイレベルなPython APIであるDLPyを使用した画像認識モデルの判断根拠情報 機械学習の判断根拠情報 1.SAS ViyaのよりハイレベルなPython APIであるDLPyを使用した画像認識モデルの判断根拠情報 この例では、複数のイルカとキリンの画像をSAS Viyaのディープラーニング(CNN)で学習させ、そのモデルに以下の画像を当てはめて、これがイルカなのか否かを判別するものです。 実際、この画像はイルカであると判定されたんですが。 SAS Viyaでは、その判断根拠となり得る情報の一つとして、入力画像のどこに着目したのかを以下の通り出力し、確認できるようになっています。 DLPyでは、get_feature_maps()メソッドでfeature mapを取得し、feature_map.display()で指定したレイヤーの内容を表示することができます。 以下は、レイヤー1のfeature mapです。 以下は、レイヤー18のfeature mapです。 白色の濃淡で、判別に影響を与えている箇所を確認することができます。 さらに、SAS Viyaでは、画像認識モデルの判断根拠情報を可視化する手法の一つである、Grad-CAMと同様に、画像の何処に着目したのかを、カラフルなヒートマップとして出力し、確認することもできるようになっています。 しかも、heat_map_analysis()メソッドを使用して、以下の通り、たった1行書くだけでです。 青、緑、赤の濃淡で、判別に影響を与えている箇所を確認することができます。 DLPyの詳細に関しては、以下をご覧ください。 https://github.com/sassoftware/python-dlpy 2.機械学習の判断根拠情報 もちろんディープラーニングだけではなく、従来からの機械学習のモデルによって導き出された予測や判断に関しても、それがなぜ正しいと言えるのか、具体的に言えば、なぜAさんはこの商品を買ってくれそうだと判断されたのか、なぜこの取引データは疑わしいと判断されたのか、を説明する必要性があるわけです。特に説明責任が求められるような業務要件においては、 ということでSAS Viyaの次期版には機械学習の判断根拠情報、モデル内容を説明するための機能が実装される予定です。 まず、影響度が最も高い変数は、という問いに対しては、従来からの変数の重要度で確認することができます。これをさらに一段掘り下げたものが、Partial Dependence (PD)です。 日本語では「部分従属」と言いますが。重要度の高い変数は、予測に対して、具体的にはどのように作用しているのかを知ることができます。 そしてこのPDを元にさらに一段掘り下げたものが、Individual Conditional Expectation (ICE)になります。 また、これらとは別に、なぜその予測結果に至ったのかを説明するテクニックとしてLocal Interpretable Model-agnostic Explanations (LIME)を活用することができます。 SAS Viyaベースの製品であるSAS Visual Data Mining and

Learn SAS | Machine Learning | Programming Tips
SAS Korea 0
[프로그래밍 팁] SAS VDMML로 딥러닝 모델 구축하는 방법

SAS 솔루션으로 다양한 종류의 심층 신경망(DNN;Deep Neural Network) 모델을 구축할 수 있습니다. 구체적으로 컨볼루션 신경망(convolutional neural networks), 순환 신경망(recurrent neural networks), 순방향 신경망(feedforward neural networks), 오토인코더 신경망(autoencoder neural networks) 등을 생성할 수 있는데요. 오늘은 ‘SAS VDMML(Visual Data Mining and Machine Learning)'을 이용해 딥러닝 모델을 구축하는 방법을 자세히 설명해 드리고자 합니다. ‘SAS 클라우드 분석 서비스’를 활용한 딥러닝

Artificial Intelligence | Data Management | Machine Learning
Roger Thomas 0
Magic vs monetization: AI tips for manufacturing executives

Remember the military computer Joshua from the 1983 Matthew Broderick movie WarGames? Joshua learned how to “play a game” by competing against other computers, got confused about reality, and nearly started WWIII. As depicted in that movie, Joshua isn’t all that different from Google’s DeepMind, which became a superhuman chess

Analytics | Artificial Intelligence | Machine Learning
Mauricio González 0
Analítica, automatización e inteligencia impulsan la modernización del sector salud

Recientemente, el Instituto Mexicano del Seguro Social (IMSS) llevó a cabo la segunda edición de las Olimpiadas de la Innovación, evento en el que se reunieron las autoridades sanitarias, prestadores de servicios y empresas de tecnología para conocer los avances que hacen posible prestar una atención segura, efectiva, oportuna y

Analytics | Artificial Intelligence | Fraud & Security Intelligence | Machine Learning
Héctor Cobo 0
SAS Global Forum: Los datos se transforman en inteligencia

La fortaleza que tiene la analítica ahora es la revolución de las tecnologías como la inteligencia artificial (IA) y el aprendizaje automático. Esta amalgama de innovaciones le da a las empresas, de todas las industrias, la oportunidad de llevar a cabo las percepciones que obtienen de sus datos a una

Advanced Analytics | Artificial Intelligence | Machine Learning
SAS Korea 0
머신러닝 해석력 시리즈 2탄: 데이터 세트를 이해하고 해석하는 방법

“모델링에 뛰어들기 전에 먼저 데이터를 이해하고 탐색하라!” 데이터 과학자를 위한 일반적인 조언입니다. 데이터 세트가 정리되어 있지 않으면 모델을 구축해도 문제를 해결하는 데 도움이 되지 않습니다. 마치 쓰레기를 꺼냈다, 넣었다 하는 것과 같죠. 강력한 머신러닝 시스템을 구축하기 위해서는 예측 작업을 정의하고, 문제를 해결하기 전에 데이터 세트를 탐색하고 이해해야 합니다. 데이터 과학자는 대부분의 시간을 모델링을

Advanced Analytics | Artificial Intelligence | Machine Learning
SAS Korea 0
고급 분석과 인공지능(AI), 스포츠 과학의 판도를 바꾸다!

‘스포츠 분석’이라고 하면 아마 많은 분들이 브래드 피트 주연의 영화 ‘머니볼(Moneyball)’을 떠올리실 텐데요. 이 영화는 2002년 분석을 활용해 오클랜드 애슬레틱스(Oakland Athletics) 야구팀을 승리로 이끈 빌리 빈(Billy Beane) 단장의 이야기를 다룹니다. 빈 단장은 스포츠 분석의 기반을 세웠지만, 오늘날 그 활용 범위는 훨씬 더 넓어졌죠! 몇 가지 예만 봐도 스포츠 분야에서 분석이 얼마나

Analytics | Artificial Intelligence | Machine Learning
Andreas Becks 0
Künstliche Intelligenz im Reality-Check: Potenziale, Grenzen, organisatorische und gesellschaftliche Konsequenzen

Gartner geht davon aus, dass dank künstlicher Intelligenz (KI) bis 2025 zwei Millionen neue Arbeitsplätze geschaffen werden. KI und Machine Learning sind in vielen Unternehmen bereits heute wichtiger Bestandteil von Geschäftsprozessen und Unternehmensbereichen. Sie erleichtern den Arbeitsalltag, optimieren die Interaktion mit Kunden, sagen den Ausfall einer Maschine zuverlässig vorher oder

Analytics | Artificial Intelligence | Internet of Things | Machine Learning
Mauricio González 0
Transformemos México, la analítica al servicio de gobiernos y ciudadanos

México se encuentra inmerso en la mayor transformación de su historia. Sin importar la inclinación política del gobierno en el poder, las instituciones clave para el desarrollo del país –gracias a su autonomía- innovan a fin de proveer mejores servicios a la ciudadanía y elevar la transparencia de sus operaciones.

Analytics | Data for Good | Internet of Things | Machine Learning | SAS Events
Gloria Cabero 0
SAS Global Forum, inspiración para hacer lo extraordinario

+Las empresas de todo el mundo están cambiando radicalmente su manera de operar y de relacionarse con clientes y socios. Se encuentran en plena transformación digital y capitalizan tendencias clave para evolucionar, como la nube, el Internet de las Cosas, la inteligencia artificial y la analítica, entre otras. De igual

Advanced Analytics | Analytics | Artificial Intelligence | Data Visualization | Learn SAS | Machine Learning | Students & Educators
Markus Grau 0
Business Analytics: Real-World Use Cases für Universitäten und Hochschulen

In meiner Funktion als Academic Program Manager unterstütze ich Hochschulen in den Themengebieten künstliche Intelligenz (KI), Data Science und Business Analytics. Einer der am häufigsten geäußerten Wünsche ist, dass seitens SAS, Use-Cases zur Verfügung gestellt werden. Keine theoretischen Gebilde, sondern echte, reale Daten von Firmen mit einem handfesten Business-Problem, das

Analytics | Artificial Intelligence | Machine Learning
SAS Korea 0
중소기업 전문 데이터 분석 스타트업 ‘노틸라이즈’ 성공 스토리!

올 초 애플이 미국 빅데이터 컨설팅 스타트업인 ‘실리콘 밸리 데이터 사이언스(Silicon Valley Data Science)’에서 창업자를 포함한 수십 명의 직원을 영입하며 화제를 모았습니다. 이전에는 인공지능(AI) 기반 데이터 분석 플랫폼 업체 ‘래티스(Lattice)’를 인수하고 하둡의 공동 창시자인 마이크 카파렐라를 스카웃하기도 했습니다. 구글 역시 60만 명의 데이터 과학자가 활동하는 호주 멜버른 기반의 스타트업인 ‘캐글(Kaggle)’을

Advanced Analytics | Artificial Intelligence | Machine Learning
SAS 코리아, 최신 머신러닝·자연어처리 등 인공지능(AI) 활용 분석 기능 강화

인공지능 활용 엔터프라이즈 분석 가능한 ‘SAS 플랫폼’ 최신 오퍼링 출시 SAS 코리아, 최신 머신러닝·자연어처리 등 인공지능(AI) 활용 분석 기능 강화 머신러닝·자연어처리로 비정형 데이터 가치 극대화 및 전 과정 시각화하는 엔드투엔드 비주얼 환경 제공 웹 인터페이스로 전체 분석 라이프사이클을 통합하고, 초보자부터 전문가까지 전사 협업 지원 미국적십자사·시스코·뮌헨재보험 등 도입… 분석 인사이트로 비즈니스

Analytics | Fraud & Security Intelligence | Machine Learning
Min-Gi Cho 0
사기 탐지 전략을 강화하는 8가지 방법

최근 금융감독원은 2017년 국내 보이스피싱 피해액이 2,423억원에 달하며, 전년 대비 26% 증가했다고 발표했습니다. 특히 하반기에만 가상화폐를 이용해 148억원이 탈취된 것으로 밝혀지며 논란이 되고 있는데요. 이렇게 IT 기술이 발달함에 따라 신종 자금세탁 수법이 등장하면서 사기 탐지는 더욱 어려워지고 있습니다. 결국 산업에 관계없이 모든 금융 범죄 조사관은 사기 탐지 기술과 전략을 지속적으로 강화하고,

Internet of Things | Machine Learning
Charlie Chase 0
Is quick response forecasting a reality or just another buzzword?

“Quick response forecasting (QRF) techniques are forecasting processes that can incorporate information quickly enough to act upon by agile supply chains” explained Dr. Larry Lapide, in a recent Journal of Business Forecasting column. The concept of QRF is based on updating demand forecasts to reflect real and rapid changes in demand, both

Machine Learning
Makoto Unemi (畝見 真) 0
ディープラーニングの判断根拠

予測モデル生成において、従来は、人が考えてデータの中から特徴を抽出する必要がありましたが、ディープラーニングでは、この特徴を自動的に抽出して学習することが可能になっています。 半面、どのように特徴が抽出されているのかに関しては、基本的にはブラックボックスであり、説明責任が求められるような業務要件では、その分析結果を業務に活用することが難しい場合もあります。 しかし、近年ディープラーニングから出てきた結果の根拠=判断根拠を可視化する手法がいくつか考案されてきています。 関連情報サイト: https://qiita.com/icoxfog417/items/8689f943fd1225e24358 https://pair-code.github.io/saliency/ http://blog.brainpad.co.jp/entry/2017/07/10/163000 SAS Viyaでは、各種のディープラーニング(DNN, CNN, RNN)を用いた学習が可能ですが、今回はCNNを用いた画像認識において、判断根拠となり得る情報の出力に関してご紹介します。 この例は、複数のイルカの画像をCNNで学習し、対象の画像(写真)がイルカなのかどうかを判別するものです。 モデルを作成後、以下の画像をモデルに当てはめてスコアリングを実施。 この画像は「イルカ」だと判定されたのですが、その判断根拠の一つとして、以下のように、この画像のどの部分がより重要であると判断されているのかを可視化することが可能になっています。 【レイヤー1のfeature map】 【レイヤー18のfeature map】 SAS Viyaでは、モデルのスコアリング時のオプションとして、指定したレイヤ(層)の特徴マップ(feature map)を画像として指定ライブラリに出力することが可能です。 >> スコアリング用のアクション:”dlScore” の layerOut={出力先ライブラリとテーブル名} オプションと layers={出力対象レイヤ名} オプション >> 上図はライブラリに出力された画像(feature map)を表示したものです。

Analytics | Artificial Intelligence | Machine Learning
SAS Korea 0
차세대 챗봇과 딥러닝, 가까워진 지능형 가상 비서(IVA) 시대

우리 모두가 개인 비서의 도움을 받는 세상, 상상이 가시나요? 어쩌면 빠르게 다가올지도 모르겠습니다. 바로 가상 비서, 챗봇 기술의 발전 덕분인데요! 챗봇(chatbot)은 채팅(chatting)과 로봇(robot)의 합성어로 자연어 처리(NLP; Natural Language Processing)와 인공지능(AI)을 이용해 사람과의 대화를 시뮬레이션하고 응답을 도출하는 컴퓨터 프로그램입니다. 쉽게 말해 사람의 이야기에 알맞은 답이나 정보를 제공할 수 있는 기계죠. 단순하고 자동화된 작업을 처리할

Analytics | Machine Learning
Thomas Keil 0
Künstliche Intelligenz braucht Interpretierbarkeit, Nachvollziehbarkeit und Kommunikation

Wahrscheinlich schreibt Richard David Precht gerade an einem Buch über künstliche Intelligenz – und es wäre wirklich nicht schlecht, wenn sich möglichst viele Menschen so genau wie möglich über dieses Thema informieren könnten, ohne selbst Spezialist sein zu müssen. Denn, das ist 2017 bereits klar geworden, künstliche Intelligenz betrifft uns

1 10 11 12 13 14 18

Back to Top