5月23日に開催されたSAS Forum Japan 2017の「SAS Viyaディープダイブ」セッションでは、SASのAIに搭載されている教師なし学習の3つの手法(SVDD(Support Vector Data Description), ロバストPCA, Moving Window PCA)を用いた異常検知の概要が紹介されました。 手法ごとの適用分野やSAS Studioを用いて実行した結果の紹介と、異常検知を業務に適用する際に留意すべき事項も交えてご紹介しています。 詳細(スライド内容)に関しては、以下をご覧ください。(SlideShareに公開済み) SAS Viya で異常検知してみよう! from SAS Institute Japan 詳細(講演ビデオ)に関しては、以下をご覧ください。(YouTubeに公開済み) 今なら無償でSAS Viyaを試用することができます。詳細は以下のブログを参照してください。 SAS Viyaを体感してみよう! ~SAS Viya無償試用版利用ガイド~
Tag: AI
5月23日に開催されたSAS Forum Japan 2017の「SAS Viyaディープダイブ」セッションでは、SASのAIに搭載されている画像処理機能が入門レベルとして紹介されました。 従来からSASを活用されている方々にとっては、「SAS」と「画像処理」って、なかなか結びつかないのではないでしょうか? 「画像処理技術」に関して、SASではどのようなアプローチをとってきているのか...を、過去、現在、そして未来に分けて紹介しています。 詳細(スライド内容)に関しては、以下をご覧ください。(SlideShareに公開済み) Pythonで操るSAS Viyaの画像処理技術入門編 from SAS Institute Japan 詳細(講演ビデオ)に関しては、以下をご覧ください。(YouTubeに公開済み)
みなさま、SAS Viyaはご存知でしょうか? SAS ViyaはSASが2016年末に出した新データ分析プラットフォームでして、データの探索、整形から機械学習まで、幅広くデータ分析することができる万能品です。 こんな感じのロゴです。 SAS Viyaの特徴にインメモリエンジンによる分散処理とオープンというものがあります。 SAS Viyaでのデータ分析はすべてCASというエンジンで実行されるのですが、このCASはサーバのメモリ上にデータをロードし、分析処理が展開されます。しかも複数サーバ構成でも良い感じにスケールして並列分散処理するので、1台のサーバにデータが乗らないとか、1台だけだと遅いとかいうことはありません。 SAS Viyaの特徴 さらにSAS Viyaはオープンな特徴があります。 どうオープンなのかというと、実は裏表なく嘘のつけない性格・・・というわけではありません。 SAS ViyaはSAS言語のみならずPythonやR、Java、LuaそしてREST APIといったさまざまな言語で操作することができるオープン性を持っています。 従来のSAS製品だとSAS言語を覚えないと使うことができなかったのですが、SAS Viyaでは多くのデータサイエンティストさんが使っているPythonやRでデータ分析ができます。しかも同じプラットフォームでデータ分析するので、言語間で違う結果が出るということはありません。同じ設定で分析すれば、どの言語を使っても同じ結果が返ってきます。 さらにいえばPythonやRでデータ分析するときも、多くの場合は1台のサーバやパソコンで処理すると思います。そのさい、サーバやパソコンはCPUやメモリのすべてをデータ分析に割くということはありません。マルチコアCPUを使っていても、大体はシングルコアで処理されます。 しかしSAS Viyaではリソースを使い切ります。4コアであれば4コア、サーバ3台構成であれば3台を余さず使って、より速く効率的に分析します。 全体像でいうとこんな感じです。 どうやって使うの? PythonやRでSAS Viyaを使いはじめるときは、まずはSWATというOSSを導入する必要があります。 SWATはSpecial Weapon and Tacticsの略・・・ではありません。 SAS Scripting Wrapper for Analytics Transferという、SAS Viyaを操作するためのラッパーです。SASが作って、GitHubで公開しています。 Python SWAT https://sassoftware.github.io/python-swat/index.html R SWAT https://github.com/sassoftware/R-swat これらをpip installやinstall.packagesで入手して使いはじめることができます。 SWATはWindows、Linux、MacOSいずれもサポートしていますので、お好きなプラットフォームに導入できます。 Pythonでのプログラミング例はこんな感じです。たったこれだけで、SAS Viyaを使って決定木モデルを作ることができます。とても簡単です。 #
„Durchsatz ist wichtig, jaja“, Supply-Chain-Leiter Herr Aklit lehnt sich zurück, faltet seine Hände über dem üppigen Bauch und sagt zu Lenin: „Sie haben ja schon einiges in Fluss gebracht mit Ihren Projekten zur Datenanalyse im Internet of Things.“ Er atmet tief durch und schaut aus dem Fenster: „Alles fließt …“,
The forecast is frightening: Robots will take over all manual labor and self-generating code will automatically spin out the algorithms once developed by statisticians and programmers. Humans will become obsolete. What will mere mortals do all day long? Ride captive as our self-driving cars take us on a sentimental journey
Machine learning seems to be the new hot topic these days. Everybody's talking about how machines are beating human players in chess, Jeopardy, and now even Go. In the future, artificial intelligence will drive our cars and our jobs will be taken over by robots. There’s a lot of hype,
‘이미지 인식(Image recognition)’, 머신러닝과 인공지능(AI)을 포함한 기술 산업 전반을 뜨겁게 달구고 있는 주요 이슈입니다. 특히 컴퓨터 비전, 즉 영상 처리 기술은 무인 자동차, 얼굴 인식, 의료 결과 예측 등 수많은 혁신 기술들을 현실화하는 핵심 요소인데요. 그 가운데 크고 작은 많은 기업들은 이미지 인식과 관련된 다양한 기반 기술과 프로세스의 가능성을 실현하기 위해
지금 바로 미국 플로리다 주 올랜도에서 열리고 있는 ‘SAS 글로벌 포럼(SAS Global Forum) 2017’을 실시간 생중계를 통해 확인해보세요! 개막 세션 하이라이트부터 개별 포럼의 주요 소식을 모두 확인할 수 있습니다. 올해 SAS 글로벌 포럼은 시작부터 기록적인 참여율로 만원을 이뤘습니다. 짐 굿나잇 CEO는 행사장인 월트 디즈니(Walt Disney) 리조트가 혁신을 기념하기에 더없이 완벽하다고 말했는데요. 그는
Via streaming data, Jim Harris says machines can learn some amazing things without being programmed with domain knowledge.
Unable to attend SAS Global Forum 2017 happening now in Orlando? We’ve got you covered! You can view live stream video from the conference, and check back here for important news from the conference, starting with the highlights from last night’s Opening Session. While the location and record attendance made
인공지능 vs. 인간, 세기의 대결 이후 1년 전 세계가 주목했던 인공지능(AI)과 인간의 바둑 승부! 인공지능의 놀라운 가능성을 확인했던 세기의 대결 이후 벌써 1년이 지났습니다. 그렇지만 인공지능에 대한 관심은 여전히 뜨거운데요. 이제 머신러닝과 딥러닝까지 가세해 대기업은 물론 스타트업과 벤처캐피탈 그리고 정부 정책에 이르기까지 글로벌 이슈를 이끌고 있습니다. 실제 구글, 마이크로소프트, 아마존,
Image recognition is a hot and hyped topic in machine learning, artificial intelligence and other technology circles. Computer vision technology is essential for realizing advancements like driverless cars, face recognition, medical outcomes predictions, and a host of other breakthrough innovations. Amidst the hype, organizations large and small are trying to understand the
Machine learning is a type of artificial intelligence that uses algorithms to iteratively learn from data and finds hidden insights in data without being explicitly programmed where to look or how to find the answer. Here at SAS, we hear questions every day about machine learning: what it is, how it compares to
I've long been fascinated by both science and the natural world around us, inspired by the amazing Sir David Attenborough with his ever-engaging documentaries and boundless enthusiasm for nature, and also by the late, great Carl Sagan and his ground-breaking documentary series, COSMOS. The relationships between the creatures, plants and
はじめに 以前このブログ「グラフ理論入門:ソーシャル・ネットワークの分析例」でもご紹介しましたが。SASは従来からネットワーク分析(グラフ分析)をサポートしています。ネットワーク分析の基本的なことはまず上記のブログをご参照ください。 今回は、プログラミングスキルがあるアプリケーション開発者やデータサイエンティスト向けです。Pythonからネイティブに利用できるSAS Viyaを使用して、ネットワーク分析をする簡単な利用例をご紹介します。 2016夏にリリースされたSAS Viyaは、アナリティクスに必要な全てのアルゴリズムを提供しつつ、かつオープンさを兼ね備えた全く新しいプラットフォームです。これにより、SAS Viyaをアプリケーションにシームレスに組み込むことや、どのようなプログラミング言語からでもアナリティクス・モデルの開発が可能になりました。今回は、SASのパワフルなアナリティクス機能にアクセスするために、そのオープンさがどのように役立つののかにフォーカスします。 前提条件 SAS Viyaは、REST APIにも対応しているため、それを使用しても良いのですが、一般的には、使い慣れたプログラミング言語を使用する方が効率が良いと考えられるため、今回は、データサイエンティストや大学での利用者が多い、Pythonを使用したいと思います。 デモ環境としては、Pythonコードを実行できるだけでなく書式付テキストも付記できる、Webベースのオープンな対話型環境であるJupyter Notebookを使用します。Jupyterをインストールした後に、SAS Scripting Wrapper for Analytics Transfer(SWAT)をインストールする必要があります。このパッケージは、SAS Cloud Analytic Services(CAS)に接続するためのPythonクライアントです。これにより、Pythonから全てのCASアクションを実行することが可能となります。SWATパッケージの情報やJupyter Notebookのサンプルはこちらをごらんください。https://github.com/sassoftware SAS Cloud Analytic Services(CAS)にアクセスする SAS Viyaのコアにあるのは、SAS Cloud Analytic Services(CAS: キャス)というアナリティクスの実行エンジンです。"CASアクション"という個々の機能を実行したり、データにアクセスしたりするためには、CASに接続するためのセッションが必要となります。セッションからCASへの接続には、バイナリ接続(非常に大きなデータ転送の場合にはこちらが推奨です)あるいは、HTTP/HTTPS経由のREST API接続のどちらかを使用することができます。今回は、デモンストレーション目的で非常に小さなデータを扱うので、RESTプロトコルを使用します。SAS ViyaとCASのより詳細な情報はこちらのオンラインドキュメントをごらんください。 多くのプログラミングと同様、まずは使用するライブラリの定義からです。Pythonでは、importステートメントを使用します。非常に良く使われるmatplotlibライブラリに加えて、ネットワークをビジュアライズするためのnetworkxも使用します。 from swat import * import numpy as np import pandas as pd import matplotlib.pyplot as
Asking about the benefits of artificial intelligence and machine learning reminds me a little of the transition to suitcases with wheels. Do you remember lugging around those old suitcases? If not, good for you - this original advertisement from US Luggage will take you back! Thank Bernard Sadow for persistence with his
There has been much discussion about the relationship between data science and artificial intelligence. It can become a complicated dance when applied data science is partnered with emerging artificial intelligence technologies. Who takes the lead? How do we keep the beat? Can we make sure neither party steps on the
If I were to show you a picture of a house, you would know it’s a house without even stopping to think about it. Because you have seen hundreds of different types of houses, your brain has come to recognize the features – a roof, a door, windows, a front
How comfortable are you with hard decisions? If it affected you, how comfortable would you be with losing your agency and having someone else make the decision for you? What if that decision isn’t made by a person but a machine? More than abstract questions, these are going to become
When the likes of Elon Musk and Stephen Hawking go on record warning about the dangers of AI, it’s probably prudent to take notice. However, before rushing off into full panic mode, some definitions and perspective would be in order. The type of artificial intelligence Musk and Hawking are referring