Uncategorized

Machine Learning | Programming Tips
Makoto Unemi (畝見 真) 0
SAS Viyaにディープラーニングが登場! さっそく画像分類してみた。

SAS Viyaがリニューアルされまして、ついにディープラーニングが登場しました! SAS ViyaのディープラーニングではオーソドックスなDeep Neural Network(DNN)から、画像認識で使われるConvolutional Neural Network(CNN、畳込みニューラルネットワーク)、連続値や自然言語処理で使われるRecurrent Neural Network(RNN、再帰的ニューラルネットワーク)まで利用可能になります。 ディープラーニングを使うことのメリットは、従来の機械学習やニューラルネットワークが苦手としている画像や文章を認識し、高い精度で分類や推論することが可能になります。 高い精度というのは、ディープラーニングのモデルによっては人間の目よりも正確に画像を分類することができるということです。 例えばコモンドールという犬種がありますが、この犬はモップのような毛並みをしていて、人間ではモップと見間違えることがあります。 これは犬? それともモップ? こういう人間だと見分けにくい画像に対しても、ディープラーニングであれば、人間よりも正確に犬かモップかを見分けることができるようになります。 というわけで、今回はSAS Viyaのディープラーニングを使って画像分類をしてみたいと思います。 ディープラーニングの仕組み 画像分類のディープラーニングではCNNを使います。 CNNは画像の特徴を探し出す特徴抽出層と特徴から画像を分類する判定層で構成されています。   特徴抽出層は主に畳込み層とプーリング層で構成されています。 畳込み層で入力画像に対し、ピクセルの特徴(横線の有無とか斜め線とか)を探し出し、プーリング層で重要なピクセルを残す、という役割分担です。 判定層は、特徴抽出層が見つけた特徴をもとに、画像の種類を分類します。 例えば犬と猫の分類であれば、特徴抽出層が入力画像から、面長で大きな鼻の特徴を見つけだし、犬と分類します。   または、丸っこい顔立ちと立った耳の特徴を見つけだし、猫と分類します。   SAS Viyaで画像を扱う SAS ViyaディープラーニングでCifar10をネタに画像分類をしてみたいと思います。 Cifar10は無償で公開されている画像分類のデータセットで、10種類の色付き画像60,000枚で構成されています。 各画像サイズは32×32で、色はRGBです。 10種類というのは飛行機(airplane)、自動車(automobile)、鳥(bird)、猫(cat)、鹿(deer)、犬(dog)、蛙(frog)、馬(horse)、船(ship)、トラック(truck)で、それぞれ6,000枚ずつ用意されています。 画像は総数60,000枚のうち、50,000枚がトレーニング用、10,000枚がテスト用です。   画像データは以下から入手することができます。 https://www.cs.toronto.edu/~kriz/cifar.html さて、Cifar10を使って画像分類をしてみます。言語はPython3を使います。 SAS Viyaで画像分類をする場合、まずは入手したデータをCASにアップロードする必要があります。 CASはCloud Analytics Servicesの略称で、インメモリの分散分析基盤であり、SAS Viyaの脳みそにあたる部分です。 SAS Viyaの分析は、ディープラーニング含めてすべてCASで処理されます。 CASではImage型のデータを扱うことができます。 Image型とは読んで字のごとくで、画像を画像フォーマットそのままのバイナリで扱えるということです。

Analytics
Sandra Hernandez 0
Del Blockchain, el Bitcoin y las Petromonedas a la Analítica de SAS

No cabe duda que la tecnología Blockchain está llamada a ser una de las grandes revoluciones en el mundo en los próximos años. Se ha llegado a afirmar que hará por las transacciones lo que internet ha hecho por la información y las comunicaciones; va a cambiar definitivamente la forma

Analytics
Sandra Hernandez 0
La transformación digital no se dará por decreto

La creación de un Viceministerio de Economía Digital adscrito al Ministerio de Tecnologías de la Información y las Comunicaciones, ubica a Colombia en un nivel de liderazgo frente a la región, lo cual llevará al país a establecer bases importantes para la transformación de varias industrias y sectores económicos. Además, se podrán desarrollar

Analytics | Data for Good | Machine Learning | SAS Events
Steve Bennett 0
How federal civilian agencies can improve outcomes with analytics

From national parks and healthcare to taxes and nutrition, federal civilian agencies feature an incredibly large and diverse set of missions. These agencies oversee almost every aspect of American life with an endless sea of projects, programs and general oversight. But, as Deloitte Consulting’s Mark Urbanczyk said during a recent

Analytics
Rick Wicklin 0
3 problems with mean imputation

In a previous article, I showed how to use SAS to perform mean imputation. However, there are three problems with using mean-imputed variables in statistical analyses: Mean imputation reduces the variance of the imputed variables. Mean imputation shrinks standard errors, which invalidates most hypothesis tests and the calculation of confidence

Analytics | Data Management | Fraud & Security Intelligence
David Kennedy 0
How law enforcement can use analytics to combat the opioid epidemic

A steady drumbeat of news coverage makes one thing clear: Opioid abuse is rising and has reached epidemic levels throughout our country. Overdoses from the diversion and abuse of prescription opioids are one cause of the surge in deaths. Overdoses from heroin and other illicit synthetic opioids (such as heroin,

Data Management
Jeanne (Hyunjin) Byun 0
'21세기 원유'에서 '21세기 하이웨이'로…데이터 매니지먼트 패러다임의 전환

데이터 매니지먼트가 중요한 이유 우리는 지금 데이터가 사회와 경제를 움직이는 ‘데이터 이코노미’ 시대에서 살고 있다. 시장조사업체 IDC는 전 세계 데이터 양은 매년 약 30% 증가해 2025년에는 현재보다 10배 늘어난 163제타바이트(ZB)에 이를 것으로 전망했다. 이처럼 폭증하는 빅데이터를 가트너(Gartner)에서는 ‘21세기 원유’로 규정하기까지 했다. 하지만 이제는 빅데이터를 단순한 ‘콘텐츠’가 아닌 ‘프로세스’와 ‘인프라’ 관점에서

Programming Tips
Rick Wicklin 0
Mean imputation in SAS

Imputing missing data is the act of replacing missing data by nonmissing values. Mean imputation replaces missing data in a numerical variable by the mean value of the nonmissing values. This article shows how to perform mean imputation in SAS. It also presents three statistical drawbacks of mean imputation. How

Analytics | Data for Good | Data Visualization
SAS Korea 0
데이터 분석, 푸에르토리코 허리케인 재해 복구에 힘을 싣다

100년만의 최악의 허리케인, 푸에르토리코를 덮치다 지난 9월 20일, 북대서양과 카리브해 사이에 있는 미국 자치령 푸에르토리코(Puerto Rico)에 초강력 허리케인 마리아(Maria)가 상륙했습니다. 마리아는 시속 185마일(295㎞) 이상의 최고 단계인 5등급 허리케인으로 100년만의 최악의 피해를 남겼습니다. 더욱이 일명 괴물 허리케인이라고 불린 5등급 허리케인 어마(Irma)에 이어 단 2주만에 불어 닥친 재해로 340만 주민들은 엄청난 충격에

Advanced Analytics | Internet of Things
SAS Korea 0
입자 필터를 이용한 치매 환자 사물인터넷(IoT) 데이터 분석

최근 국내 의료진이 정상적인 인지 기능을 가진 노인이 알츠하이머 치매에 걸릴 가능성을 예측할 수 있는 새로운 분석 지표를 개발해 큰 주목을 받았습니다. 세계적인 신경 과학 학술지 ‘사이언티픽 리포트(Scientific Reports)’에 소개되며 치매 발병에 대한 예방적 조치를 할 수 있을 것으로 기대를 모으고 있는데요. 많은 과학자들이 오늘날 초고령화 사회에서 가장 두려운 질병 중

Artificial Intelligence | Fraud & Security Intelligence | Machine Learning
Patricia Spinner 0
Danger, danger Will Robinson: Modernizing risk mitigation systems with AI

How do you define artificial intelligence? Would you define it differently if it was your job to prevent fraud and financial crimes, where the risks are constantly shifting? In a recent meeting with banking executives responsible for fraud and financial crimes risk mitigation, Wayne Thompson, Manager of Data Science Technologies

1 101 102 103 104 105 256